Песента на Deep Purple разказва истинската история на един пожар, чийто дим се разстила над водите на Женевското езеро.
През декември 1971 г. групата е в Монтрьо, Швейцария, където трябва да запише албум. Deep Purple са наели мобилно звукозаписно студио от Rolling Stones и смятат да записват в казиното на Монтрьо, което е известно с това, че там многократно се е провеждал джаз фестивалът в Монтрьо.
По-късно в текста на песента мобилното студио на Rolling Stones ще бъде наречено „Rolling truck Stones thing“ и „the mobile“, а казиното – „the gambling house“.
Вечерта преди Deep Purple да започнат записи в казиното има концерт на Франк Запа и Mothers of Invention, по време на който някой от публиката стреля със сигнален пистолет. Улучва тавана, който е покрит с ратан. Този неизвестен лирически герой е наречен по-късно в песента „some stupid with a flare gun“.
Така започнал пожарът, който разрушил целия комплекс на казиното на Монтрьо, както и цялото оборудване на Mothers of Invention.
Димът от пожара се разстила над Женевското езеро, към което гледа хотелът, в който са отседнали Deep Purple. Групата гледа какво се случва и няколко дни по-късно китаристът Роджър Глоувър измисля заглавието на Smoke on the Water. Той разказва, че заглавието му хрумнало, след като се събудил от сън.
Клод Нобс, директорът на джаз фестивала в Монтрьо, е споменат в песента като „Funky Claude“, който влиза и излиза от горящата сграда, помагайки на част от публиката да я напусне безопасно.
Освен с идеята за Smoke on the Water, Deep Purple остават и с един голям проблем след пожара – групата има на разположение невероятно мобилно звукозаписно студио, но след като казиното е изгоряло, няма място, където да записва.
Тогава Клод Нобс им намира един театър, Pavilion, където те започват записите на албума. Именно там записват и част от Smoke on the Water.
Само че хората, които живеят около театъра, започват да се оплакват от шумотевицата и местната полиция затваря мястото, принуждавайки Deep Purple отново да търсят къде да записват.
След около една седмица търсене групата наема почти празния Гранд хотел на Монтрьо и превръща коридорите и фоайетата му в своеобразно звукозаписно студио. Там те записват повечето песни от своя най-успешен албум – Machine Head. Сред тях е и Smoke on the Water, чиито вокали са записани в хотела.
Бившият китарист на Deep Purple Ричи Блекмор разказва, че приятелите на групата не харесали особено много Smoke on the Water. Смятали, че рефренът е твърде прост. Блекмор им отговорил, че началото на Петата симфония на Бетовен, една от най-известните мелодии в света, се върти около подобна поредица от четири ноти като тази в началото на Smoke on the Water.
В Монтрьо, на брега на Женевското езеро, има скулптура, посветена на песента Smoke on the Water. Точно до нея е статуята на Фреди Меркюри.