A fotóművész eredetileg Balogh Adolf néven született 1879. szeptember 1-jén budapesti zsidó családban. Az elemi iskolát a fővárosban végezte, majd a bécsi Graphische Lehr- und Versuchsanstaltban folytatta szakmai tanulmányait, a főiskola után még két évig tökéletesítette fotográfiai tudását Németországban és Ausztriában.
1902-től Budapesten lakott és alkotott. Pályakezdőként Balogh Adolf, Balogh Rezső vagy már Balogh Rudolf néven megjelent, széles témakört felölelő képeit az Új Idők és a Vasárnapi Újság közölte.
A világvárossá váló Budapest reprezentatív új épületeit, éjszakai látképét megörökítő fotói országosan ismertté tették. 1912-ben nyitotta meg hamarosan városszerte nevezetessé vált önálló műtermét – ahogy akkoriban nevezték: „fényképészeti műintézetét" – a Váci utca 12-ben.
Az első világháborúban a haditudósító század tagjaként a Monarchia szinte valamennyi hadszínterén fotózott. Háborús képeiből sok került a berlini és a bécsi hadimúzeumokba, ebben az időszakban készült több mint kétezer nagyméretű üvegnegatívja, panoráma- és sztereóképe a Magyar Fotográfiai Múzeum féltett kincse.
Későbbi képein a magyar paraszti életet, a népviseleteket, népszokásokat, a magyar táj szépségeit mutatta be, kialakítva a fotográfiában az úgynevezett magyaros stílust. Emellett jelentős szerepet játszott az amatőr fényképészeti mozgalomban is.
A zsidótörvények életbe lépése után helyzete egyre nehezebbé vált. 1944 nyarán bombatalálat érte a házat, ahol lakása és műterme volt, munkásságának nagy része megsemmisült. A csapás nagyon megviselte, egészségi állapota tovább romlott, hatvanöt évesen, 1944. október 9-én hunyt el Budapesten.
Fennmaradt műveiből, amelyek több kötetben is megjelentek, több önálló kiállítást rendeztek. Nevét viseli a magyar fotográfia legrangosabb szakmai elismerése, az 1992-ben alapított Balogh Rudolf-díj, a kiemelkedő fotóművészeti tevékenység, illetve fotóelméleti munkásság elismeréseként adományozott állami kitüntetés.
