1907. január 18-án született Budapesten. Első zenei élményei alig háromévesen érték, amikor egy katonazenekart hallva maga is utánozni kezdte a karmestert. Első hangszere egy hegedű volt, tízéves korától tanult orgonajátékot és összhangzattani ismereteket, később a Nemzeti Zenedében Lajtha László és Fleischer Antal tanítványa volt. 1927-ben kapta meg diplomáját, és még abban az évben a Magyar Királyi Operaház fizetés nélküli korrepetitora lett. Karmesterként Rimszkij-Korszakov Seherezádé című balettjének premierjén mutatkozott be 1930-ban (először és egyetlen alkalommal Ferenczy János néven).
1930–31-ben a Bayreuthi Ünnepi Játékok korrepetitora volt, ahol Arturo Toscanini asszisztenseként dolgozott, majd több nyarat töltött Salzburgban. 1930-tól tanított a Nemzeti Zenedében, énekeseket korrepetált, majd átvette a karmesterképzés irányítását. 1932-től koncertezett a Székesfővárosi Zenekarral – az együttest, illetve utódját, az Állami Hangversenyzenekart több mint ezerkétszáz alkalommal dirigálta.
1936-ban Bayreuthban, Liszt Ferenc halálának ötvenedik évfordulóján az operaház együttesének élén a Szent Erzsébet legendáját és két, Liszt zenéjére összeállított balettet, majd Kölnben Beethoven Fidelióját vezényelte. Helsinkibe a Bánk bán, Berlinbe a Mesterdalnokok dirigálására hívták. 1938-tól Budapesten is, Bécsben is világhírű szólistákkal dolgozott együtt. 1940-ben ő vezényelte Bartók Béla és Pásztory Ditta búcsúkoncertjét a Zeneakadémián, majd 1942-ben a milánói Scalában – a budapesti bemutató előtt három évvel – ő vezényelte először sikerrel Bartók A csodálatos mandarinját, Miloss Aurél koreográfiájával. A nyilas uralom alatt nem vállalt fellépést, beteget jelentett.
1945-ben a Rádiózenekar vezetője lett, és minden koncertjén műsorra tűzött egy-egy Bartók-darabot. Az ő vezényletével mutatták be itthon is A csodálatos mandarint. A Székesfővárosi Zenekarral rendszeresen vendégszerepelt külföldön, leggyakrabban Bécsben – itt dirigálta a Lohengrint, az Aidát, a Tannhäusert, a Traviátát, a Rigolettót, A bolygó Hollandit, a Figaro házasságát. 1950–1957 között nem utazhatott külföldre, utána azonban bejárta a világot.
Noha az alkatához a bécsi klasszikusok álltak legközelebb, a modern zene befogadója és kiváló tolmácsolója is volt. Bartók Béla és Kodály Zoltán mellett ő mutatta be Ránki György és Weiner Leó műveit, Magyarországon ő vezényelte először Alban Berg Wozzeckjét, Britten Peter Grimes-ját, Janáček Katja Kabanováját, de Wagner Parsifaljának második világháború utáni műsorra tűzése szintén az ő nevéhez fűződik. 1952-ben az Állami Hangversenyzenekar, 1957-ben a budapesti Operaház fő-zeneigazgatója lett. 1960–1967 között a Budapesti Filharmóniai Társaság Zenekarának elnök-igazgatója volt. A budapesti operaszínpadtól a Parsifallal búcsúzott az Erkel Színházban 1983. december 30-án.
Világszerte népszerűsítette a magyar zenét, számos kortárs magyar komponista művét mutatta be, több lemezfelvétele részesült külföldi kitüntetésben. Karmesterként a zenés színházi műfajokban is otthon érezte magát, gyakori vendége volt rádió- és televízióműsoroknak. Hivatása iránti szenvedélyét érzékelteti a következő, tőle származó idézet: „Szerencsés fajta vagyunk mi, muzsikusok. Az, amivel másoknak örömet szerzünk, az nekünk a legnagyobb öröm – ha sikerül.” A zene mellett érdekelték a képzőművészetek és a filozófia is.
Művészi munkáját 1951-ben és 1961-ben Kossuth-díjjal, 1952-ben Érdemes, 1954-ben Kiváló Művész címmel ismerték el, 1986-ban pedig megkapta a Bartók Béla–Pásztory Ditta-díjat.
Ferencsik János 1984. június 12-én halt meg Budapesten. A Farkasréti temetőben álló síremlékét Borsos Miklós szobra díszíti. Balatonfürednek, ahova sokszor a hangversenyek után is elindult, 1982-ben ő lett az első díszpolgára. A városban zeneiskola viseli nevét, emlékét utca és szobor őrzi, egykori füredi (tamáshegyi) nyaralója falán emléktáblát helyeztek el. Születésének nyolcvanadik évfordulóján adták át először az emlékére alapított Ferencsik János-díjat. Születésének századik évfordulóján az Operaház aulájában emléktáblát avattak, budapesti I. kerületi lakóházánál pedig domborműves emléktáblát lepleztek le. 2022-ben az Eiffel Műhelyház zenekari próbatermét róla nevezték el, és a Magyar Művészeti Akadémia posztumusz honoris causa címet adományozott neki.
