Sándor János a Liszt Ferenc Zeneakadémián végzett kitűnő eredménnyel, még diákként harmadik helyezést ért el a Besanconi Nemzetközi Karmesterversenyen. 1961-75-ig a Győri Filharmonikus Zenekar első karmestere volt, miközben a Pécsi Opera zeneigazgatójaként is dolgozott. 1975-ben a Magyar Állami Operaház karmesterének nevezték ki, 1986 és 1989 között pedig a Színház- és Filmművészeti Főiskola Zenei Tanszékét vezette.
Magyarország vezető zenekarait dirigálta, de vendégkarmesterként több mint húsz ország együtteseit vezényelte. Pályája során rendszeresen foglalkozott fiatalokkal, a Jeunesses Musicales Hungary alapító tagjaként a pécsi Jeunesses Musicales nemzetközi zenekari táborában csakúgy, mint az Alberta-beli Banffban megrendezett Kanadai Ifjúsági Zenekarok Fesztiváljain, de svájci és skóciai Ifjúsági Zenekari Fesztiválokra is hívták vendégkarmesternek.
1991 óta élt Kanadában, ahol a Victoriai Szimfonikus Zenekar, a CBC Vancouveri Zenekara, az Edmontoni Szimfonikusok, a Victoriai Nemzetközi Fesztiválzenekar, a Victoriai Várpsi Zenekar ás a San Diegó-i Sonor Együttes vendégkarmestereként dolgozott. 1995 tavaszán vezényelte első alkalommal a Victoriai Ifjúsági Zenekart, majd szeptemberben a Victoriai Egyetem művészeként, az egyetem zenekarának és kórusának igazgatója és karmestere lett, 1998-ban pedig a Victoriai Ifjúsági Zenekar zeneigazgatójának nevezték ki.
Több mint harminc lemez fűződik a nevéhez, Bartók Csodálatos Mandarinja, Táncszvitje, és Magyar parasztdalok felvétele a Bartók teljes sorozat része, a lemezt a Hi-Fi News magazin az év öt legjobb felvétele közé választotta, de a Grand Prix Nationale du Disque Arthur Honegger-díját is elnyerte. Itthon Liszt-díjjal és Érdemes művészi címmel tüntették ki. A Győri Filharmonikus Zenekar saját halottjának tekinti Sándor Jánost, aki május 14-én hunyt el hosszan tartó betegség után.
