A Jász-Nagykun-Szolnok megyei Kőteleken született, s mivel burokban jött a világra, a bába szerencsés jövőt jósolt neki. Édesapja amatőr szinten zenélt, nővére zongorázni, ő pedig hegedülni tanult. Hangszerét hamar megszerette, ebben nem kis része volt első zenetanárának, aki szinte szülői szeretettel támogatta. Édesapja egy idő után elvitte fiát meghallgatásra az amatőr zenekarukat alkalmanként dirigáló Pécsi Istvánhoz, aki a MÁV Szimfonikusok zenekarát is igazgatta, s ő azonnal saját zeneiskolájukba irányította Rollát. A mérnöknek készülő fiú a Csepeli Munkásotthon kamarazenekarában játszott (a technika, a műszaki dolgok és a szerelgetés iránti érdeklődése élete végéig megmaradt benne), s végül a zene mellett kötelezte el magát. A Bartók Béla Konzervatóriumban Zipernovszky Mária növendéke, a Zeneakadémián Kovács Dénes tanítványa volt. Leginkább magának szeretett játszani, a gyakorlást kevésbé kedvelte.
Egy nyilatkozata szerint „sosem szeretett négyszemközt maradni a hegedűvel”, inkább a közös zenélés varázsa, egymás folytonos inspirálása izgatta. Még egyetemi évei alatt kezdtek együtt zenélni társaival, együttesük 1963 tavaszán mutatkozott be a Zeneakadémián Liszt Ferenc Kamarazenekar néven, amely több mint 40 évig játszott változatlan felállásban. A tagok diplomájukat kézhez véve különböző együttesekhez szerződtek, de folytatták a közös muzsikálást is, s idővel mindannyian a Liszt Ferenc Kamarazenekarral köteleződtek el főállásban. Rolla 1967-1973 között a Rádió Szimfonikus Zenekarának volt a tagja, 1969-ben a Rádió hegedűversenyén harmadik díjat nyert.
A méltán világhírű együttes első zeneigazgatója Sándor Frigyes, a Zeneakadémia legendás professzora volt, az ő halála után, 1979-ben Rolla János vette át a zenekar irányítását, amelynek több mint ötven évig (2016-ig) koncertmestereként, visszavonulásáig művészeti vezetőjeként tevékenykedett. A Liszt Ferenc Kamarazenekar a világ legrangosabb fesztiváljain és koncerttermeiben lépett fel, játszott egyebek mellett a New York-i Carnegie Hall, a sydneyi Operaház, a párizsi Théatre de la Ville, az amszterdami Concertgebouw közönsége előtt. Olyan művészekkel zenéltek együtt, mint a francia trombitás Maurice André, a fuvolás Jean-Pierre Rampal, az orosz gordonkaművész Msztyiszlav Rosztropovics, Isaac Stern hegedűművész és a zongorista Szvjatoszlav Richter. Sokszor muzsikáltak együtt Fischer Annie zongoraművésszel, a többi közt az utolsó, 1994-es szolnoki hangversenyén. A zenekar több mint 200 hanglemezfelvételt készített, itthon több felvételük kiérdemelte Az év hanglemeze címet.
A klasszikus zenén túlra is elkalandoztak, emlékezetes koncerten léptek fel a más zenei műfajt képviselő Budapest Klezmer Banddel, Vukán György Creative Art Ensemble nevű együttesével, Snétberger Ferenc gitárművésszel, a Budapest Bárral, valamint közreműködtek a szolnoki Szigligeti Színház Amadeus-előadásában.
1992-ben Rolla János kezdeményezte a Zempléni Művészeti Napok (ma: Zempléni Fesztivál) életre hívását, 1996-ban Sárospatak díszpolgárává választották. Művészete elismeréseként megkapta az érdemes művész címet (1981), a Bartók Béla-Pásztory Ditta-díjat (1984), a Kossuth-díjat (1985), a Magyar Köztársasági Érdemrend Középkeresztjét (1994), a Széchényi Ferenc-érmet (1999), a Magyar Köztársasági Érdemrend Középkeresztje a Csillaggal polgári tagozata kitüntetést (2004), a Pro Renovanda Cultura Hungariae Alapítvány fődíját (2006), a Hazám-díjat (2011). 1991-ben a francia Becsületrend Lovagja címmel tüntették ki, 2015-ben átvehette a Weiner Leó-emlékdíjat. A hegedűművész 2007-ben a Liszt Ferenc Zeneművészeti Egyetem tiszteletbeli tanára lett, 2008 és 2011 között ő vezette a kamarazene tanszéket, s haláláig tanított az intézményben. 2023-ban az újonnan alakult Magyar Muzsikusok Szövetségének tagjává választották.
Rolla János 2023. december 7-én halt meg. Születésének nyolcvanadik évfordulóján Rolla János 80 címmel emlékkoncertet tartanak az Óbudai Társaskörben. A helyszín a Liszt Ferenc Kamarazenekar próbaterme, ahol a tavaly elhunyt művész maga is rendszeresen fellépett, s ahol a tervek szerint 2025-ben felavatják emléktábláját.
