A dél-finnországi Myrskylä falucskában született egy teherautósofőr fiaként. Fiatal korától sportolt, síelt és futott, komolyan edzeni tizenhét éves korától kezdett. Eredményei egyre javultak, katonai szolgálata után 1970-ben az amerikai Brigham Young Egyetemen tanult. A nemzetközi porondon 1971-ben debütált, de a Helsinkiben rendezett Európa-bajnokságra nem sikerült megfelelően felkészülnie, ötezer méteren hetedik, tízezer méteren csak tizenhetedik lett.
Miután új edzésmódszereket kezdett alkalmazni, és Kenyában magaslati edzőtáborokban készült, jöttek a látványos eredmények. Öt héttel az 1972-es müncheni olimpia előtt több mint tíz másodperccel javította meg ötezer méteren a finn csúcsot, alig maradva el a világrekordtól, majd megdöntötte a kétmérföldes világcsúcsot is.
Az olimpiára „sötét lóként” érkezett Virén első száma a tízezer méter volt, amelyet világcsúccsal nyert meg – méghozzá úgy, hogy féltávnál a belga Emiel Puttemansszal összeütközve elesett, és húszméteres hátrányba került. A finnek kevesebb mint 150 méterre volt szüksége, hogy ismét átvegye a vezetést, majd az utolsó másfél körben olyan iramot diktált, amelyet csak Puttemans tudott tartani, de az utolsó métereken tőle is elhúzott, 27:38.40-es eredménye még ma is a müncheni Olimpiai Stadion pályacsúcsa. Egy héttel később az ötezer méteres döntőben végig az élbolyban futott, és az utolsó száz méteren sprintelte le a tunéziai Mohammed Gammoudit, ezzel ő lett a negyedik atléta, aki ugyanazon az olimpián duplázott ebben a két számban.
Az olimpia után néhány héttel Helsinkiben világcsúcsot futott ötezer méteren, de ezután sérülések hátráltatták, kevés nemzetközi versenyen indult, és ott sem ért el kimagasló eredményeket. Az 1976-os montreali olimpiára azonban már ismét kiváló formában érkezett, és az a megtiszteltetés érte, hogy ő vihette a megnyitón a finn küldöttség zászlaját.
Első száma ismét a tízezer méter volt, amelyet könnyedén nyert meg: nyolcezer méterig együtt futott a hatalmas iramot diktáló, mindenki mást messze elhagyó portugál Carlos Lopesszel, majd ellépett tőle, és öt másodperces előnnyel győzött. A tiszteletkört mezítláb, Asics cipőjét lengetve tette meg, amit a NOB reklámként, az amatőrszabály megszegéseként értelmezett, és a „repülő finnt” kizárta a további versenyből. Az elkeseredett Virén fellebbezett, azt állította, hogy cipőjét a lábán keletkezett vízhólyag miatt vette le. Jóllehet óvásának csak két órával az 5000 méteres döntő előtt adtak helyt, teljesítményén nem látszott az előző napok feszültsége. Élete talán legnagyobb versenyét futotta, szokásos taktikájával az utolsó néhány körben állt az élre, és senkit sem engedett maga elé. A befutó annyira szoros volt, hogy ilyen távon nem jellemző módon az első négy helyezettet hat méter sem választotta el egymástól.
Virén újabb diadalával elsőként teljesítette a „dupla duplát”, azaz két egymást követő olimpián is megnyerte az öt- és a tízezer métert, erre azelőtt senki, azóta pedig csak a brit Mo Farah volt képes. A finn futófenomén 18 órával az ötezer méter után elindult a maratoni futásban is, de ez még neki is sok volt, „csak” az ötödik helyen végzett.
Virén nem sokat pihent, már két nappal később Helsinkiben megnyert egy ötezer métert, ezután három nappal Londonban, a Coca-Cola nemzetközi versenyén a kétmérföldes futásban negyedik lett, tizedmásodpercekkel maradva le a második helyezettől. Nem sokkal később edzés közben eltörte a bokáját, sérülése többé nem jött teljesen rendbe, és nem tudott eleget tréningezni. Az 1980-as moszkvai olimpián tízezer méteren ötödik lett, ötezren pedig nem is indult, mert a versenyt a maratoni futással egy időben rendezték, és ő az utóbbit választotta. Húsz kilométerig az élbolyban haladt, de ekkor gyomor- és lábfájdalmai miatt feladta versenyt, ezzel pályafutása is véget ért.
A zárkózott, csendes finn hosszútávfutó rendkívüli testi adottságokkal rendelkezett, verseny közben is hideg fejjel gondolkodott, kiváló taktikus volt, de a kockázatvállalástól sem riadt vissza. Pályafutása alatt rendőrtiszt volt, visszavonulása után a bankszakmában dolgozott, majd szállítási vállalkozó lett. 1980-tól szülővárosában a helyi önkormányzat képviselője, 1993–2012 között elnöke, 1999 és 2007 között, majd 2010-2011-ben a helsinki parlament konzervatív képviselője volt. 1972-ben ő volt az év európai sportolója, Helsinkiben szobra áll, 2014-ben beválasztották a Nemzetközi Atlétikai Szövetség (IAAF) dicsőségcsarnokába.
