Arvo Part 1935. szeptember 11-én született az észtországi Paide-ben. Tallinnban nőtt fel, itt kezdte meg zenei tanulmányait. 1958-67-ig az Észt Rádió hangmérnökként dolgozott, illetve filmzenéket írt. Ez idő alatt Heino Eller irányításával zeneszerzést tanult a Tallinni Konzervatóriumban, ahol 1963-ban diplomázott. 1962-ben két kompozíciójával megnyerte a Szovjetunió fiatal zeneszerzőinek versenyét.
Korai művei (egy vonósnégyes, illetve néhány neoklasszikus zongoramű) Sosztakovics és Prokofjev hatásáról tanúskodnak. Nekrológ (1960) című zenekari kompozíciója volt az első észt mű, amely Schönberg dodekafon technikáját alkalmazta. 1971-ig keletkezett darabjait tizenkét hangú struktúrák, szerialista és aleatorikus technikák alkalmazása jellemzi (Perpetuum mobile - 1963, I. szimfónia - 1963, II. szimfónia - 1966), illetve kollázstechnikával is kísérletezett (Collage on B-A-C-H, 1964).
A hetvenes években - részben a gregorián zene, illetve XIV-XVI. századi francia és franko-flamand zeneszerzők műveinek hatására - gyökeres változás állt be Pärt stílusában. ,,Felfedeztem, hogy elég, ha csupán egyetlen hangot szólaltatnak meg gyönyörűen. Ez az egyetlen hang, vagy egy csendes ütés, vagy egy pillanatnyi csend megvigasztal. Nagyon kevés elemmel dolgozom: egy hanggal, két hanggal... Egyszerű anyagokból építkezem - egy hármashangzattal, egy bizonyos tonalitásban. A hármashangzat három hangja harangokhoz hasonlít, ezért hívom [ezt a kompozíciós eljárást] tintinnabulinak." (A latin eredetű ,,tintinnabuli" szó harangocskákra utal.) Az új stílusban született legfontosabb művek közé tartozik a Fratres, a Cantus In Memoriam Benjamin Britten és a Tabula Rasa (valamennyi 1977-ben keletkezett).
Pärt neve ebben az időben nyugaton is egyre ismertebbé vált. 1980-ban a szovjet elnyomás miatt feleségével és két fiával elhagyta hazáját, de a család a kívánt úti célt, Izraelt végül nem érte el. A zeneszerző nyugati kiadója segítségével először Bécsbe költözött, majd egy évvel később Nyugat-Berlinben telepedett le, ahol jelenleg is él.
Észtországból való távozása óta elsősorban egyházzenei kompozíciókat ír (János-passió, 1982; Te Deum 1984-86, átdolgozva: 1993; Magnificat, 1989; Boldogmondások, 1990). Számos művet komponált vonós- és kamarazenekarra (Fratres, 1976; Cantus In Memoriam Benjamin Britten, 1977/80; Festina Lente, 1988; Siloun's Song, 1991). Műveinek tolmácsolói között olyan neves együttesek és művészek vannak, mint a Paul Hillier vezette Hilliard Ensemble, a Tonu Kaljuste vezette Észt Filharmóniai Kamarakórus, illetve Neeme Jarvi karmester.
1996-ban az American Academy of Arts and Letters tagjai sorába választotta Arvo Pärtet. 2005-ben a modern európai egyházzene megteremtésében vállalt szerepéért Európai egyházzene díjjal tüntették ki.
