Művészete számos kortárs zeneszerzőt ihletett újabb csellóművek megírására. A kis "Slava" - legalábbis ahogy édesapja hívta - 1927. március 27-én született Bakuban, Oroszországban. Lévén, hogy apja csellista, édesanyja pedig zongoraművész volt, nem csoda, hogy fiuk már három évesen gordonkázni kezdett a családfő irányítása alatt.
1931-ben Moszkvába költöztek. Slava itt adta első nyilvános koncertjét nyolc éves korában. 1939-41-ig a Központi Zeneiskola diákja volt, majd 1943-tól a Moszkvai Konzervatóriumban folytatta gordonkatanulmányait. Csellójátékra Kozolupov oktatta, zeneszerzésre Sebalinhoz és Sosztakovicshoz járt, aki később mindkét csellóversenyét neki ajánlotta (op. 107, 1959; op. 126, 1967). Egy ideig Prokofjev zenei titkáraként is működött.
A nagy áttörés 1950-ben következett be, amikor megnyerte a Prágai Gordonkaversenyt, s ezután koncertezni kezdett Oroszország szerte. Európa felé is megnyílt az út: első nyugati fellépése Firenzében volt 1951-ben. Ebben az időszakban történt meg, hogy megismerkedett a Bolsoi Opera ünnepelt szoprán énekesnőjével, Galina Visnevszkajá-val. Az ismeretségből szerelem, majd házasság lett. Rosztropovics 1956-os londoni, majd a New Yorki Carnegie Hallban tett bemutatkozásainak minden várakozáson felüli sikere azonnal világsztárrá tette őt.
Benjamin Britten öt darabot írt és ajánlott neki: 3 szóló szvitet, egy szonátát és a Cselló Szimfóniát. Rosztropovics karmesterként Londonban debütált, valamint Washingtonban 1977-ben. Ugyanebben az évben a washingtoni szimfonikusok zeneigazgatójává választották. Érdekesség, hogy Bach hat csellószvitjét csak 69 éves korában, 1996-ban vette lemezre, mikor már egy egész élet zenei tapasztalatai álltak mögötte. A hosszú művészévek során együtt dolgozott többek között Isaac Sternnel, Herbert von Karajannal, David Oistrakh-hal, Leonard Bernsteinnel, Svjatoslav Richterrel, Seiji Ozawaval és Maxim Vengerovval.
