A budapesti Berzsenyi Dániel Gimnáziumban folytatta középiskolai tanulmányait. Már ekkor foglalkozott irodalommal, első nyomtatásban megjelent műve egy Bessenyei Györgyről szóló tanulmány volt, majd 17 éves korában a Nyugat közölte első versét Csaba nyomában címmel, amiért Weöres Sándor-köteteket kapott fizetségül.
Érettségi után a Pázmány Péter Tudományegyetem Bölcsészettudományi Karán magyar-francia szakon tanult tovább, 1948-ban diplomázott. Ezt követően 1957-ig középiskolai tanárként tevékenykedett Budapesten. 1957-től 1961-ig az MTA Irodalomtudományi Intézet világirodalmi osztályának francia előadója, majd 1982-ig ugyanott a 20. századi magyar irodalmi osztály munkatársa, később főmunkatársa volt. 1983 és 1987 között a Modern Filológiai Társaság alelnöke volt. 1970-ben lett az irodalomtudomány kandidátusa, 1983-ban megszerezte az irodalomtudomány doktora tudományos fokozatot. Tagja volt a Magyar Írószövetségnek és a Magyar P. E. N. Clubnak is, 2007-ben a Magyar Írószövetség örökös tagjává is választották.
Első versei a Nyugatban és a Magyar Csillagban jelentek meg, első verseskötetét Az Úr vadászata címmel 1943-ban publikálta. 1946-ban egyik alapítója és társszerkesztője lett az Újhold című folyóiratnak, amely nagyon fontos irodalmi műhely és iskola volt, összefogta a Nyugat negyedik nemzedékének Babits Mihály és Szabó Lőrinc nyomdokaiban haladó fiataljait. Ide tartozott Nemes Nagy Ágnes, Pilinszky János, Mándy Iván, Lengyel Balázs is. A folyóiratot 1948 augusztusa után betiltották, 1949-ben pedig rendszeres szerzőinek egy részét, az Újhold-kör meghatározó tagjait kizárták az irodalmi nyilvánosságból. Ekkor Rába György költőként hosszú ideig hallgatást fogadott, és csak 1961-ben jelentkezett új kötettel Nyílttenger címmel, majd ezt újabb hosszú szünet után 1969-ben a Férfihangra követte.
A nyolcvanas évektől alkotókedve újraéledt, kétévenként, olykor évenként követték egymást verseskötetei (Rovások, Próbaidő, A beszéd folytatása, Kézrátétel, Ráismerések, Sárkányeregetés, Földlakó). Költeményeinek utolsó gyűjteménye 2010-ben jelent meg Disputa önmagammal címmel, amely egyfajta összegzésnek is tekinthető, darabjai az idő múlását, az öregedés és a szervezet leépülésének folyamatát, valamint az ember esendőségét és az élet leteltét tematizálják. Az 1990-es évek közepe óta elbeszéléseket is írt, ezekből 2000-ben Remények és csalódások címmel jelent meg önéletrajzi fogantatású kötete. Novellái laza kronológia szerint követik egymást a gyermekkortól a felnőtt- és időskorig, a szűkebb közösségektől a tágabbakig.
Irodalomtörténeti érdeklődésének középpontjában a Nyugat és az avantgárd irodalom, valamint a magyar és a világirodalom párhuzamainak kérdésköre állt. Értékes a Nyugat első nemzedékének fordítóiról (Babits Mihály, Kosztolányi Dezső, Tóth Árpád) szóló monográfiája, amely A szép hűtlenek címmel jelent meg 1969-ben. Foglalkozott Babits Mihály, Ady Endre, Szabó Lőrinc és József Attila munkásságával. Számos esszé- és tanulmánygyűjteményt publikált, nagy számú francia és olasz verset fordított magyarra, Giacomo Leopardi verseinek fordításából önálló kötete is megjelent Magános élet címmel (1958).
Munkásságáért több rangos elismerést is kapott. 1967-ben elnyerte az Istituto Italiano di Cultura Budapest aranyérmet, 1982-ben a Mikes Kelemen Kör díját. 1983-ban megkapta a József Attila-díjat, 1988-ban Füst Milán-jutalomban részesült és elnyerte a Francia Akadémiai Pálmák lovagi fokozatát. 1993-ban Széchenyi-díjjal tüntették ki. 1994-ben Illyés Gyula- és Pro Literatura-díjjal, 1996-ban Déry Tibor-jutalommal ismerték el. 1998 óta a Digitális Irodalmi Akadémia tagja. 2000-ben Eötvös József-koszorú kitüntetésben részesült, valamint Budapest XIII. kerületének díszpolgára lett.
Rába György 2011. január 29-én hunyt el Budapesten. 2012-ben a több mint kétezer levelet, vers- és tanulmánykéziratot, jegyzeteket, illetve személyi iratokat is tartalmazó hagyatéka a Petőfi Irodalmi Múzeum (PIM) tulajdonába került. 2017-ben a XIII. kerületben, ahol élete nagy részében, 72 évig élt, felavatták emléktábláját, majd két évvel később a Gergely Győző utca és a Pannónia utca sarkán, egykori lakóhelyének közelében felállították szobrát, Lelkes Márk alkotását.
