Az 1927. szeptember 6-án Budapesten született író pályáját költőként kezdte, az Újhold köréhez tartozott, majd az ötvenes évektől regényeket publikált a Szépirodalmi Kiadónál (Földobott kő, 1952; Partizánok a szigeten, 1953; Szélvert porták, 1956), és később a Magvetőnél (Csirkejáték, 1963; Mulatság a farkasveremben, 1973; Római Egyes, 1985).
Számos kortársa, köztük Pilinszky János és Szentkuthy Miklós, ígéretes tehetségnek tartotta, legutóbb pedig Esterházy Péter hívta fel rá többször a figyelmet.
A Csirkejáték 2004-es harmadik kiadását követően a regényt németül 2009-ben jelentette meg a Rowohlt Kiadó, és a könyvet Németországban az év egyik irodalmi szenzációjaként ünnepelték. A kritika Alain-Fournier és F. Scott Fitzgerald műveinek irodalmi nagyságához hasonlította. 2010-ben jelent meg újra a Magvetőnél Római Egyes című regénye, melyet még kézbe vehetett, de sajnos a mű szeptemberre tervezett német kiadását már nem érhette meg.
Rubin Szilárdot a Magvető Kiadó saját halottjának tekinti.