A helyi zsidó kántor fia gyermekkorát Miskolcon töltötte. Négy elemi és két gimnáziumi osztály után nem tanult tovább, inasnak állt, s autodidakta módon képezte magát. 1920-tól kereskedőinas volt, 1921-től Szatmárnémetiben dolgozott, ahol részt vett az erdélyi ifjúmunkás mozgalomban is. Szocialistának, sőt kommunistának vallotta magát, ám soha nem olvasott egyetlen Marx, Engels vagy éppen Lenin kötetet sem. Költői pályája is ekkor kezdődött, első, az avantgárd jegyeit magán viselő költeményeit Kassák közölte a 365 című lapjában, majd néhány megjelent a Munka és a Dokumentum című folyóirat hasábjain is.
1925-ben Pestre költözött, s alkalmi munkásként dolgozott az Angol Parkban, különböző szállodákban, kávéházakban. Tagja lett a Magyar Szocialista Munkáspártnak is, emiatt 1927-ben letartóztatták, majd kitoloncolták Romániába. Innen visszaszökött, s Szatmári Zoltán álnéven tevékenykedett tovább. 1928-ban a Nyugat is közölt tőle verset, ezúttal már a saját neve alatt, majd nem sokkal később más folyóiratokban is publikált. Első kötete, Csuklódon a vér kibuggyan címmel 1930-ban jelent meg, méltató kritikát Radnóti Miklós írt róla a Kortárs című folyóiratban. Anyagi helyzete azonban az irodalmi ismertség ellenére is siralmas volt, továbbra is alkalmi munkákból élt, szegénységét jól jellemzi, hogy ő volt az egyetlen, aki valaha is mecénásként fordult József Attilához. Alkalmi munkavállalásai során Jászberénybe is eljutott, itt ismerte meg Bátori Irént, a zene- és énektanárnőnek készülő, felszentelés előtt álló apácanövendéket, akivel egymásba szerettek, s 1933-ban össze is házasodtak.
A harmincas évek elejétől költészetében fordulat következett be, elhagyva az avantgárd forma- és ízlésvilágát, klasszicizálódni kezdett, költeményeinek hangja letisztult, s a magyaros, rímes verselés jellemezte későbbi korszakaiban is. 1937-ben ismét letartóztatták, ám az irodalmi közvélemény, s főként Illyés Gyula közbenjárására hamarosan szabadon engedték, s továbbra publikálhatott.
Életmódja mit sem változott, kiadók, szerkesztőségek, kávéházak közismert és kedvelt alakja volt, ám pénze szinte soha nem volt. Szerkesztői, íróbarátai adtak neki kölcsönt vagy épp vendégül látták egy ebédre, felesége pedig zeneórák adásából próbált csekély jövedelemhez jutni. A negyvenes évek elejétől újabb megpróbáltatások vártak rá, ahogy később barátainak emlegette, ő volt az a magyar író, akit háromszor is behívtak munkaszolgálatra. Először még 1940-ben három hónapra, majd 1942-ben ismét, ekkor két évre Ukrajnába vitték, ahonnan 1944 februárjában hazatért. Nem sokkal később ismét behívták, de ekkor megszökött, s felesége bújtatta zuglói lakásukban.
1945 tavasza, a háború vége a szabadság mámorát jelentette számára, hihetetlen aktivitással vetette magát bele a munkába és a közéletbe. A kommunista párt tagja lett, egy ideig a Szabadság című napilap kulturális rovatvezetője, majd a Népszava munkatársa, s az Athenaeum Kiadó lektora volt. 1945-ben a Teremtés tanúja címmel verseskötete jelent meg, amelyben addigi életművét foglalta össze, 1947-ben pedig Kagylóban a tenger címmel jelent meg gyűjteményes kötete. 1948-tól kezdődött költői pályájának az a szakasza, amelyben az ún. pártos költészet egyik fáklyavivője volt, Sztálint és Rákosit dicsőítő költeményei (A hűség és hála éneke, A pártos éneke, A nép szívében) nem tartóznak művészetének csúcsteljesítményei közé. 1949-ben és 1954-ben Kossuth-, 1951-ben pedig József Attila-díjat kapott, ez utóbbival 1974-ben is kitüntették.
1953-tól azonban fokozatosan felismerte, hogy tévúton járt, s átértékelte korábbi verseit. 1952-ben megindította és szerkesztette is a Kisdobos című gyermeklapot, amelyben számos mellőzött írónak, költőnek biztosított publikálási lehetőséget, s maga is sok, ma is gyakran hallott gyermekverssel örvendeztette meg olvasóit. 1956 októberének lendülete őt is magával sodorta, az Írószövetség forradalmi csoportjának tagja volt, emiatt 1957-ben letartóztatták, s az ún. nagy íróperben bűnösnek találták "a népi demokratikus államrend megdöntésének kísérletében", s 3 évre ítélték. 1958-ban amnesztiával szabadult, ám örömét beárnyékolta, hogy imádott felesége időközben meghalt. Ebből a bánatból, mérhetetlen gyászából született meg a magyar irodalom egyik legcsodálatosabb elégiája, halott feleségének siratása, a Sirály.
A hatvanas évek elejétől szabadfoglalkozású író volt, versei, amelyekben hátat fordítva a közéletnek, a politikának, a köznapi lét viharaiban szétdúlt élet értelmetlenségéről vallott, rendszeresen megjelenhettek a lapokban, 1964-től karcolatait, tárcáit az Élet és Irodalom, majd 1965-67-ben a Tükör is publikálta. Közben ugyanolyan bohém maradt, mint volt, a lóverseny és a kártya voltak szenvedélyei, s a nők is, míg az alkalmi szeretők után idős korában új szerelem köszöntött rá, s a fiatal irodalomtörténészt, Sinka Erzsébetet feleségül is vette. A hetvenes évektől betegsége számvetésre késztette, akkori köteteinek témái a magány, az elmúlással való szembenézés, az emlékezés a rég letűnt időkre voltak.
1981. április 23-án bekövetkezett halála után költőtársai megrendülten búcsúztak el tőle, Kányádi Sándor így írt róla: "felköltöztek a szavak a mennybe//csönd van//csak az úr léptei kongnak az űrben".
