Ősi erdélyi arisztokrata család sarja volt. Apját tizenegy évesen vesztette el, ezután féltestvérei őt és anyját csaknem minden vagyonukból kiforgatták, birtokaik jelentős részét elveszítették. Kemény 1823 és 1834 között a nagy hírű és színvonalas oktatást nyújtó nagyenyedi kollégiumban tanult, 1830-tól jogtudományt és bölcsészetet hallgatott. Az iskola elvégzése után részt vett az 1834–35. évi országgyűlésen, megismerkedett a politikai élet több neves szereplőjével, és barátja, Wesselényi Miklós haladó szellemű körébe került.
1835-től édesanyjával Kapudon élt, és a marosvásárhelyi királyi táblánál befejezte jogi tanulmányait. Első írásai 1837-ben jelentek meg a Nemzeti Társalkodóban. 1838–40-ben Kolozsvárott volt főkormányszéki írnok, majd Bécsben folytatott orvosi tanulmányokat. Ebben az időben kezdte regényírói pályáját is; első művei még erősen romantikus színezetűek, Walter Scott és Victor Hugo hatását mutatják. 1840-ben Kolozsvárott telepedett le, az ellenzék egyik vezető alakjaként 1842–43-ban részt vett az Erdélyi Híradó szerkesztésében és irányításában. Politikusként, közéleti emberként az európai liberalizmus eszmevilága és a német romantika hatott rá. Bízott a haladásban, a polgári átalakulás lehetőségében, ugyanakkor veszélyesnek is érezte a túl gyors haladást, az átalakulás vezető erejének pedig a nemességet gondolta. Célnak tekintette a képviseleti rendszer megteremtését, az Erdéllyel való uniót, a sajtószabadságot, és hirdette a nemzetiségekkel kapcsolatos türelmet is. Ugyanakkor töprengő, vívódó alkat lévén jól látta gondolkodásának, eszméinek ellentmondásait, amelyeket nem sikerült feloldania.
1847-ben Pestre költözött, a Pesti Hírlap munkatársa, később szerkesztője lett, és közel került az Eötvös József-féle centrista ellenzékhez. Ugyancsak 1847-ben jelent meg Gyulai Pál című regénye, amely már megelőlegezi későbbi műveinek elmélyült lélekábrázolását. 1848-ban támogatta a Batthyány-kormányt, 1849-ben országgyűlési képviselő lett – a Békepárt egyik szellemi vezetőjeként követte a kormányt Debrecenbe, Szegedre, majd Aradra.
A szabadságharc bukása után egy ideig Nagybányán tartózkodott, majd jelentkezett a katonai kormányzatnál. 1850-ben felmentették. Ekkor keletkeztek a Forradalom után, majd 1851-ben a Még egy szó a forradalom után című röpiratai, amelyekben kemény szavakkal bírálta a bukott forradalmat, Kossuth általa végzetesnek tartott politikáját.
Az 1851 és 1855 közötti időszakban a regényíró kerekedett felül benne; ekkor írott munkái (A szív örvényei, Férj és nő, Ködképek a kedély láthatárán, Két boldog) még bizonyos elemeikben a romantika hagyományait követik, de már a realizmus felé mutatnak. Ugyanekkor több jelentős tanulmányt is írt, az Élet és irodalom és a Szellemi tér című cikksorozataiban a nyelvújítás és a népiesség után a polgárosult irodalom megteremtését látta időszerűnek.
1855-től kisebb megszakításokkal a Pesti Napló szerkesztője volt, publicisztikai írásaival Deák Ferenc programjának kifejtését, a kiegyezés előkészítését szolgálta. 1855 és 1862 között írta legjelentősebb lélektani-történelmi regényeit (Özvegy és leánya, A rajongók, Zord idő), valamint kitűnő jellemrajzait a két Wesselényiről, Széchenyi Istvánról és id. Szász Károlyról. Részt vett az Akadémia munkájában is, 1867 és 1873 között a Kisfaludy Társaság elnöke, 1865-ben Lipótváros országgyűlési képviselője volt.
A kiegyezést követően a politikai életben egyre inkább háttérbe szorult, anyagi nehézségei, kicsapongó, szertelen életmódja, a túlfeszített munka felőrölték egészségét, elméje elborult. 1873-ban lemondott minden tisztségéről, és öccse pusztakamarási birtokára húzódott vissza – itt is halt meg 1875. december 22-én.
Emlékére Tolnai Lajos 1878-ban irodalmi társaságot létesített Marosvásárhelyen, amely 1948-ig működött, majd a rendszerváltozás után újraindult. Munkásságáról 2023-ban jelent meg a Kemény Zsigmond emlékezete című könyv Takáts József szerkesztésében, amely egy kötetbe gyűjtötte össze a legfontosabb Keményről szóló írásokat.
Műveiből több feldolgozás is készült: 1983-ban az Özvegy és leányából tévésorozat, a Zord időből és A rajongókból pedig színdarab – ez utóbbi jelenleg is látható az Udvari Kamaraszínház előadásában. Nevével a kolozsvári Helikon folyóirat 2016-ban irodalmi díjat alapított.
