Budán született, arisztokrata családja a bárói rangot még Mária Teréziától kapta. Apja, báró Eötvös Ignác sárosi helytartó döntő szerepet játszott az 1831. évi kolerafelkelés leverésében. Mivel Eötvös otthon német nyelvű anyjával tanult és rosszul beszélt magyarul, apja a magyar jakobinus mozgalom egyik – 1795 után börtönbüntetésre ítélt – résztvevőjét, Pruzsinszky Józsefet választotta nevelőnek gyermeke mellé. Eötvös később nyilvános gimnáziumba járt Budán, majd 1826–1831 közt jogot hallgatott Pesten, 1833-ban tett ügyvédi vizsgát. Részt vett az 1832. évi pozsonyi országgyűlésen, ahol többek között Kölcseyvel is megismerkedett, 1834-ben Fejér megyei aljegyző, majd kancelláriai fogalmazó lett.
Kora ifjúságától kezdve sokat olvasott, elsősorban német és francia szerzőket, Goethe volt a legkedvesebb költője, a magyar szerzők közül pedig Bajza József hatott rá leginkább. Irodalmi munkássága az 1830-as évek elején kezdődött, első nyomtatásban megjelent műve a jambusokba szedett A kritikus apotheosisa volt, amelyet Kazinczy védelmében írt. Ezt követően megjelentette A házasulók című vígjátékot, majd a Bosszú című szomorújátékot – ez utóbbit a debreceni színház is műsorára tűzte. 1835-ben levelező tagjává választotta a Magyar Tudományos Akadémia, amelynek rendes tagja 1839-ben lett.
1836–37-ben Trefort Ágostonnal beutazta Nyugat-Európát, tapasztalatai alapján írt első politikai művei a börtönviszonyok javításával és a zsidók egyenjogúsításával foglalkoztak. 1837-ben az eperjesi kerületi tábla közbírája lett, részt vett az 1838-as árvízi mentésben; a Budapesti árvízkönyv kiadását a Heckenast Kiadó kárainak pótlására indította. Ebben jelent meg egyik legismertebb műve, az A karthausi első része, maga a teljes kötet 1841-re készült el. A ma már nehezen olvasható regényt, amely külföldi útjainak és hazai törekvéseinek foglalata, a korabeli ifjúság, így Petőfi is bibliájának tekintette.
Közben a politikai küzdelmekbe is bekapcsolódott, az országgyűlésen a főrendi tábla liberális ellenzékéhez tartozott. Széchenyi és Kossuth vitájában az utóbbi mellé állt az 1841-ben megjelent Kelet népe és Pesti Hírlap/Reform című röpiratával. 1840-ben Szalay Lászlóval indította el a Budapesti Szemlét. Az 1843–44-es országgyűlésen Batthyány Lajossal együtt a centrista ellenzék vezetője lett, harcolt a feudális intézmények ellen, a polgári reformok érdekében, céljai között kiemelt helyen szerepelt a népoktatás fejlesztése és az igazságszolgáltatás átalakítása.
Politikai nézeteit a Pesti Hírlapba írott cikkeiben fejtette ki, és e nézetek jegyében születtek meg nagy regényei, a magyar kritikai realizmus kiemelkedő alkotásai. A falu jegyzője (1845) a magyar vármegye szatirikus rajza, a nemesség és a hivatal züllöttségét, korruptságát leplezte le, bemutatva a jobbágyság kiszolgáltatott helyzetét. Dózsa-regénye, a Magyarország 1514-ben liberális alapkérdésekre keresett választ, és arra figyelmeztetett, hogy a nép jogfosztottsága katasztrófát okozhat.
1848-ban az első magyar felelős kormány vallás- és közoktatásügyi minisztere lett. Széchenyivel és Deákkal a mérsékelt politika híve volt. A Batthyány-kormány szeptember 11-i lemondása és Lamberg gróf, királyi biztos szeptember 28-i meggyilkolása után, megrettenve a várható eseményektől, emigrált.
Münchenben a nemzetek és az emberiség fejlődési tényezőit kutatta, ennek eredménye lett elméleti munkája, A XIX. század uralkodó eszméinek befolyása az álladalomra, amely 1851–54-ben magyarul és németül jelent meg, és külföldön is a legjelesebb állambölcseleti művek közé sorolták.
Hazatérése után ismét bekapcsolódott a közéletbe, 1856-tól az Akadémia alelnöke, 1866-tól elnöke volt, és részt vett a Kisfaludy Társaság újjászervezésében. Ausztria egységéről és Magyarország különállásáról írt 1859-es tanulmányai a kiegyezés irányába mutattak. 1861-től kiadta a Politikai Hetilapot, Deák Ferenc híveként részt vett a kiegyezést előkészítő munkákban.
Az 1867-es kiegyezés után – egyedüliként a ’48-as miniszterek közül – Andrássy Gyula kormányának tagja lett, újra a vallás- és közoktatási tárca élén. Bevezette az általános tankötelezettséget, rendezte a felekezetek és az állam viszonyát, egyenjogúsította a zsidó vallást és a nemzetiségek helyzetét az oktatásban, tervezte az iskolarendszer polgári átalakítását is. Támogatta az egyetemeket, tanárképző főiskolát állított fel, egyetemi szintre emelte a mérnökképzést.
1870 őszén súlyosan megbetegedett, Karlsbadba utazott gyógyulni, teljesen azonban már sohasem épült fel. Eötvös József 1871. február 2-án Pesten hunyt el, Ercsiben temették el, a családi sírboltban.
Végrendeletében ezt írta: „Márvány szobor helyébe, / Ha fennmarad nevem, / Eszméim győzedelme / Legyen emlékjelem”.
Nevét szerte az országban számos közintézmény, köztük az ELTE legpatinásabb szakkollégiuma, a fia, Eötvös Loránd fizikus által 1895-ben alapított Eötvös Collegium, valamint több rangos elismerés (Eötvös József-koszorú, Eötvös József-díj) is viseli.
A képen Eötvös 1895-ben. Fotó: Eduard Ellinger / Wikipédia