A franciaországi Noyonban született 1509. július 10-én. Anyját gyermekkorában elvesztette, ügyvéd apja papnak szánta, és 1523-ban a párizsi egyetemre küldte bölcsészetet és teológiát tanulni. Kálvin inkább ügyvéd akart lenni – 1533-ban jogi doktorátust szerzett. Hatottak rá a humanizmus eszméi, Erasmus művei, megtanult görögül is, hogy eredetiben tanulmányozhassa a Biblia Újszövetségét. Európa ekkoriban a reformáció lázában égett, így Kálvin is megismerkedett Luther Márton és a francia vallásreformátor, Jacques Lefèvre d’Étaples tanaival.
Kálvin maga is a lutheri tanok mellett foglalt állást, ezért 1533 végén I. Ferenc francia király protestánsüldözései elől a svájci Bázelbe menekült. Itt írta meg mindössze 26 évesen az élete végéig folyamatosan finomított fő művét, A keresztény vallás rendszerét (Institutio Christianae Religionis), amelyet I. Ferenc királynak ajánlott, hogy ezzel is a reformáció oldalára állítsa őt. Műve, amelyet káténak (kérdések és feleletek könyve), hitvallásnak és apológiának (hitvédelem) szánt, 1536-ban jelent meg először, és később a protestantizmus összefoglaló munkájává vált. (Magyarra először Szenczi Molnár Albert fordította le 1624-ben.) Az Institutio 1559-ben latinul kiadott végleges változata napjainkban is fontos szerepet tölt be a protestáns teológiában.
Kálvint Genfben jártakor az ottani reformátor, Guillaume Farel felkérte, segítsen neki a hit terjesztésében. Kálvint a városi egyház prédikátorává nevezték ki, de hiába volt kiváló szónok, briliáns teológus, szigorú katekizmusa és hittételei miatt a genfi polgárok felléptek ellene, s végül 1538-ban a városi tanács száműzte. Ezután egy ideig Strasbourgban a francia protestáns menekültek (hugenották) lelkésze lett, tanulmányozta a német protestantizmus tanait, és Philipp Melanchthonnal (Melanchthon Fülöp) kidolgozta az ágostai hitvallás módosított változatát. 1540-ben feleségül vette az özvegy Idelette de Bure-t, akitől négy gyermeke született, de csecsemőkorukban mind meghaltak. Feleségét is alig kilencévi házasság után elveszítette.
A genfiek 1541-ben ismét Kálvin segítségét kérték, miután Róma a várost a katolikus egyházhoz való visszatérésre szólította fel. Ő csak azután tért vissza, hogy elfogadták az egyházi szervezet átalakítását szorgalmazó reformjait. Létrehozta a világi tanácstól független egyháztanácsot (konzisztórium), amely kilenc lelkészből és 12 világi tagból állt. Szigorúan a bibliai-igei alapokra épülő egyházi rendtartásának elemeit (csecsemőkeresztség, úrvacsora, presbitériumi hatalomgyakorlás, gyülekezeti tagok egyenlősége) később a református és presbiteriánus egyházak beépítették szabályzatukba.
Kálvin genfi évei alatt teológusprofesszor, prédikátor, egyházi vezető, iskolai felügyelő volt egyszerre, kiterjedt levelezést folytatott, könyveket írt. A reformáció egyik szellemi vezetőjeként templomi használatra javasolta a zsoltárokat; írásai fontos szerepet játszottak a francia irodalmi nyelv kialakulásában. A lelkészek és világi vezetők képzésére létrehozta a Genfi Akadémiát, a várost irodalmi központtá tette. Gazdaságetikai kérdésekben is állást foglalt, mértékletes kamatgazdálkodást javasolt, a szegénység leküzdésére kórházat, árvaházat, szegényházat alapított. Ugyanakkor puritanizmusa (a kártyázás, kocsma, tánc betiltása), az egyházi fegyelem, az erkölcsi ügyekbe való beleszólás az alsóbb rétegekben ellenszenvet is kiváltott. Ellentmondásos volt a szerepe a spanyol orvos és teológus Szervét Mihály perében, akit Genfben a Szentháromság tagadása miatt 1553-ban megégettek.
Kálvin teológiai reformjának legfontosabb gondolata Jézus Krisztus személyének középpontba állítása volt, akinek megismerése tanítása szerint egyedül a Szentírás (Sola Scriptura), a szuverén Isten kijelentése által lehetséges. Az Ószövetség és Újszövetség szorosan egymásra épül, mindkettő Jézus Krisztusról, az isteni kegyelemről, Istennek az emberrel kötött szövetségéről szól. Átvette Luther tanait az eredendő bűnről, a Szentírás és az isteni kegyelem fontosságáról, a hit általi megigazulásról, az eleve elrendelésről, ám Luthernél közelebb állt a régi egyházhoz, a papok tekintélyét vallotta a hívők felett. A politikában konzervatív volt, a hatalom iránti engedelmességet hirdette, a monarchiánál a köztársaságot mégis többre tartotta. Az államtól nemcsak rendet várt, de a társadalom jólétével való törődést is. Vezetése alatt Genf más egyházak modellje lett; rendszerét és a református egyházat kálvinizmus néven is szokás emlegetni. Azzal is hatott a nyugati kultúrára, hogy etikája ideológiai alapot biztosított a kapitalizmus fejlődéséhez.
Kálvin óriási hatást gyakorolt Európára, a hugenották 1559. évi első zsinatán az ő hit- és egyházigazgatási elveit fogadták el. Irodalmi hagyatéka vallástörténeti jelentősége mellett a klasszikus francia nyelv remekei közé tartozik. Mintegy háromezer prédikációja maradt fenn. Hitvitázó pamfletjeivel Európa-szerte műfajt teremtett. Anglia, Skócia, Hollandia, Észak-Amerika, Cseh-, Morva-, Lengyel- és Magyarország református egyházai Kálvin elvei szerint jöttek létre.
Kálvin tuberkulózisban szenvedett, és több más kór is kínozta, puritán életmódja, a túlzott böjtölés miatt állandó fejfájás is gyötörte. 1564. május 27-én hunyt el, végrendelete szerint Genfben jeltelen sírban temették el, feltételezett nyughelyén ma emléktábla áll.
