Szegény parasztcsaládban született egy Hämeenkyrö nevű településen 1888. szeptember 16-án, eredeti neve Koskinen volt. Szülei nem csekély anyagi áldozatok árán taníttatták egyetlen életben maradt fiukat (két testvére meghalt), aki a tamperei városi középiskolában kitűnő érettségit tett, majd a Helsinki Egyetem természettudományi karára iratkozott be. Diplomát azonban nem szerzett; huszonöt évesen visszament szülőfalujába, ahol gazdálkodással és írással foglalkozott.
Pályáját kisprózai írásokkal kezdte, majd 1916-ban publikálta első regényét Élet és napsugár címmel. A lírai hangulatú szerelmi háromszög története kedvező kritikai fogadtatásban részesült, bár egyes bírálói pornografikusnak ítélték. Következő regényét, az 1919-ben megjelent Jámbor szegénységet az 1918-as finn polgárháború ihlette. Nincstelen zsellér hőse tragikus sorsában mélységes humánummal, kellő hitelességgel és tárgyilagossággal dolgozta fel a finn történelemnek ezt a véres és súlyos traumákat okozó időszakát. Hiltu és Ragnar című regénye ismét szerelmi történet, egy vidéki cselédlány és egy gazdag városi fiú tragikus kapcsolatáról szól.
Az 1920–30-as években Sillanpää különböző folyóiratok irodalmi kritikusa, majd szerkesztője volt, a napi munka mellett számos elbeszéléskötetet is írt. Több ízben járt Svédországban, Dániában, Norvégiában és Izlandon, egy izlandi kirándulás után írta egyik legismertebb művét. A Silja, melynek főhősét feleségéről, Sigrid Maria Salomäkiről mintázta, egy parasztcsalád sorsának tükrében élet és halál, ember és természet összetartozását ábrázolja, 1937-ben film is készült belőle. Az író legnagyobb fájdalma az volt, hogy amikor 1939-ben művéért – a finn írók közül elsőként – neki ítélték az irodalmi Nobel-díjat, felesége már nem lehetett mellette a díj átvételekor. Házasságukból nyolc gyermek született. Beszédes, ahogy a Siljában a hitvesi szerelemről ír: „Milyen szomorú, hogy a szerelem mindig ébredéskor a legfinomabb és a legtisztább, és a legtöbb esetben később csak beszennyeződik. A férj és a feleség közti szerelem olyan, mint valami élőlény: azok az inak és izomrostok, amelyek egyszer megszakadtak, soha többé nem nőnek össze. A legokosabb volna a szerelmet kezdettől fogva bizonyos érdességgel és nyerseséggel leplezni. És még okosabb volna, ha a férfi »három vadon erdőn, hét tavon is túlról« hozna magának feleséget.” Sigrid halála után az író nem sokkal feleségül vette titkárnőjét, Anna von Hertzent, de 1941-ben elváltak.
1940-ben jelent meg az Egy férfi útja, majd 1944-ben Emberek a nyári éjszakában című regénye. A Nobel-díj elnyerése után Sillanpää egészsége – részben alkoholizmusa miatt – megromlott, évekig kórházi kezelésre szorult. Emlékezete is fokozatosan gyengült, csak gyermekkori élményei éltek benne tovább elevenen. A második világháború után a rádióban olvasták fel különböző rövidebb írásait, nagyobb ívű regénybe már nem fogott bele. Szívesen és nagy élvezettel mesélt mindenkinek, gyerekeknek és felnőtteknek egyaránt, és emiatt is a finnek a Nagyapó becenevet ragasztották rá. Az ötvenes években két kötetben jelentette meg visszaemlékezéseit A fiú élte életét és A nap tetőpontja címmel.
Noha világhírű és igen népszerű író volt, a Finn Akadémia soha nem választotta tagjai sorába, a Helsinki Egyetem díszdoktori címét azonban megkapta. 1964. június 3-án Helsinkiben bekövetkezett halála egész hazáját gyászba borította.
Több regényéből film is készült, műveit mintegy harminc nyelvre fordították le. Magyarul a Silja, az Egy férfi útja, az Emberek a nyári éjszakában, a Napsugaras élet, a Jámbor szegénység, valamint a Hiltu és Ragnar című művei jelentek meg. Egy 1938-ban felfedezett aszteroida viseli nevét, 1980-ban emlékére bélyeget bocsátottak ki, egykori otthona Hämeenkyröben ma múzeum.
