A Zemplén vármegyei Kohányban (ma Gálszécs) született 1786. május 30-án. Egy őse a tatárok ellen harcolva a muhi csatában átengedte lovát a menekülő IV. Béla királynak, aki ezért nemességet és Fái községet adományozta a családnak. Amikor szülei Gombára költöztek, a gyermek András a Szemere családhoz tartozó anyai nagyanyja védőszárnyai alá került. 1793-tól a sárospataki kollégiumban tanult, majd hat évvel később a pozsonyi evangélikus líceumba került. Németül itt tanult meg, itt kötött barátságot Szemere Pállal, és megismerte Kazinczy Ferencet is. Sárospatakra visszatérve jogot hallgatott, a híres Kövy Sándor professzor vezette be a jogtudományokba.
1804-ben ügyvédi vizsgát tett Pesten, mégsem ügyvédnek, hanem írónak állt. Korai műveire Jonathan Swift, Laurence Sterne, Henry Fielding és François Rabelais regényei hatottak, később Friedrich Schiller és Christoph Martin Wieland írásait fordítva eltávolodott a rokokótól, és kora társadalmát bíráló prózát, illetve értekezéseket írt. 1802-ben nyomtatták ki első versét a Magyar Kurírban, majd költeményei kéziratban terjedtek. Első könyve, a Bokréta, melyel Hazájának kedveskedik F. F. A. 1807-ben jelent meg. A dalokkal, mesékkel, epigrammákkal teli füzetet Kazinczy Ferenc buzdítására adta ki, neki is ajánlotta.
1811-ben Gombára költözött, Pest vármegye szolgabírája lett, de folytatta irodalmi ténykedését is, ekkor írta Próbatétel című pedagógiai munkáját. Miután megválasztották főszolgabíróvá, Fóton szőlőbirtokot vett, és Pesten, Ferencvárosban élt. 1818-ban kiadta könyve folytatását, a Friss bokrétát, híres íróvá azonban Fáy András eredeti meséi és aphorizmái című, 1820-ban Bécsben megjelent gyűjteménye tette. A háromszor is kiadott, Ezópus, Phaedrus és La Fontaine által ihletett mű a liberalizmus erkölcsi példatára.
A 20-as években belevetette magát a politikai életbe, Széchenyi Istvánnal együtt a nemzet társadalmi és gazdasági megújulását sürgette, miközben élesen vitatkozott is vele Kelet népe nyugaton című röpiratában. Mindketten azt vallották, hogy az ország jövője az átalakulás szellemében nevelt fiatal nemzedéken, vagyis az oktatáson múlik. Fáy előbb Pest vármegyei, majd 1835-től országgyűlési küldöttként szolgálta a reformok ügyét.
Fáy András hosszan keresett magának feleséget, végül 1832 őszén elvette Sziráky Zsuzsannát, a fóti bíró leányát, aki hatéves kora óta a Fáy-kúriában nevelkedett. A házasságkötéskor Gusztáv fiuk már kilencéves volt. Ugyanabban az évben jelent meg A Bélteky-ház című műve, az első magyarul írt társadalmi regény.
1832-ben Pest vármegyében kinevezték táblabírónak, nemsokára a Nemzeti Kaszinóba is belépett, amelynek könyvtárosa, majd két ízben igazgatója is lett. Az akadémia első nagygyűlésén, 1831-ben tiszteletbeli taggá választották, majd 1845-ben az igazgatótanács tagja, 1847-ben pedig helyettes elnök lett. 1834-35-ben Döbrentei Gáborral a budai színtársulatot igazgatták, majd az Akadémia játékszíni bizottságának tagja lett, amely a nemzeti színészetért és a drámairodalom fejlesztéséért felelt, ő maga is írt néhány színművet. A Kisfaludy Társaság szintén a megalakulásakor, 1837-ben tette meg igazgatónak. Fáy részt vett a Védegylet alapításában, a Nemzeti Kör munkájában, sürgette egy magyar nevelőnőképző intézet felállítását, mert nemzeti szempontból károsnak tartotta a külföldi nevelőnők alkalmazását. Sokat tett a Pesten elinduló protestáns főiskoláért és a két protestáns felekezet egyesítéséért.
Széchenyi István Hitel című könyve arra ösztönözte, hogy megvalósítsa „a legnagyobb magyar” eszméit a gyakorlatban. Pest vármegye 1839. március 19-ei gyűlésén pénzintézet felállítására vonatkozó indítványt terjesztett be, a kisbefektetőktől összegyűjtött 40 ezer forintnyi alaptőkét, majd megalapította a Pesti Hazai Első Takarékpénztárat, amelyet 1840. január 11-én nyitottak meg. Fáyt az alakuláskor segédigazgatóvá választották, a tisztséget 1848-ig viselte. 1847-ben Életbiztosító Intézet létesítését javasolta, de az a forradalmi események miatt nem jöhetett létre. Az uzsora kiirtása és a takarékosság elterjesztése érdekében létrejött pénzintézet hét év alatt 32 fiókkal bővült, túlélte a szabadságharcot, majd a kiegyezés után rohamos fejlődésnek indult, és jelentős szerepet játszott a 19. század végi nagy budapesti építkezések finanszírozásában. Az intézményt 1948-ban államosították, majd felszámolták, üzletágait az Országos Takarékpénztár (OTP) vette át. A mai OTP Fáy Alapítvány a fiatalok pénzügyi kompetenciáinak fejlesztését támogatja.
A forradalomban nem vállalt szerepet, birtokára húzódva irodalommal foglalkozott, regényeket, színdarabokat írt. Miután 1852-ben nem mutatták be zeneszerzővé lett fia, Fáy Gusztáv első, Fiesco című operáját, nem ment színházba többé.
Fáy András Pesten hunyt el 1864. július 26-án. A Kálvin téri református templom sírboltjába temették el, a szertartáson a Magyar Tudományos Akadémia küldöttségét báró Eötvös József vezette.
„A nemzet mindenese” volt, ahogy azt Szemere Pál találóan megjegyezte róla: minden törekvése a haza javát szolgálta, minden munkájában a társadalmat, gazdaságot jobbító szándék vezérelte. Nevét sok iskola, egy takarékszövetkezet, egy székesfehérvári lakótelep őrzi, valamint egy díj, amelyet a katonai gazdálkodásban elért eredményekért adományoznak. 1837-ben épült présháza a Somlyó-hegyen Fót város egyik látványossága.
