A Vas megyei Bérbaltaváron látta meg a napvilágot, felmenői földművesek voltak. Gyermekkorának két meghatározó élménye a paraszti lét és a kereszténység volt. Első verseit még általános iskolás korában írta, aztán évekig nem foglalkozott a költészettel.
A Pannonhalmi Bencés Gimnáziumban érettségizett 1967-ben, majd egy évig segédmunkásként dolgozott Szombathelyen. Ebben az időszakban kezdett újra verselni, művei a Jelentkezünk című szombathelyi diákújságban jelentek meg. 1968-tól a szombathelyi főiskola népművelés–könyvtár szakán tanult, 1971-ben szerzett diplomát.
Világszemléletének alakulásában nagy szerepet játszottak az 1968-as csehszlovákiai események – a prágai tavasz leverése után kezdett behatóbban foglalkozni történelmi témákkal. Főiskolásként került kapcsolatba a Kilencek elnevezésű költőcsoporttal, amelynek tagja volt többek között Utassy József, Mezey Katalin, Oláh János és Péntek Imre. Az ő közvetítésükkel talált rá mestereire: Nagy Lászlóra, Kormos Istvánra és Weöres Sándorra.
A diploma megszerzése után Budapestre került, könyvtárosként dolgozott, 1972 és 1975 között pedig esztétikát tanult. 1975-ben jelent meg első verseskötete Koronatűz címmel. 1976-ban Kormos István a Móra Kiadóhoz hívta szerkesztőnek, és az itt töltött négy év alatt csaknem száz könyv szerkesztésében vett részt, az ő munkáját dicsérte többek között a Gyöngyszem sorozat köteteinek összeállítása.
1981-től négy éven keresztül a Magyar Írók Szövetségének titkára volt, ezt az időszakot később élete egyik legizgalmasabb, legtevékenyebb időszakának tartotta. Az Új Forrás 1984. októberi számában megjelent, Nagy Imre tisztességes temetését és gyilkosainak megnevezését követelő Öröknyár: elmúltam 9 éves című verse miatt lemondatták tisztségéből. 1985-től két évtizeden át töltötte be a Bethlen Alapítvány titkári posztját.
1986-ban a Tiszatáj júniusi száma közölte A Fiú naplójából című versét, amely az 1956-os forradalom elárulása, a megalkuvások, elvtelen kompromisszumok ellen emelte fel szavát. A retorzió a hatalom részéről ezúttal sem maradt el: a lapszámot bezúzatták, a folyóirat szerkesztőit pedig leváltották.
Nagy Gáspár 1988-ban az akkor meginduló első független folyóirat, a Hitel egyik szerkesztője lett. A rendszerváltás idején, 1989-től az Írószövetség elnökségi tagjaként tevékenykedett, 1990-ig a Magyar Demokrata Fórum (MDF) választmányi tagja volt. 2000-ben a Magyar Művészeti Akadémia tagjává választották. 2004-től a Magyar Katolikus Rádió kulturális szerkesztőségét vezette 2007. január 3-án Budakeszin bekövetkezett haláláig.
Művészetében leginkább a kelet-közép-európai helyzet, a magyarság sorsa, 1956 öröksége foglalkoztatta. Költészetében a magyar lírai hagyományokat ötvözte a posztmodern elemekkel, látásmódjában keveredett a groteszk és az irónia. Görömbei András azt írta róla, hogy művészete „hiteles és érvényes megújítása a magyar irodalom közösségi felelősségről, cselekvő történelmi jelenlétről mindenkor tanúságot tevő fő vonulatának”.
Verseskötetei közül kiemelkedik az 1999-ben kiadott Szabadrabok című gyűjteményes kötete, amely tartalmazta a korábbi köteteiből kicenzúrázott verseit is, valamint a 2007-es Sárfelirat című posztumusz kötet. A magyar irodalom jeles alakjairól szóló esszéiből, kritikáiból a 2004-es Szavak a rengetegből című könyv adott ízelítőt, visszaemlékezéseit pedig a 2005-ben megjelent Közelebb az életemhez című kötetében adta közre.
Irodalmi munkásságát többek között 1977-ben Radnóti-díjjal, 1990-ben József Attila-díjjal, 1993-ban Nagy Imre-emlékplakettel, 1994-ben Kölcsey-díjjal, 1999-ben Balassi Bálint-emlékkarddal és Balassi-emlékéremmel, 2006-ban Magyar Örökség díjjal és Prima díjjal ismerték el. 2000-ben Kossuth-díjjal tüntették ki költői munkássága elismeréseként és a magyar függetlenség eszméje iránti hűség ébren tartásáért. 2007-ben posztumusz Mikszáth Kálmán-díjat kapott.
2009-ben a Vas megyei Vasvár művelődési háza az ő nevét vette fel, 2013-ban egykori szülőházában nyílt meg az emlékét őrző állandó kiállítás, 2014-ben emlékére irodalmi és művészeti díjat alapítottak. 2017-ben halálának tizedik évfordulóján Budakeszin avatták fel mellszobrát, Oláh Katalin alkotását, és ugyanebben az évben a Digitális Irodalmi Akadémia (DIA) posztumusz tagjává választotta. 2020-ban padot avattak tiszteletére szülőföldjén, a Bérbaltavár és Nagytilaj közötti fákkal szegélyezett úton.
Május 4-én szülőhelyén, Bérbaltaváron születésének 75. évfordulóján rendezvényt tartanak, ahol többek között bemutatják a Barátság és szövetség életre-halálra. Görömbei András és Nagy Gáspár levelezése, 1974–1992 című kötetet is.
