A Kolozsvár melletti Kidén látta meg a napvilágot. A háborús évek alatt a kolozsvári Bolyai Tudományegyetemen (ma Babeş–Bolyai Tudományegyetem) pszichológiát, esztétikát és szociológiát tanult, majd amikor 1946 nyarán olvasta, hogy Budapesten megindul a filmrendezőképzés, azonnal beadta az útlevélkérelmét. Mivel nem kapott választ, kalandos úton szökött a magyar fővárosba, ahol sikeresen felvételizett a Színház- és Filmművészeti Főiskola rendezői szakára. 1950-ben szerzett diplomát, és a Magyar Filmgyártó Vállalathoz (Mafilm) került, ahol dramaturgként dolgozott, majd egy év múlva a dramaturgiai osztály vezetője lett. 1957-ben, amikor az osztállyal együtt az ő fődramaturgi beosztása is megszűnt, rendezőasszisztensként kezdte újra a pályát, Fehér Imre rendező mellett kapcsolódott be a gyakorlati filmgyártásba.
Első filmjét 1960-ban még „beugróként” rendezte: a Bessenyei Ferenc és Bara Margit főszereplésével készült, Zápor című alkotásnak dramaturgja és rendezőasszisztense lett volna, de a rendező betegsége miatt őt kérték fel a feladatra. Igazán ismertté az 1964-ben bemutatott, nagy társadalmi visszhangot kiváltó Nehéz emberek című dokumentumfilm tette, amelyben a társadalmilag hasznos újítások megvalósításának útvesztőire, rosszindulatból vagy nemtörődömségből fakadó akadályozására hívta fel a figyelmet. A film bemutatására akkoriban nem sok esély kínálkozott, ezért
Kovács András műve a magyar filmkritikusok díja mellett 1965-ben az első magyar játékfilmszemlén is elismerést kapott.
A nemzeti önismeret iránti érdeklődéséből született meg Cseres Tibor regénye alapján 1966-ban a Hideg napok, amely az 1942-es újvidéki vérengzést elkövető, magukat a „parancsra tettem”-mel mentegető kisemberek felelősségét vizsgálta. (1942 januárjában a partizánakciók megtorlásaként indított razzia során magyar katonák és csendőrök az 1941-ben visszacsatolt Bácskában háromezernél több embert, többségükben ártatlan szerb és zsidó civilt lőttek agyon.)
Az addig tabuként kezelt téma feldolgozása hatalmas vihart kavart, a film többek között Karlovy Varyban és a Magyar Játékfilmszemlén is fődíjat kapott, és – legalábbis magyar oldalon – hozzájárult az önvizsgálathoz, a tragikus esemény „kibeszéléséhez”.
Az 1969-ben készült Extázis 7-től 10-ig című kordokumentuma egyike a Kádár-korszak populáris zenéjét feldolgozó legismertebb és legjelentősebb alkotásoknak. 1978-ban Madaras József főszereplésével készült A ménesgazda, a rákosista diktatúra idején játszódó filmdráma, az egyik első alkotás, amely nyíltan beszélt az ötvenes évekről.
1983-ban Kiss Mari és Cserhalmi György főszereplésével forgatta a Szeretőket, majd két évvel később Andrássy Katinkáról, az első köztársasági elnök, Károlyi Mihály feleségéről A vörös grófnőt. A rendező Károlyival két dokumentumfilmjében külön is foglalkozott. Az 1987-ben filmre vitt Valahol Magyarországon az akkori társadalmi szerkezet agóniáját tárta fel mozgóképes esszé formájában, utolsó játékfilmje, Az álommenedzser 1993-ban készült.
2002-ben a Film egy regényről című dokumentumfilmjével Szilágyi István erdélyi író Kő hull apadó kútba című regényének világába kalauzolt el, dédelgetett álma, a könyv filmre vitele az író hozzájárulásának hiányában nem valósulhatott meg. 2007-ben Polixéna és John címmel a reformkori írónő, Wesselényi Polixéna és angol férje, az Erdélybe települt John Paget történetét dolgozta fel. Dokumentum- és játékfilmjei többségét rendezőként és forgatókönyvíróként is jegyzi. 1995-ben, hetvenedik születésnapján portréfilm készült róla A nehéz emberek címmel, 2016-ban a Kossuth Kiadó gondozásában jelent meg A szerencse fia – Epizódok egy filmrendező életéből című memoárkötete.
1996 és 1998 között az MTV Közalapítvány kuratóriumi elnöki teendőit is ellátta.
Balázs Béla-díjjal 1962-ben és 1965-ben, Kossuth-díjjal 1970-ben ismerték el, 1967-ben érdemes, 1980-ban kiváló művész lett, 2004-ben elnyerte a Magyar Mozgókép Mestere címet. 2003-ban megkapta a Magyar Filmszemle életműdíját, 2005-ben a Magyar Köztársasági Érdemrend középkeresztje a csillaggal kitüntetést vehette át. 2006-ban Radnóti Miklós antirasszista díjjal tüntették ki.
Kovács András életének 92. évében, 2017. március 11-én halt meg Budapesten. Lánya, Kovács Eszter vágó, fia, Kovács András Bálint filmesztéta, egyetem tanár. Egykori XII. kerületi lakóháza falán 2023-ban avatták fel emléktábláját.
