A New York-i Brooklynban született orosz és német zsidó emigránsok gyermekeként, 11 éves volt, amikor családjával Los Angelesbe költözött. A kommunistaellenes boszorkányüldözés, a mccarthyzmus alatt apját is megvádolták. Miután nem volt hajlandó válaszolni a politikai ideológiájával kapcsolatos kérdésekre, elbocsátották díszlettervezői állásából, nevét csak halála után tudták tisztázni. Alan már kisgyerekként színi órákra járt, a gimnázium elvégzése után előbb a Kaliforniai Egyetemen, majd a vermonti Bennington College-ban tanult színészetet.
Előadói pályafutását az ötvenes évek közepén a The Tarriers nevű folkegyüttes énekes-gitárosaként kezdte. Legnagyobb slágerük a Cindy, Oh Cindy és a The Banana Boat Song (Day-O) volt, utóbbi az 1957-es Calypso Heat Wave című filmben is felhangzott előadásukban – a számot Harry Belafonte énekes vitte világsikerre. Néhány album kiadása után Arkin otthagyta a formációt, hogy a színészetre koncentrálhasson. 1959-ben előbb egy improvizációs csoporthoz csatlakozott, majd a Second City nevű társulathoz szerződött. 1961-ben debütált a Broadwayn a társulat From the Second City című darabjában. Közben csaknem egy évtizedig gyerekdalokat írt The Babysitter nevű formációjával.
1963-ban első Broadway-főszerepéért elnyerte a Tony-díjat Joseph Stein Enter Laughing című színdarabjában. Ugyanebben az évben mutatták be az általa írt és Oscar-díjra jelölt That’s Me című rövidfilmet, amelynek nemcsak a főszerepét játszotta, de a zenéjét is ő szerezte. Egy évvel később visszatért a Broadwayre, Mike Nichols rendezésében Eli Wallach és Anne Jackson partnere volt a Luvban. 1966-ban rendezőként debütált egy Off-Broadway darabban, amelynek egyik szereplője a fiatal Dustin Hoffman volt. 1975-ben rendezőként is Tony-díjra jelölték A napsugár fiúkért.
A filmvásznon 1966-ban alakította első főszerepét a Norman Jewison rendezte Jönnek az oroszok! Jönnek az oroszok! című háborús vígjátékban, amely rögtön első Oscar-jelölését és a legjobb színésznek járó Golden Globe-díjat is meghozta számára. Egy évvel később ezt követte a Várj, míg sötét lesz, amelyben az Audrey Hepburnt üldöző pszichopatát alakította. A Magányos vadász a szív (1968) siketnéma szerepéért ismét Oscar-díjra jelölték.
A hetvenes években olyan filmekben tűnt fel, mint a Joseph Heller regénye nyomán, Mike Nichols rendezésében készült A 22-es csapdája vagy a Terrence Malick által írt Deadhead Miles. A Zsarufrászban James Caan, A Vadnyugat szívében Jeff Bridges, az Apósok akcióban című akcióvígjátékban Peter Falk partnereként játszott. Az 1980-es években több olyan filmben is látható volt, amelynek forgatókönyvét akkori felesége, Barbara Dana jegyezte. Az 1987-ben bemutatott Szökés Sobiborból című televíziós háborús filmdrámában nyújtott alakításáért Emmy- és Golden Globe-díjra jelölték.
Filmes karrierje a kilencvenes évektől második virágkorát élte, szerepelt az Ollókezű Edward, a Régi idők kocsija, a Glengarry Glen Ross, az Indián nyár és a Világgá mentem című filmekben, Kurt Vonnegut Éj anyánk című regényének filmadaptációjában és a Jill Sprecher által rendezett Kavalkád az életben.
Karrierje csúcsára A család kicsi kincse (2006) című családi filmmel ért fel. A diszfunkcionális család káromkodó, droghasználó nagypapájának alakításáért elnyerte a legjobb férfi mellékszereplőnek járó Oscar-díjat és brit megfelelőjét, a BAFTA-díjat. A Tiszta napfény, a Zsenikém – Az ügynök haláli és a Marley meg én után a Pippa Lee négy élete című romantikus alkotásban vállalt szerepet. 2012-ben negyedszer is Oscar-díjra jelölték Az Argo-akció című, az 1979–1981 közötti iráni túszdráma idején játszódó thrillerben nyújtott alakításáért.
A 2010-es évtizedben Al Pacino és Christopher Walken mellett öregedő csalót alakított a Született gengszterekben, Michael Caine és Morgan Freeman oldalán pedig bankrabló nyugdíjast a Vén rókákban. Szerepelt Tim Burton élőszereplős Dumbójában (2019) és a Michael Douglas főszereplésével készült, A Kominsky-módszer című Netflix-sorozatban, amelyért Arkint kétszer is jelölték Golden Globe- és Emmy-díjra.
A fanyar humorú színésznek volt érzéke a drámához is. Összesen több mint száz filmet forgatott, forgatókönyvíróként, producerként és zeneszerzőként is kipróbálta magát. Több rövidfilmet követően 1971-ben rendezte első egész estés játékfilmjét, a Jules Feiffer karikaturista által írt Szellemtanút, amelyet 1977-ben a Fire Sale követett. A színészet mellett több könyvet is publikált, köztük gyermekkönyveket és két memoárt. Szívesen fotózott, zenélt és dalokat is szerzett. Mindhárom fia a filmes szakmát választotta, több közös munkát is jegyzett velük.
Alan Arkin 2019-ben csillagot kapott a hollywoodi Hírességek sétányán. 89 évesen, 2023. június 29-én halt meg kaliforniai otthonában.
