Sajószentpéteren született Péchy Sándorként, vezetéknevét később maga egyszerűsítette. Szülei mindketten üveggyári munkások voltak, a család sokat költözött, több Borsod megyei településen is laktak hosszabb-rövidebb ideig. Pécsi nyolc évig a Sárospataki Református Kollégiumban tanult, szülei papnak szánták, ám ő már gyerekként Thália papjának készült. Pályaválasztását szülei hevesen ellenezték, így előttük többé szóba sem hozta a témát, sőt kedvükért a budapesti tudományegyetem jogi karára iratkozott be.
A száraz jogi tanulmányokból egy év után elege lett, utána segédjegyző volt Monoron, majd Csepelen, ám ezt sem bírta sokáig, és jelentkezett a Színiakadémiára, ahová nyomban felvették. Diplomáját 1944-ben kapta meg, ezután Sátoraljaújhelyre, majd Szombathelyre szerződött. Szombathelyen szinte ki sem csomagolt, máris megkapta a behívóparancsot; a katonaságtól hamar megszökött, és a háború végéig bujkált.
Az 1945–46-os évadban Miskolchoz kötötte szerződése, e rövid idő alatt mintegy ötven szerepet játszott el kiválóan. 1946-ban került Budapestre, Várkonyi Zoltán Művész Színházához, és 1948-ban szerződött a Madách Színházhoz, amelynek társulathoz korai haláláig hű maradt.
Pécsi vidéki színészként elsősorban operettekben, vígjátékokban játszott, a fővárosi évek alatt vált érett jellemszínésszé.
Alakításaira bravúros beszédtechnika, érzelemgazdagság, tökéletes átélés, a feladattól függően őszinte indulat vagy áradó derű volt jellemző.
Képes volt a legellentétesebb, legkülönfélébb figurák bőrébe belebújni, robbanékony temperamentumát alárendelni a szerepe szerinti követelményeknek. Sokat és keservesen gyötrődött, mire alakítása megszületett, hihetetlen átalakulásokra volt képes. Volt Scapin (Moliére: Scapin furfangjai), polgármester (Gogol: A revizor), Luka (Gogol: Éjjeli menedékhely), Peacock (Brecht: Koldusopera), Mitch (Tennessee Williams: A vágy villamosa), Miller (Schiller: Ármány és szerelem), Mendoza (Shaw: Tanner John házassága). Legemlékezetesebb színpadi szerepe, pályájának csúcsa Eddie Carbone megformálása volt Arthur Miller Pillantás a hídról című drámájában, a Madách Színház 1960-as előadásában.
A negyvenes évek végétől kezdett filmezni, 1951-ben a Kis Katalin házassága című filmben nyújtott alakításáért kapta meg első Kossuth-díját.
Igaz, a film a sematizmus jegyében készült, de Pécsi művészi tehetsége itt is megmutatkozott a párttitkár szerepében. 1952-ben Erkel Ferencet alakította Keleti Márton filmjében, harmincévesen nagyfokú művészi hiteleséggel játszotta el a nyolcvanéves zeneszerzőt. 1954-ben a Makk Károly rendezte Liliomfiban játszott, amely nem utolsósorban az ő fergeteges komédiázása révén vált halhatatlanná.
Mintegy hatvan filmben szerepelt, köztük volt a Rokonok (1954), a Szent Péter esernyője (1958), a Rangon alul (1960), az Új Gilgames (1963), a Sellő a pecsétgyűrűn (1967) és A Pál utcai fiúk (1969). A fekete város című, 1971-ben készült nagy sikerű tévésorozatban Quendel Gáspárt alakította feledhetetlenül.
Kortalan színész volt, huszonévesen öregember-szerepek sokaságát játszotta el nagy sikerrel.
Drámai hősként, vérbő komikusként, karakterszínészként, táncos-komikusként egyaránt emlékezeteset alakított, legendás sokoldalúságával képes volt újra és újra meglepni a publikumot. Nemcsak kollégái és a közönség, hanem a kritikusok is imádták. Híres volt gyűjtőszenvedélyéről: háza egy múzeumhoz volt hasonló, kertje tele volt régi kőedényekkel, oszloptöredékekkel.
Megszerezte az 1956-ban ledöntött Sztálin-szobor egyik kezét is, amelyet haláláig a kertjében őrzött.
Pécsi Sándor mindössze ötven évet élt, 1972. november 4-én szívroham okozta halálát. Művészetét 1951-ben és 1953-ban Kossuth-díjjal ismerték el, 1961-ben érdemes művészi, 1968-ban kiváló művészi címmel tüntették ki. 2002-ben felavatták emléktábláját Budapesten, a II. kerületi Cserje utca 6. szám alatt, egykori lakóházán.
Nyitókép: Pécsi Sándor Illyés Gyula Kegyenc című drámájában (1968). (Az eredeti képen Mensáros László is rajta van.) Fotó: MTI/Keleti Éva