Apja jogász, egyetemi tanár, anyja tanítónő volt. A fővárosban, a Zeneakadémia közelében nőtt fel, az intézmény próbáira a környékbeli srácokkal együtt őt is beengedték. Szülei ötéves korától zongorázni taníttatták, de ezt a hangszert nagyon nem szerette, sokkal jobban érdekelte a dob, talán azért, mert azon játszani látványosabb. Egy szerencsés véletlen folytán az iskolában ő lett a kisdoboscsapat dobosa, majd dobolt az úttörőzenekarban is, aztán a MÁV Ifjúsági Zenekarban, a MÁV Szimfonikusoknál, a KISZ Művészegyüttesben, tizenkilenc éves korától pedig az Operettszínház zenekarában, és közben elvégezte a konzervatóriumot is.
A már évek óta működő Illés-együttesbe Szörényi Levente csábította, aki arra figyelt fel, hogy egy alkalmi zenekarban olyan erővel üti a dobot, ahogy azt egy beategyüttesben kell. Igen szép összeget ígért neki fellépésenként, persze a színházi fizetés mellé. Igaz, Pásztory utóbbit szinte teljes egészében az Operettben őt helyettesítőknek adta, és mivel a koncerteket nem volt könnyű egyeztetni a színházi munkával, olykor a taxiban öltözött át a színházból az Illés Klubba tartva. A kettős elfoglaltságot 1971-ig bírta, akkor nehéz szívvel, de feladta operettszínházi állását.
Az ő csatlakozásával alakult ki az Illés-együttes klasszikus felállása 1965-ben: Szörényi Levente szólógitáron, testvére, Szabolcs basszusgitáron, Illés Lajos billentyűs hangszereken, Bródy János gitáron játszott. Az év nyarán a nógrádverőcei ifjúsági táborban játszottak, itt születtek meg az első magyar nyelvű beatdalok (Az utcán, a Légy jó kicsit hozzám, az Óh, mondd). Még az év során elkészült velük az első magyar nyelvű beatkislemez is (Táskarádió), Koncz Zsuzsa pedig a tévében elénekelte Rohan az idő című dalukat.
Az 1966-ban rendezett I. Táncdalfesztiválon a megosztott második díjat nyerő Még fáj minden csók című számuk a közönséget is megosztotta, de az 1968-as fesztiválról szinte minden díjat elhoztak – a fődíjat is beleértve – Amikor én még kissrác voltam című, népzenei gyökerű szerzeményükkel. Az Illés ekkor ért a csúcsra, az ország legnépszerűbb zenekara volt az Omega és a Metró mellett, számaik megtöltötték a slágerlista élmezőnyét, koncertjeik átütő sikert arattak.
Kívülről nem látszott – a siker elfedte –, de a zenekaron belüli törésvonalak egyre mélyültek. A hangulat 1970-től már nagyon rossz volt, a „villámhárító” szerepét Pásztory vállalta, aki szerény habitusának köszönhetően a szakmai vitáknál, nézetkülönbségeknél le tudta csillapítani a kedélyeket. Hiába születtek még kiváló albumok, a zenekarvezető Illés Lajos nehezen viselte a számok zömét szerző frontember, Szörényi Levente meghatározó szerepét az együttesben, amelyet aztán 1973 végén fel is oszlatott.
Pásztory még bízott a zenekar jövőjében, ezért nem sokkal a vég előtt visszautasította az Operettszínház ajánlatát, hogy térjen vissza hozzájuk dobolni. Döntését később megbánta, mert nagyon szerette a színházat, ahol őt is szerették, később azt mondta: ha igent mond, másként alakulhatott volna az élete. Illés Lajos hívta új együttesébe, de ő akkor már egy jó gázsiért külföldre tartó, színvonalas szalonzenekarral tárgyalt. A pénzre nagy szüksége volt, mert szerzői jogdíjakat ő nem kapott, csak a fellépésekből élt, s válása után lakásépítésbe fogott. A turné indulásáig beállt egy kisiparoshoz gumikereket önteni, ahol a lába elfertőződött, kis híján amputálni kellett.
Gyógyulása után a Boden-tónál egy szálloda szalonzenekarában játszott. Beilleszkedett, jól érezte magát, újra megnősült, francia feleségétől kislánya született, de ez a házassága is válással végződött. A zene mellett az olvasás, az úszás, az asztalitenisz volt kedvelt időtöltése. Amikor a szállodai együttes szétszéledt, a közeli weissensbergi Golfhotel menedzsere lett, a vendégekkel foglalkozott. Az Illés régi szép időket idéző nosztalgiakoncertjeire 1981-ben, 1990-ben, 1996-ban, 2001-ben is hazajött, 1990-ben a Népstadionban 80 ezren hallgatták az együttes legsikeresebb dalait, a koncert valóságos népünnepéllyé vált.
Az Illés negyvenéves jubileumára 2005-ben két előadást terveztek: egyet Csíkszeredában, egyet pedig a Sziget Fesztivál nulladik napján. Pásztory Zoltán nem sokkal a bejelentés után, 2005. május 1-jén váratlanul meghalt: vérnyomásproblémái miatt került egy budapesti kórházba, ahol feltehetően szívinfarktust kapott. Az immár végleges búcsúkoncerteken tanítványa, Szörényi Örs (Levente fia) ült a dobok mögött.
Pásztory Zoltán – aki a sikerek csúcsán is megmaradt kedves, közvetlen embernek – egyszer azt nyilatkozta: „velem életemben egyetlen fontos dolog történt: az Illés-zenekarban beülhettem a dob mögé.” Az Illés-együttes tagjaival együtt 2000-ben Kossuth-díjat kapott. A lemezek két dobszólóját őrizték meg: az 1969-es Illések és pofonok című albumon Meleghengersor címmel mutatta be tudását, az 1971-es Human Rightson A legjobb dobos a világon című dalban még énekelt is.
2025 januárjában a 60 éves Illés-együttes előtt tisztelgő koncertet rendeznek a Papp László Budapest Sportarénában.
