A kajakozást 1976-ban szülővárosa klubjánál, a Váci Hajónál kezdte, majd 1982-ben a győri Rába ETO-hoz igazolt. A serdülőkori sikerek után 1983-tól már a felnőttek között versenyzett, első magyar bajnokságán K1 500 és 1000 méteren is bronzérmet szerzett, első világversenyén, a tamperei világbajnokságon K1 500 méteren ötödik lett. 1985-ben a Budapesti Honvédhoz igazolt, a mecheleni világbajnokságon már két számban is indulhatott, és mindkét döntőben negyedik helyezést ért el.
A következő évben Csipes Ferenccel, Fidel Lászlóval és Kovács Zoltánnal együtt lapátolva 1000 méteren világbajnok lett Montrealban, egyesben 500 méteren ezüstérmet szerzett. 1987-ben a duisburgi vb-n ugyanazzal a felállással a kajak négyes megvédte címét. Az 1988-as szöuli olimpián egyesben 500 méteren és a négyes tagjaként (Csipes Ferenccel, Ábrahám Attilával és Hódosi Sándorral) is olimpiai bajnok lett 1000 méteren. 1989-ben a plovdivi világbajnokságon változatlan felállással aranyérmet nyert a négyes 1000 méteren, és egyesben is meglett a vb-cím. 1990-ben a poznani és 1991-ben a párizsi vb-n Hódosi helyett már Fidel László ült a négyes hajóban, és mindkét alkalommal bajnokok lettek 1000 méteren. Párizsban egyesben és Csipessel párosban is bronzérmet nyert 500 méteren.
1992-ben ő mondta el a magyar olimpiai csapat esküjét Egerszegi Krisztinával. A barcelonai olimpián ismét K1 500 és K4 1000 méteren állt rajthoz, mindkét számban ezüstérmet szerzett. A következő évben K4 1000 méteren ezüst-, 500 méteren bronzérmet nyert a koppenhágai világbajnokságon. Az 1994-es mexikóvárosi vb-n két negyedik és egy hetedik hellyel gazdagodott, a következő évben az MTK-hoz igazolt. Az 1995-ös duisburgi világbajnokságon K2 500 méteren Bártfai Krisztiánnal és K4 1000 méteren is ezüst-, K2 200 méteren – szintén Bártfaival – bronzérmes lett. Az 1996-os atlantai olimpián Bártfaival az oldalán még elindult K2 500 méteren, a döntőben a hatodik helyen végeztek. Az olimpia után letette a lapátot, s bár 1999-ben még visszatért a hazai világbajnoki válogatókra, már nem járt sikerrel.
Sportolói pályafutása során a két olimpiai és a hat világbajnoki cím mellett a magyar bajnokságokon 31 alkalommal állhatott fel a dobogó tetejére. Még aktív kajakosként végezte el a Testnevelési Főiskola szakedzői szakát 1991-ben, majd a Külkereskedelmi Főiskolán szerzett diplomát. 1994-ben rövid ideig próbálkozott a politikai pályával, a Szabad Demokraták Szövetségének (SZDSZ) országgyűlési képviselőjelöltje volt. Visszavonulása után az Arena sportszergyártó cég marketingigazgatója lett, 1998 és 2001 között a cég szlovákiai vezérképviselője volt. 1997-ben pályázott a magyar kajak-kenu válogatott szövetségi kapitányi posztjára, de alulmaradt Angyal Zoltánnal szemben. 2001-től 2004-ig az Újpest FC Kft. ügyvezető igazgatója volt. 2005-ben a Magyar Kajak-Kenu Szövetség (MKKSZ) tudományos és sportegészségügyi igazgatójává, emellett az MTK szakosztály-igazgatójává is kinevezték. 2009-től 2011-ig az olimpiai bajnokokat képviselte az MKKSZ-ben, amelynek marketinggel foglalkozó alelnökeként is tevékenykedett.
A MOB tagja, 2009-ben alelnöknek választották. 2010-ben Egerszegi Krisztinával közösen az első ifjúsági olimpia magyar csapatának fővédnöki tisztét látta el. 2010-től a Hungaroring Sport Zrt. elnök-vezérigazgatója. 2011 és 2014 között a Magyar Nemzeti Autósport Szövetség (MNASZ) elnöke volt. 2012-ben felkérték az újonnan alakuló Nemzeti Dohánykereskedelmi Nonprofit Zrt. elnök-vezérigazgatói teendőinek ellátására, amelyről megnövekedett feladatai miatt 2016-ban lemondott. 2022-ben a MOB elnökének választották, múlt szombaton újraválasztották.
Gyulay Zsolt egyike a kajaktörténet legsokoldalúbb egyéniségeinek. Egyéniben vakmerő manővereivel ejtette kétségbe ellenfeleit, párosban tökéletesen alkalmazkodott partneréhez, négyesben pedig csodálatos módon volt egyszerre hasznos csapattag és csillogó vezéregyéniség. Sportvezetőként is fényes karriert futhatott be, sokoldalúsága a „civil életben” is javára vált. 1987 óta felesége Pongrácz Katalin, korábbi magyar bajnok kajakos, három lányuk született.
Három alkalommal lett az év legjobb magyar kajakozója (1988, 1989, 1992), 1988-ban a Magyar Népköztársaság csillagrendjével, 1992-ben a Magyar Köztársasági Érdemrend kiskeresztjével tüntették ki. 1995-ben megkapta a MOB olimpiai aranygyűrűjét. 2012-ben beiktatták a Halhatatlan Magyar Sportolók Egyesületének tagjai közé. 2021-ben róla nevezték el a Dunakanyari Regionális Akadémiát. 2023-ban megkapta a Magyar Érdemrend parancsnoki keresztje polgári tagozatát, kézlenyomata pedig felkerült a Magyar Sportcsillagok Falára. Idén a Köz Szolgálatáért érdemjel arany fokozatával tüntették ki, és Vác díszpolgára lett.
