A felvidéki Szinyeújfalun (ma Chminianska Nová Ves, Szlovákia), régi középnemesi családban látta meg a napvilágot, apja Sáros vármegye alispánja, majd főispánja volt. Gimnáziumi tanulmányait Eperjesen, majd Nagyváradon végezte, itt kezdett festészetet tanulni Mezey Lajosnál. 1864-ben beiratkozott a müncheni Képzőművészeti Akadémiára, ahol Hermann Anschütz, majd Wagner Sándor volt a mestere. 1867-ben felvételt nyert Karl von Piloty osztályába, az ő tanácsára, valamint a barbizoniak és Courbet hatására kezdett a szabadban festeni, ahol a napfény, az atmoszféra változásainak rögzítésével kísérletezett.
Már korai műveiben feltűnt közvetlensége, művészetének egyéni hangja, koloritjának gazdagsága. Első nagyobb szabású műve (a Faun és Nimfa), mely a müncheni, a bécsi és a pesti közönség elé került, még a svájci Arnold Böcklin hatására utal. 1869-re jutott el a plein air ihlette egyéni formanyelvéhez, ennek első példái a Ruhaszárítás és A hinta című könnyed, vázlatszerű képek.
Témái többször visszatértek a mitológiához (Nőrabló faun, Bacchanália), de ezekkel egy időben festette a Lovasok és a Puszta gólyamadárral című, a természet ábrázolására törekvő képeit is, míg a család jernyei (ma Jarovnice, Szlovákia) birtokán portrékat készített.
1869 novemberében megszakította tanulmányait és önállóan kezdett dolgozni, nem sokkal később haza kellett térnie, hogy beteg apja helyett a családi birtok ügyeit intézze.
1872-ben utazott vissza Münchenbe, és elkezdte festeni fő művét, a Majálist, mellyel 1873-ra készült el. A magyar plein air festészet remekét – meglepő módon – műteremben készítette, tárgya Manet és Monet motívumaira emlékeztet. Szinyei azonban tőlük függetlenül, a francia mesterek ismerete nélkül talált rá a réten piknikező társaság témájára, a képre háttal, hason fekve magát is ráfestette. Fő elemei a fény, a színek, az árnyékok, az ember együtt él a tájjal, a levegő mindent egységbe foglal.
velük ellentétben ő nem mondott le az emberi tartalomról, alakjai érzelmeket fejeznek ki, felerősítve a természet keltette benyomásokat.
A Majálist teljes közöny fogadta, az elmarasztaló kritikák kedvét szegték. Ismét hazatért jernyei birtokára, megházasodott (hat gyermekük született, de csak kettő érte meg a felnőttkort), gazdálkodni kezdett, házat, műtermet építtetett, s csak ritkán festett. Ez idő alatt is készített néhány remekművet, ilyen a feleségéről, Probstner Zsófiáról festett Lilaruhás nő. 1882-ben Bécsbe ment, ahol megfestette a konvencionálisabb, naturalista Pacsirta című képét, melyet felesége portréjával és a Majálissal együtt Bécsben, majd Pesten is kiállított, de a kritika most is negatív volt.
1887-ben felesége elvált tőle, Szinyei Jernyén maradt. Politizálással és a birtok vezetésével foglalkozott, 1896-ban megválasztották a héthársi kerület országgyűlési képviselőjének.
Zemplényi Tivadar 1894-ben meglátogatta, és az ő biztatására kezdett újra festeni és kiállítani. Több régi és új képével a Műcsarnok 1896-os millenniumi kiállításán hatalmas sikert aratott, végre a Majálist is elismerték, az állam megvásárolta. A fiatal festőgeneráció ujjongva fedezte fel Szinyeiben elődjét, aki a magyar művészeti élet egyik vezető alakja lett. 1905-től haláláig a Magyar Királyi Mintarajztanoda és Rajztanárképezde (a mai Magyar Képzőművészeti Egyetem elődje) igazgatója volt, 1907-ben részt vett a Magyar Impresszionisták és Naturalisták Köre (MIÉNK) megalapításában.
Külföldön, 1900-ban a párizsi kiállításon a Hóolvadással ezüstérmet, 1901-ben Münchenben a Majálissal nagy aranyérmet nyert. 1911-ben a Római Nemzetközi Művészeti Világkiállításon 19 műve különteremben szerepelt, ő pedig nagydíjat kapott. Első önálló tárlatát 1905-ben a Nemzeti Szalonban rendezték meg: 89 munkáját mutatták be, köztük a külön erre az alkalomra készült Szurkos fenyő című képet. Második gyűjteményes kiállítása 96 alkotással az Ernst Múzeumban volt 1912-ben, érdemeit a Szent István-rend kiskeresztjével is elismerték. Még megélhette munkásságának legnagyobb kitüntetését, amikor 1914-ben a Szépművészeti Múzeum felállította a Szinyei Termet.
Halála után negyven nappal a művésszel közeli kapcsolatban állók megalakították a Szinyei Merse Pál Társaságot, a két világháború közötti időszak egyik legjelentősebb művészeti egyesületét, azzal a szándékkal, hogy ápolják emlékét, s pártolják a fiatal tehetségeket. Nevét ma több utca, 1962 óta budapesti gimnázium is viseli. 2021-ben életmű-kiállítása nyílt Budapesten, a Magyar Nemzeti Galériában (MNG), az egykori jernyei családi kastélyban emlékkiállítása látható. Dédunokája, Szinyei Merse Anna művészettörténész több monográfiát jelentetett meg róla. 2022 óta kisbolygó őrzi nevét.
Idén születésének 180. évfordulójáról az MNG több programmal is megemlékezik: workshoppal, családi kvízzel, és július 2-án, az idei első Borszerda estjén, a festő és a szecesszió kerül a fókuszba.
