Gimnáziumi tanulmányait szülőföldjén végezte. 1833-ban lépett be a piarista rendbe. A rend privigyei házában főleg pedagógiai ismereteket szerzett. Két év múlva ? a kor szokása szerint ? már próbaéves tanárnak küldték ki az akkor még piarista kézben lévő kalocsai gimnáziumhoz. 1837-től Vácott bölcseletet, 1839-től Nyitrán, 1840-41-ben Szentgyörgyön teológiát tanult. 1841-ben pappá szentelték. 1842-től Máramarosszigeten, 1844-től Szegeden, 1847-48-ban és 1860-65-ben Vácott, 1849-ben Budán, 1850-ben Szentgyörgyön, 1851-59-ben és 1866-68-ban Kolozsvárott, 1869-től haláláig Budán a piarista rend iskoláiban különböző, főleg nyelvi tárgyak tanára. Kolozsvárott a líceumi könyvtár kezelését is rábízták. Haynald Lajos erdélyi püspökkel jó kapcsolatokat ápolt. Az 1848-49-i szabadságharc alatti magatartása miatt az osztrák hatóságok egy évre eltiltották a tanítástól. Külföldi lapokba is dolgozott: a bécsi Mechitarista-társulat 1858 december 30-án köszönetet mond neki egy költeményért, amit a társulat 'Viribus unitis'címen I. Ferencz József tiszteletére kiadott albuma számára küldött.
Klasszika-filológiai, magyar nyelvészeti és történeti (főként művelődés- és egyháztörténeti) kérdésekkel foglalkozott. Több kiadatlan iratot közöl (Rhédei László naplója, Báthory István végrendelete, vallási kiváltság levelek), könyvismertetéseket ír. Történelmi munkái részben általános érdekűek, részben Erdélyre vonatkoznak, vagy éppen csak Kolozsvárról szólnak (Emléklapok Kolozsvár előkorából, Kolozsvár síralmai 1699-ben). Legnagyobb nyelvészeti munkája. A Dunántúli nyelvjárások, amelyet a Magyar Tudományos Akadémia pályadíjjal tüntetett ki. Az Erdélyi Múzeum-Egyesület 1860. február 1-jén tartott ülésén két bizottságot alkotott: történelmit és természettudományit. Az utóbbi bizottságba Vass József is bekerült. 1860-ban Haynald Lajos püspök 300 forint pályadíjat tűzött ki az 'Erdély története a rómaiak alatt' témában. A két dolgozat közül Torma Károly, Finály Henrik és Jakab Elek birálók jutalomra Vass Józsefét. Ajánlották. Ez Vassnak egyik leghíresebb munkája, alapos forrástanulmánya. Az Egylet Vass Józsefet 1865-ben kifejtett munkássága elismeréséül választmányi taggá fogadta. Az MTA levelező tagja 1858. december 15-től. Akadémiai székfoglalóját Irányeszmék Cornéliusi szótáramhoz címmel 1859. november 28-án tartotta.
Fő művei: A latin nyelv ékes szókötése. Szeged, 1846., 4. átdolgozott kiad. 1870.; Dunántúli nyelvjárás. Pest, 1860.; Az Anjouk és míveltségünk. Pest, 1861.; Hazai és külföldi iskolázás az Árpád-korszak alatt. Pest, 1862.; Erdély a rómaiak alatt. Kolozsvár, 1864.; Emléklapok Kolozsvár előkorából. Kolozsvár, 1863.; Béla király névtelen jegyzőjének kora. Pest, 1865.; Erdély országgyűlései a vajdák alatt 1002-1540. Pest, 1870.
Róla szóló irodalom: Bíró Vencel: Vass József. Erdélyi Múzeum, 1913.; Bíró Vencel: Vass József mint történetíró. - Piros Kálmán: Vass József emlékezete. Kalazantinum, 1913.; Bíró Vencel: Vass József. In: Magyar piaristák a XIX. és XX. században. Szerk. Balanyi György. Bp., 1942.
