Nagy István mérnök és rádóczi Marton Eszter fia. Szüleit hamar elvesztette, nagynénje, Marton Judit gondoskodott a neveltetéséről. 1838-40-ben Sopronban bölcsészetet, majd 1840-42-ben a pozsonyi evangélikus líceumban jogot tanult. 1843-ban herceg Esterházy főügyésze, Szemerey Sándor mellett joggyakornok, 1843-ban Sőtér Ferenc mosoni alispán és országgyűlési követ mellett országgyűlési írnok. Ezután Sopron vármegyei tisztviselő volt. 1848-ban rövid ideig (október 2?27.) nemzetőrként részt vett a szabadságharcban. 1854-től Kaposváron törvényszéki bíró, 1856-tól úrbéri törvényszéki ülnök. Egyúttal részt vett Somogy vármegye úrbéri rendezésében és a marosdi pusztán talált 3793 darab régi pénzt ismertette. 1861-ben uradalmi ügyész volt Mosonmagyaróváron. 1861-től Kőszegen a dunántúli kerületi tábla jegyzője, 1862-től táblai ülnök. 1863-ban Ráth Károllyal és másokkal megalapította az 1867-ig létező Dunántúli Történetkedvelők Társulatát. 1867-ben Kőszeg városa díszpolgárrá választotta. 1869-től Pesten ítélőtáblai bíró. 1872-ben a belügyminisztérium az országos levéltár felállítására összehívott ankét tagjául választotta, 1874-ben pedig az igazságügyi miniszter kiküldte a dunántúli bíróságok ügymenetelének hivatalos megvizsgálására. 1875-től kúriai bíró. 1878-ban az országos levéltár hivatalos tiszti vizsgáinál vizsgáló biztos. 1880-ban a Somogy megyei régészeti és történeti társulat tiszteletbeli tagja lett. 1887-ben Bars megye törvényhatóságának megkeresésére a történelmi társulat a megye idegen hangzású községneveinek visszamagyarosítására alakult bizottság elnökéül választotta. 1891-től kúriai tanácsvezető bíró.
Jelentős szerepe volt a Magyar Történelmi Társulat (1867), valamint a Magyar Heraldikai és Genealógiai Társaság (1883) megalapításában. Történeti források (főként középkori oklevelek) kiadásával foglalkozott. A szabadságharc leverése után a történelem felé fordult, minden erejét a levéltári kutatásoknak szentelte. Az 1853. évi Új Magyar Múzeum februári füzetében egy XVII. századi történeti éneket adva ki Répczemelléki név alatt, ebben már hivatkozik több évi kutatásaira. Az oklevelek olvasását Horváth Elek felügyelete mellett tanulta meg. Kutatásait Sopron város és vármegye levéltáraiban kezdte, az Ostffy család gazdag levéltárában folytatta. Már ekkor célul tűzte ki, néhány gazdag levéltárba bejusson, de egyes családok még féltékenyen őrizték oklevélkincseiket. Az Ostffyak kivételt képeztek e tekintetben, ők megnyitották Nagy Imre előtt levéltárukat, sőt az oklevelek közlését is megengedték. Így látott napvilágot 1855-ben az Osl nemzetségnek két Árpádkori oklevele, magyarázatokkal. Kőszegre költözése fordulópontot hozott munkásságában. Addig inkább csak gyűjtötte a levéltárakból az anyagot, itt kezdett hozzá nagyobb mértékben az oklevelek adatainak feldolgozásához. Ekkor kötött barátságot Ráth Károllyal és Romer Flórissal. 1863-65-ben a Győri Történelmi és Régészeti Füzetek munkatársa.
1883-94-ben a Magyar Heraldikai és Genealógiai Társaság másodelnöke. Az országos régészeti társulatnak és a Magyar Történelmi Társulatnak is igazgatóválasztmányi tagja. Az MTA levelező tagja 1870. május 25-től, rendes tagja 1886. május 6-tól. Akadémiai székfoglalóját A Lajta mint határfolyam címmel 1871. május 8-án, majd A Pécz nemzetség örökösödési pere 1425-1433 címmel 1892. október 10-én tartotta.
Fő művei: Hazai okmánytár. Kiad. többekkel. I-VIII. Győr-Bp., 1865-73, 1876-91.; A Lajta mint határfolyam. Századok, 1871.; A gróf Zichy család idősb ágának okmánytára. Szerk. Nagy Ivánnal, Véghelyi Dezsővel. I-VI. Pest-Bp., 1871-94.; Anjoukori okmánytár. Kiad. I-VI. Bp., 1878-91; Hazai oklevéltár 1234-1536. Szerk. Deák Farkassal, Nagy Gyulával. Bp., 1879.; Zala vármegye története. Oklevéltár. Szerk. Véghelyi Dezsővel, Nagy Gyulával. I-II. Bp., 1886-90.; Sopron vármegye története. Oklevéltár. I-II. Sopron, 1889-91.; A Pécz nemzetség örökösödési pere 1425-1433. Bp., 1892.
Róla szóló irodalom: Sz[ilágyi] S[ándor]: Nagy Imre. Századok, 1894.; Báró Radvánszky Béla: Emlékbeszéd alsó-szopori Nagy Imre felett. Turul, 1895.; Fejérpataky László: Emlékbeszéd alsó-szopori Nagy Imre rendes tagról. Bp., 1897.
