Tanulmányait apjának, a gróf Károlyi-család nyírségi gazdatisztjének 1795-ben történt halála után, az anyai rokonok gondviselése alatt a tarcali nemzeti iskolában kezdte, majd Tokajban és Szegeden folytatta. 1809-ben Kassán végezte jogi tanulmányait, utóbb Pesten ügyvédi vizsgát tett. Két éves jogi gyakorlat után 1811-től a gróf Károlyi család hódmezővásárhelyi uradalmánál ügyészi írnok, 1813-tól Pesten a grófi család titkári hivatalának alkalmazottja. 1819-22-ben a tótmegyeri uradalomban ideiglenes, majd kinevezett igazgató, 1822-50-ben a család levéltárnoka. 1851-től haláláig Tarcalon élt.
Történeti tárgyú írásai főként a Tudományos Gyűjteményben (1828-36), a Hasznos Mulatságokban (1836, 1840-41), a Tudománytárban (1840-41) és a Figyelmezőben (1837, 1840) jelentek meg. Részt vett az MTA zsebszótára és Kresznerics Ferenc Magyar szótára (I-II. Buda, 1831-32) munkálataiban, valamint Kisfaludy Károly munkáinak (I-X. Buda, 1831) kiadásában. Mindenek fölött azonban lelkes bibliofil volt, nem csak a könyveket szerette és gyűjtötte, gyűjteményében olyan aprónyomtatványokat is megőrzött, amelyeknek semmi esélye nem volt arra, hogy fennmaradjanak, noha gyakran fontos vagy érdekes adalékot szolgáltatnak a kor viszonyaihoz. A gyűjtemény elárulja Waltherr tárgyszeretetét, az anyagot nemcsak rendezte, de sok aprónyomtatványt autográf dátummal látott el, kinyomozta a névtelen röpiratok szerzőjét és olvasható kézírással rávezette a címlapra. Könyveit, aprónyomtatványait és kéziratait halála után 1865-ben egy pesti könyvkereskedő közvetítésével szerezte meg a List&Francke cég és 1870 után kezdte meg árusításukat. Nagyon sok könyv került a gyűjteményből a British Museum könyvtárába (történelem, irodalom, nyelv, zene, színház, időszaki kiadványok, intézményekre, testületekre, illetve könyvkiadásra- és kereskedelemre vonatkozó anyagok, korabeli disszertációk).
A Kisfaludy-Társaság tíz alapító tagjának egyike. Ezen kívül aktívan részt vett az Országos Magyar Gazdasági Egyesület munkájában is. Az MTA levelező tagja 1832. szeptember 1-től.
Róla szóló irodalom: Waltherr László. MTA Almanach, 1864.; Wenzel Gusztáv: Emlékbeszéd Waltherr László Imre felett. Akadémiai Értesítő, 1865.
