Romániában, Tordán született 1929. november 25-én, első tanítómestere édesapja, Gross Károly festő és rajztanár volt. Gyerekkorától nem is készült másnak, „csak” képzőművésznek, az iskolában tanárai jóindulatának köszönhette, hogy nem kellett osztályt ismételnie. A család 1940-ben Nagyváradra költözött, innen szökött át 1947-ben Magyarországra. Egy hátizsákkal, benne rajzaival érkezett Pestre, ahol érettségi nélkül felvették az Iparművészeti Főiskolára. 1949-ben a grafikai tanszék átkerült a Képzőművészeti Főiskolára, itt szerzett diplomát.
Festőnek készült, majd Rembrandt és Dürer rézkarcait tanulmányozva maga is sokszorosítható grafikákat kezdett készíteni. Folyamatosan dolgozott a rézkarc műfajának megújításán, hogy a korábbi egyhangú, fekete-fehér műveket a szivárvány színeiben pompázó, sodró lendületű, mégis nyugalmat és harmóniát sugárzó alkotások váltsák fel. Művein egyetlen apró négyzetmilliméter sem maradhat szabadon, minden helyet sajátos tündérvilágának városai és lakói, apró lényei, virágai, fái, csodanövényei népesítenek be (A művészet dicsérete, Beszélgetések a barátságról, Reneszánsz, Római ünnep, Brüsszeli vasárnap, Madarak kertje).
A neves író, Szentkuthy Miklós „karácsonyfa-opusznak” nevezte Gross művészetét, mert képeinek látszólagos túlzsúfoltsága díszes karácsonyfára emlékezteti a szemlélőt. Nem titkoltan mesevilágot ábrázolt képein, mert – ahogy ars poeticáját is megfogalmazta – annyi gond, baj, bánat és szörnyűség vesz körül minket, hogy azt nem szabad még a művészetbe is beengedni.
A nyolcvanas évek közepétől újabb „szenvedélye” lett az ásványok gyűjtése, amelyek természet adta ragyogásukkal, színeikkel nagy hatással voltak rézkarcai színezésére.
Élete során mintegy 150 rézkarcot, emellett számos reprodukciót, toll-, tus- és ceruzarajzot készített. Technikáját otthoni rézkarcgépén tökéletesítette, formákkal, színekkel kísérletezett.
Nagy méretű kompozíciói közül a Művészek kertje az egykori Hotel Duna InterContinentalban volt látható, a Kertvárosi álom és a Nyáron törpéket hoztak a balatoni gólyák című installációi a Buda Penta (ma Mercure Budapest) Hotelben található. Könyvei is nagy sikert arattak; az Adamis Annával közösen készített Versek és képek, valamint az 1985-ben megjelent Gross Arnold emlékkönyve szinte pillanatok alatt elfogyott a boltokból.
Több egyéni kiállítása volt Magyarországon, de neve a külföldi közönség körében is ismerősen cseng, hiszen többször állított ki Rómában, Tokióban, Amszterdamban, Londonban, Los Angelesben, Hamburgban és Bécsben. 1966-ban és 1968-ban a Krakkói Grafikai Nemzetközi Biennálén nemzetközi első díjat kapott, képeit megvásárolta a varsói múzeum.
Munkásságáért 1955-ben és 1967-ben Munkácsy Mihály-díjat kapott, 1987-ben érdemes művész lett, 1995-ben Kossuth-díjjal tüntették ki, 2009-ben Pro Urbe Budapest díjat vehetett át, és Torda város díszpolgára lett, 2014-ben a Nemzet Művésze címben részesült. 1993-ban a Széchenyi Irodalmi és Művészeti Akadémia tagjává választották.
Sós Mária 1978-ban portréfilmet készített róla. 2014 szeptemberében Budapesten,
Gross Arnold 2015. január 22-én hunyt el Budapesten.
Róla nevezték el a beregszászi II. Rákóczi Ferenc Kárpátaljai Magyar Főiskola kiállítótermét. 2019-ben a Gross Arnold Galéria – a Jászi Galériával közösen – Budapesten nagyszabású életmű-kiállítást rendezett A művészet kertje – Gross Arnold 90 címmel. Itt mutatták be a róla szóló több mint 300 színes képpel illusztrált nagymonográfiát. Születésének 95. évfordulója alkalmából tavaly novemberben Gross Arnold 95 – Utazások valós és képzeletbeli tájakra címmel utazó kiállítást indítottak munkáiból, a tárlat Budapest után az ország több városában is látható lesz. 2016-ban emléktáblát avattak tiszteletére egykori lakóhelyén, Budapest II. kerületében, a Keleti Károly utcában. Kondor Bélával közös emléktáblája 2023 óta Budapest XI. kerületében található annak a háznak a falán, ahol a két művész egykor alkotott.