Tehetős, de hamar elszegényedett bécsi kereskedőcsalád sarja volt, fiatalon nagy lelkesedéssel írt verseket. Autodidaktaként, köztisztviselői állása mellett kezdett tizenévesen dalokat komponálni, ekkori művein a romantika és Mahler hatása érződik. 1904-től hat éven át az „atonális zene atyjaként” emlegetett Arnold Schönberg magántanítványa volt, akinél ellenpontot, zeneelméletet és zeneszerzést tanult, Schönberget korán elvesztett apja helyett apjaként tisztelte. Az ő révén kötött barátságot Anton Webernnel, a második bécsi iskola másik jelentős képviselőjével, közeli kapcsolatot ápolt a kor expresszív képzőművészeivel, köztük Oskar Kokoschkával.
1910-ben jelent meg első zongoraszonátája, 1911 és 1915 között az Universal kiadó korrektoraként dolgozott. A lelkes színházlátogató Berg egymás után kétszer is megnézte Georg Büchner Woyzeck című drámáját, amely akkora hatással volt rá, hogy elhatározta: operát ír belőle. A Wozzeck négy év megfeszített munka után 1921-re készült el, és újabb négy évvel később, 140 próba után mutatták be Berlinben. Berg ebbe a művébe olvasztotta az új bécsi iskola addigi eredményeit, és új zenedrámai konstrukciót hozott létre.
A darabot a nácik az „elfajzott művészet” kategóriájába sorolták, és hatalomra jutásuk után azonnal levetették a német operaszínpadról. (Magyarországon csak 1964-ben volt az ősbemutatója Ferencsik János vezényletével, Mikó András rendezésében.)
Irodalmi alapon nyugszik Berg második operája, a Lulu is, ezúttal Frank Wedekind A föld szelleme és Pandora szelencéje című darabja nyomán írta a librettót. Az ekkor már a Schönberg-féle dodekafon (tizenkét hangú) technikát alkalmazó Berg a komponálást 1928-ban kezdte, de nem tudta befejezni. Özvegye, Helene Berg Schönberget kérte fel a befejezésre, aki először igent mondott, de szembesülve a feladat nagyságával lemondta a megbízást, miként később Webern és Alexander Zemlinsky is, a darabot így Berg halála után két évvel, 1937-ben csonkán mutatták be Zürichben.
Az operát társadalomkritikus hangvétel, érzelmekben és szenvedélyekben gazdag zene, expresszív dallamosság jellemzi. Az erotikus töltésű történet egy vonzó táncosnőről szól, aki számos férfit elcsábít, s végül prostituáltként Hasfelmetsző Jack áldozatává válik. Az operát 1973-ban játszotta először a budapesti Operaház, a címszerepben Kalmár Magdával, a Mikó András rendezte premieren Mihály András dirigált.
Berg kevés művet komponált, ismert még az 1912-ben Peter Altenberg költeményei nyomán írt öt zenekari dala, a Schönbergnek ajánlott Kamarakoncert, az 1926-ban készült Lírai szvit (első igazi dodekafón műve, amely Bartók 3. és 4. vonósnégyesére is hatással volt), valamint a Baudelaire nyomán írt A bor című koncertária. Utolsó befejezett műve a Lulu komponálása közben,
Berg nem sejthette, hogy egyben saját rekviemjét is írja. Nem sokkal a Hegedűverseny befejezése után, novemberben megcsípte a hátán egy rovar, a begyulladt sebet felesége egy ollóval próbálta megműteni. A kísérlet balul ütött ki, és mire kórházba került, már késő volt: 1935. december 24-én, alig ötvenévesen vérmérgezésben meghalt. Emlékére özvegye 1969-ben alapítványt hozott létre, Berg nevét üstökös is őrzi, a karintiai Schieflingben 2006 óta látható mellszobra, emlékművét 2016-ban avatták fel a bécsi operaház mellett.
