Shaw ? eredeti nevén Arthur Jacob Arshawsky ? 1910-ben született New Yorkban. Tizenöt éves korától klarinétozott, szólistaként huszonhat évesen mutatkozott be New Yorkban. A harmincas-negyvenes években rendkívüli népszerűségnek örvendett. Előfordult, hogy heti harmincezer dollárt keresett, ami a nagy gazdasági világválság idején hihetetlenül nagy összeg volt. Olyan sztárokkal zenélt együtt, mint Billie Holiday, Buddy Rich vagy Roy Eldridge. 1938-as ?Begin the Beguine? című felvételével egy csapásra a kor legendás klarinétosa, Benny Goodman riválisa lett. A második világháború idején a csendes-óceáni hadszíntéren szórakoztatta az amerikai katonákat.
1954-ben felhagyott a zenéléssel. Mint egy interjúban nyilatkozta, nem tudta elérni azt a művészi színvonalat, amelyre vágyott. Az ?50-es években írni kezdett, majd a filmiparban tevékenykedett. 1981-ben azonban ismét szervezett egy zenekart, amely az ő nevét viselte, és az ő zenéjét játszotta. Klarinétjátéka mellett viharos magánéletéről is ismert volt: nyolc alkalommal kötött házasságot.