Young zenészcsaládba született a jazzkorszak hajnalán, Lester a szaxofon mestere lett, Lee pedig eleinte harsonán játszott, majd dobolt és énekelt. A '30-as években már Fats Wallerrel közösen készített lemezeket, majd Duke Ellington és Count Basie együtteseiben játszott, de zenélt Nat King Cole, Lionel Hampton és Billie Holiday társaságában is. Az afroamerikaiak integrációjában is példaértékű volt a munkássága, amikor a '40-es években Los Angelesbe költözött, ő lett az első fekete stúdiózenész Hollywoodban, majd saját együtteseiben is egyszerre alkalmazott fekete és fehér zenészeket. Több mint ezer felvételen hallható a játéka, producerként pedig a Steely Dan nevű fúziós együttes felfedezése alapozta meg hírnevét. A Vee-Jay, a Motown és az ABC/Dunhill kiadóknak is dolgozott.
