A texasi születésű muzsikus kilencévesen kezdett klarinétozni, tehetségét hamar felismerték, egyetemi évei alatt és négyéves szolgálata idején, az amerikai hadseregben is folyamatosan muzsikált. Hamarosan Woody Herman együttesében lett meghatározó tag, előadóként és hangszerelőként is alkalmazták. 1956-ban alapított saját triót Jim Hall gitárossal és Ralph Pena bőgőssel, akit később Jim Atlas váltott. A formáció számára Debussy ihletésére kezdett komponálni, de a későbbiekben folyamatosan próbálta kitolni a jazz határait, az avantgárddal is kísérletezett. A Cecil Taylor, Ornette Coleman és Charles Mingus társaságában való zenélés nagy hatással volt rá, teljesen szabadon játszott, Paul Bley zongoristával és Steve Swallow bőgőssel nemsokára új triót is alakított, 1962-es Free Fall című lemezük a free jazz egyik meghatározó felvétele. Ezt követően a film, a színház és a tánc világában alkalmazták komponistaként, majd a New England Conservatory, a New York Egyetem és a Rutgers Egyetem professzoraként oktatta a jazz zenészek újabb generációit.
