A texasi Farmersville-ben született 1921-ben, gyermekként kezdetben bendzsón és szájharmonikán játszott. Később gitározni kezdett, és az 1940-es évek modern jazzgitározását meghatározó, gyors improvizációról híres Charlie Christian tanítványa lett. Az észak-texasi egyetemen jazzt tanult.
A The New York Times keddi cikke kiemelte, hogy Ellis első együttese a Soft Winds volt, amelynek Detour Ahead című száma azóta jazz sztenderdé vált. Ismertségre Oscar Peterson triójában tett szert, amelyben még Ray Brown bőgős játszott. Az ütőhangszeres hiánya arra ösztönözte Ellist, hogy gitárjátékával egyfajta ritmushátteret is adjon Peterson energikus zongorastílusához. Amikor 1958-ban kilépett, Peterson egy dobossal pótolta.
1958 és 1962 között Ella Fitzgeralddal koncertezett és készített lemezeket. Gyakran fellépett Norman Granz impresszárió és lemezproducer All Star Jazz at the Philharmonic elnevezésű produkciójában, és zenélt Louis Armstrong, Dizzy Gillespie, Stan Getz mellett is.
Az 1960-as évektől sűrűn foglalkoztatott stúdiózenész lett Los Angelesben, számos televíziós varietéműsorban közreműködött. 1973-ban Barney Kessel és Charlie Boyd gitárosokkal Great Guitars néven alakított együttest. Stílusa ötvözte a bebop arányos szofisztikáltságát a blues egyenességével, míg pengetőtechnikája inkább a country elemeit hordozta magában.
Soha nem volt nagy sztár, a kritikusok és a zenésztársak azonban sokra tartották.
