Valdés 1926-ban született Havannában, a '40-es években már a Sonora Matancera együttesben játszott. Virtuozitásával hamar kitűnt, az első volt, aki kettőnél több kongát használt egyszerre, és az ő nevéhez fűződik a hangolható konga kifejlesztése is, a Patato modell a mai napig a legnépszerűbbek közé tartozik. 1955-ben New Yorkba költözött, ahol Tito Puente, Machito, Mongo Santamaria, Kenny Dorham, Dizzy Gillespie, Art Blakey, Elvin Jones és Herbie Mann társaságában muzsikált. Saját, Afrojazzia nevű együttesével is jelentős sikereket ért el, de közben többször feltűnt a mozivásznon is, az És Isten megteremtette a nőt című film végén ő tanítja Brigitte Bardot-t mambózni.
