Pedersen pályája tizenhat éves korában, 1962-ben indult a koppenhágai Montmartre jazzklubban. 1964-től 1982-ig tagja volt a Dán Rádió big bandjének. 1973-ban csatlakozott az Oscar Peterson trióhoz, ekkor kezdődött nemzetközi karrierje. Felvételek százait készítette, s olyan művészekkel játszott együtt, mint Chet Baker, Miles Davis, Dizzy Gillespie, Dexter Gordon, Kenneth Knudsen, Lee Konitz, Palle Mikkelborg, Bud Powell, Martial Solal vagy Toots Thielemans.
