A New Jersey állambeli Newarkban született fekete családban, ácsmester apja és mosónő anyja mindketten amatőr zenészek voltak. Hétévesen kezdett zongorázni, tizenkét évesen orgonálni, és a templomi kórusban is énekelt. Tinédzserként helyi klubokban énekelt és zongorázott, de az éjszakai életet nem tudta összeegyeztetni tanulmányaival, s végül az iskolát hagyta félbe. Barátai biztatására 1942-ben benevezett a harlemi Apollo Színház tehetségkutató versenyére, ahonnan számos muzsikus karrierje indult el, és a Body and Soul című jazz-standard előadásával első helyen végzett. Produkciója felkeltette a már befutott énekes Billy Eckstine figyelmét, aki beajánlotta Earl Hines együttesébe.
Énekével nem is volt baj, de bántotta, hogy nem engedik a zongorához, mivel a zenekar vezetője is ezen a hangszeren játszott. Az énekesnő 1944-ben Eckstine zenekarához csatlakozott, ahol többek között a szaxofonos Charlie Parker és a trombitás Dizzy Gillespie is játszott, nekik köszönhetően formálódott a jazz műfaját forradalmasító, gyors és bravúros improvizációkra épülő bebop stílus. Vaughan is beépítette énekébe a bebop elemeit, példa erre egyik első szólókislemeze, az 1945-ben Parker és Gillespie társaságában felvett Lover Man. 1945-ben önállósította magát, nem sokkal később megismerkedett a trombitás George Treadwell-lel, aki menedzsere és idővel férje is lett. A sajtóban már „The Divine One” néven emlegetett Vaughan első igazán nagy sikerét a Tenderly című dallal aratta, ezt követte az It's Magic, amelyet Doris Day adott elő a Romance on the High Seas című filmben.
Férje mindent elkövetett, hogy az énekesnőből sztárt varázsoljon. Megoperáltatta az orrát, új frizurát készíttetett neki, szépségszalonba küldte, hogy lefogyjon, és személyesen figyelt a ruhatárára. Az esetlen és gátlásos lányból igéző dívát varázsolt, így igen rövid idő alatt hatalmas népszerűségre tett szert az ötvenes években, és ez tette lehetővé, hogy jazzes közegben is koncertezhessen, lemezeket készíthessen. Leszerződött a Columbia lemezkiadóhoz, első szólóalbuma 1950-ben Treadwell zenekarának kíséretében jelent meg. A kiadóval támadt vitái miatt 1953-ban a Mercury céghez igazolt, ahol könnyedebb számokat és a Mercury egyik kisebb kiadójánál jazzes dalokat is felvehetett. 1954-ig olyan népszerű slágereket rögzített stúdiózenekarok kíséretében, mint a Make Yourself Comfortable, a Whatever Lola Wants, a Banana Boat Song és a saját maga által giccsesnek minősített Broken Hearted Melody. Az utóbbi ennek ellenére vagy épp ezért első aranylemeze és – a közönség változó ízlése miatt – utolsó kereskedelmi sikere lett.
Az 1950-es évek második felét turnékkal töltötte, de közben viszonya megromlott férjével, akivel az évtized végén üzleti kapcsolatukat is megszakították. A DownBeat riporterének azt nyilatkozta: „Mindent, amit George értem tett, valójában magáért tette. Ezt senki sem akarja megírni, de ez az igazság, és szeretném, ha az emberek ezt megértenék.” Sarah Vaughan még háromszor ment férjhez, és mindhárom házassága válással végződött, saját gyermeke nem született, de 1961-ben örökbe fogadott egy kislányt.
Bár lemezei már nem fogytak úgy, mint régen, keresett előadó maradt, egymást érték fellépései klubokban és jazzfesztiválokon, s mindig elhangzott az először 1957-ben Quincy Jonesszal rögzített Misty és a Send in the Clowns című dal, amelyet Stephen Sondheim az Egy nyári éj mosolya című musicalhez írt. A közönséget lenyűgözte gazdag, háromoktávos hangja, scat technikája (improvizatív, szaggatott, a szótagokat-szavakat értelem nélkül összefűző, a hangszereket utánzó éneklés). Karrierje során olyan művészekkel koncertezett és készített lemezeket, mint Cannonball Adderley, Count Basie, Charlie Parker vagy Joe Pass, Quincy Jones és Oscar Peterson. Rendkívüli módon vonzódott George Gershwinhez, akinek dalaiból az ötvenes években készített először lemezt, de rendszeresen visszatért hozzá, az 1982-ben átvett első Grammy-díját is a Gershwin Live! koncertlemeznek köszönhette.
Jóllehet ez fellépésein nem látszott, egészsége az 1980-as évek végén egyre gyengült, 1989-ben le kellett mondania európai turnéját. Az év tavaszán a New York-i Blue Notes jazzklubban adott koncertjei közben diagnosztizálták tüdőrákját, s többé már nem lépett fel. Az énekesnő 66 évesen, 1990. április 3-án otthonában hunyt el, temetését szülővárosában tartották. Halála után több tucat albuma jelent meg, közülük az 1995-ös Sings Broadway: Great Songs from Hit Shows, a Sings George Gershwin és a Sarah Vaughan volt a legkapósabb.
Munkássága elismeréseként 1982-ben megkapta a Grammy-életműdíjat, 1985-től csillaga van a hollywoodi Hírességek sétányán, három évvel később beiktatták a Jazz Dicsőségcsarnokába, és felléphetett a Fehér Házban is.
