A georgiai Atlantában, fekete középosztálybeli családban született. Zenei pályafutását négyévesen kezdte: egy templomi koncerten gospelt énekelt. Ezt követően egészen 1953-ig a Morris Brown College kórusával turnézott a déli államokban. 1952-ben, nyolcéves korában országos ismertségre tett szert, amikor megnyerte egy népszerű televíziós tehetségkutató verseny nagydíját. Még ugyanebben az évben együtt lépett fel testvéreivel és unokatestvéreivel, akikkel később megalakította a The Pips együttest (egyik unokatestvérük becenevét vették fel). Eleinte gospeleket énekeltek, majd hamarosan világi dalokra váltottak.
1957-ig számos koncertet adtak, olyan legendás előadók előtt léptek fel, mint Tina Turner, Wilson Pickett, Otis Redding, Little Richard, Jackie Wilson és B. B. King. A zenekar korai éveinek legnagyobb sikere az Every Beat of My Heart című rhythm and blues szerzemény volt, amelyet egy kis lemezcég jelentetett meg. A dal sikere után kerültek a Vee Jay lemezkiadóhoz, ahonnan a hatvanas évek közepén az afroamerikaiak zenéjét népszerűsítő Tamla Motownhoz szerződtek tovább. A korai években Van McCoy, a műfaj sikeres dalszerzője és énekese segítette menedzserként a csapatot.
Saját dalaik mellett szívesen játszották mások szerzeményeit is. Több mint ötven számuk került az évek folyamán a különböző listák élvonalába, gyakran azok élére. A zenekar 1989-ben bekövetkezett feloszlásáig három Grammy-díjat is nyert – 1974-ben rögtön kettőt vehetett át –, valamint többször megkapták az American Music Awardsot, és más rangos zenei elismeréseket szintén begyűjtöttek. A feloszlást nemcsak Gladys sürgette, hanem a pénzügyi viták is a Motownnal, a kiadónak ugyanis jelentős hátraléka volt velük szemben, pedig történetének egyik legnagyobb pénzügyi sikerét könyvelhette el a zenekar 1973-as Neither One of Us című dalával.
Gladys szólókorszaka jelentős változásokat nem hozott a zenéjében. Elkerülte a funky és a diszkózene divathullámát, ha lehet, még inkább a blues felé fordult, pályatársai született soulénekesnőként jellemezték. Bár más zenei irányzatok is érdekelték, mégis legszívesebben a műfajban hozzá közel állókkal szövetkezett – B. B. Kinggel, Ray Charlesszal, Tina Turnerrel, Etta Jamesszel, Rita Coolidge-dzsal és Dusty Springfielddel. A popzene ikonikus alakjaival ugyancsak énekelt: duettezett Tom Jonesszal és Frank Sinatrával.
Kipróbálta magát színésznőként is, 1976-ban debütált a Pipe Dreams című játékfilmben, amelyért Golden Globe-díjra jelölték. Azóta több mint negyven filmben, tévéműsorban és -sorozatban vállalt kisebb-nagyobb szerepet: Hawaii Five-0 (2010), A komornyik (2013) Baywatch (1989), a legutóbbiak pedig A lélek nyara (2021) és az Örömteli karácsony (2022) – ennek egyik producere is volt.
Magánéletéből nem hiányoztak a hullámvölgyek. Közel egy évtizedes szerencsejáték-függőségével a nyolcvanas évek végén fordult szakemberhez, amikor egyetlen éjszaka alatt hatvanezer dollárt vesztett a kártyaasztalnál. Háromszor elvált, a négy házasságából három gyermeke született.
Szólóénekesnőként több mint negyven lemezt készített, több listavezető lett közülük, és dalai külön-külön is felkerültek a slágerlistákra. A Save The Overtime 1983-ban, a Love Overboard 1988-ban lett listavezető. A koncertezéssel a kilencvenes években sem hagyott fel. Az 1996-os atlantai olimpián milliók láthatták-hallhatták, amint a Georgia on My Mind című dalával tisztelgett szűkebb hazájának. 2019-ben ő adta elő az amerikai himnuszt az Atlantában rendezett Super Bowlon, az észak-amerikai profi amerikaifutball-liga (NFL) nagydöntőjén.
Gladys Knight eddigi pályafutása alatt hét Grammy-díjat nyert, ebből négyet szólókarrierje során. A The Pips együttessel bekerült a Rock and Roll, valamint a Rhythm and Blues Hírességek és az Énekegyüttesek Csarnokába, két dalát (I Heard It Through the Grapevine, Midnight Train to Georgia) felvették a Grammy Hírességek Csarnokába. 1995-ben csillagot kapott a Hírességek sétányán, valamint a National Medal of Arts 2021-es díjazottja. 2022-ben megkapta a washingtoni Kennedy Központ életműdíját, a Grammy-életműdíjat pedig idén februárban vehette át.
