John Edgar Hoover családja szűkös anyagi körülmények között élt, így egyetemre csak esti tagozaton járhatott, napközben a Kongresszusi Könyvtárban tisztviselőként dolgozott. Jogi diplomájának megszerzése után, 1917-ben egy bíró bácsikájának ajánlására került az Igazságügyi Minisztériumba, ahol feladata a forradalmi és ellenforradalmi csoportok, az ellenséges érzelmű idegenek megfigyelése lett.
A könyvtárban töltött évek nem múltak el hatás nélkül: 450 ezer baloldali nézetű személy nevét gyűjtötte össze, így kerülhetett sor 1919. november 7-én, a szovjet forradalom második évfordulóján tízezer kommunista szimpátiával gyanúsított ember letartóztatására. Többségük amerikai állampolgár volt, ezért el kellett engedni őket, Hoover dossziéi viszont az eljárások során a radikálisok védelmére hajlandó ügyvédek százainak nevével gyarapodtak.
Hoover 1921-ben lett az akkor még az igazságügyhöz tartozó és Nyomozóiroda (BOI) névre hallgató szervezet helyettes vezetője, 1924-ben nevezték ki igazgatónak. A botrányoktól sújtott, tekintélyét vesztett szervezet az irányítása alatt hamarosan jól működő gépezetté vált. Szigorított az ügynökök toborzásán, javított kiképzésükön, 1926-ban létrehozta az ujjlenyomat-nyilvántartót.
Arra hivatkozva, hogy a szervezett bűnözéssel csak hasonlóan erős bűnüldözők vehetik fel a versenyt, hatalmas pénzeket csikart ki a Kongresszustól az 1935-től már az FBI nevet viselő szervezete számára.
Az FBI jelentős sikereket mutatott fel, sorra vadászta le vagy juttatta rács mögé a gengsztereket, Hoovert nemzeti hősként ünnepelték.
A harmincas évek elején nevezte ki az FBI helyettes igazgatójának Clyde Tolsont, akivel a következő négy évtizedben szoros munkakapcsolatban és sokak szerint ennél is szorosabb személyes kapcsolatban maradt. Akadnak, akik úgy vélik, az FBI azért vett vissza a maffiaellenes harc lendületéből, mert a bűnözők kompromittáló fényképekkel zsarolták az FBI berkeiben csak Johnny és Clyde néven emlegetett párost.
Hoover az idők során a nemegyszer törvénysértő módon (lehallgatás, postatitok megsértése, zsarolás révén) felhalmozott személyes adatok tömegének köszönhetően Amerika legnagyobb hatalmú emberévé vált. 1924 és 1972 között az Egyesült Államoknak nyolc elnöke, de az FBI-nak csak egy igazgatója volt.
A mindenhol szovjet ügynököket gyanító Hoover kiharcolta, hogy szervezete az Amerikában folyó külföldi kémtevékenységet is vizsgálhassa. A radikális politikai nézeteket valló egyénekről gyűjtött adatokat kiszivárogtatták az Amerika-ellenes tevékenységet vizsgáló kongresszusi bizottságnak, emiatt számos kommunistabarátságát titkoló színész, filmes került feketelistára.
Az FBI az ötvenes évektől már alig foglalkozott (az igazgató által nem létezőnek minősített) szervezett bűnözés üldözésével, annál inkább vizsgálta a Hoover által veszélyesnek tartott nézeteket valló közszereplőket és a politikai korrupciót, a megszerzett adatokat aztán Hoover a politikusok manipulálására használta. Jellemző, hogy 1959-ben az FBI 489 ügynöke figyelte a vélt vagy valós kommunistákat és csak négy a maffiát; nemcsak Martin Luther Kingnek és John Lennonnak, de Elvis Presley-nek is volt aktája a cégnél.
A washingtoni pletykák szerint felmentését fontolgatta Harry Truman, John F. Kennedy és Lyndon B. Johnson is, de végül egyiknek sem volt ehhez bátorsága, így Hoover az FBI elnökeként halt meg 1972. május 2-án. A hírt washingtoni politikai körökben érezhető megkönnyebbülés fogadta, az FBI vezetőjének félelmetes és rettegett magánirattárát barátja, Clyde Tolson semmisítette meg.
A korábban sérthetetlen igazgatót 1976-ban bírálta először egy szenátusi jelentés. Az FBI központi épülete ma is a nevét viseli, de ellentmondásos öröksége miatt időről időre felmerül az átkeresztelés gondolata.
Személye számos irodalmi műben és filmben felbukkan, 2011-ben Leonardo DiCaprio főszereplésével és Clint Eastwood rendezésében készült film életéről J. Edgar – Az FBI embere címmel.
