Gyermek- és fiatalkorát Gyulán töltötte, a városnak 1999-ben díszpolgára lett. Édesapjához hasonlóan építészmérnöki diplomát szerzett, városrendezésre szakosodott tervező építészmérnökként 1970-től néhány év megszakítással a Városépítési Tudományos és Tervező Intézetben dolgozott. Gyermekkorában hegedülni és brácsázni tanult, katonai szolgálata alatt tanult meg gitározni, egy együttesnek szólógitárosa is volt. 1969-ben Sebő Ferenccel részt vett a Magyar Televízió Röpülj, páva! című tehetségkutató versenyén. A Sebő–Halmos-duó, majd a Sebő együttes alapítótagjaként énekelt versek és népzene előadójaként szerepelt itthon és a világ számos országában.
Népzenével a táncházmozgalom 1972-es indulása óta foglalkozott,
nemcsak táncházakban muzsikáló prímásként, hanem táncházzenész-tanfolyamok szervezőjeként és oktatójaként is. Több száz muzsikust tanított hegedülni itthon, de Európa és Amerika országaiban is. 1972 és 1979 között a Bartók Béla Néptáncegyüttes zenekarvezetője, 1990 és 2009 között a Kalamajka együttes prímása volt. Kiemelkedő szerepet játszott abban, hogy 2011 novemberében a magyar táncházmódszer felkerült az UNESCO kulturálisörökség-listájára.
Népzenekutatóként a magyar mellett szlovák, ruszin, román, zsidó és cigány népzenét gyűjtött.
Egy széki vonósbanda anyagát feldolgozva készítette el az első zenekari monográfiát, ezzel 1987-ben megszerezte a zenetudományok kandidátusa fokozatot. 1992-ig az MTA Zenetudományi Intézetének főmunkatársa volt.
A kezdetektől fogva részt vett a népzeneoktatásban.
Létrehozta és vezette a Táncház Archívumot a Hagyományok Házában, ott volt a Zeneakadémia Népzenei Tanszékének létrehozásánál, ahol oktatott is, miként a Pécsi Tudományegyetem zeneelméleti és kórusszakán is. Hosszú évekig a balatonboglári néptáncos Méta Fesztivál zsűrielnökeként tevékenykedett. A többi közt
a Táncház Egyesület első elnöke és az Országos Táncháztalálkozó elindítója volt.
1989-ben megjelent első és egyetlen szólólemezén (Az a szép piros hajnal) erdélyi népzenét játszott saját és mások gyűjtéseinek felhasználásával. Több filmben szerepelt, például Jancsó Miklós Még kér a nép című alkotásában, a rendszerváltást követően zenei rendezőként, szerkesztőként és népzenei szakértőként jegyzett televíziós műsorokat és önálló filmeket (Népzenei Magazin, Táncház, Muzsikusportrék).
Művészi munkássága elismeréseként 1985-ben Állami Díjat kapott, 1989-ben Magyar Művészetért díjjal, 1999-ben Magyar Örökség díjjal, 2000-ben Budapestért Díjjal, 2004-ben Artisjus-díjjal, 2006-ban Bartók Béla-emlékdíjjal tüntették ki. 2007-ben megkapta a Magyar Köztársasági Érdemrend tisztikeresztjét. 2012-ben a Népművészet Mestere díjban részesült, ugyanebben az évben kapott Prima díjat is. 2013-ban Széchenyi-díjjal tüntették ki.
2013-ban a Magyar Művészeti Akadémia (MMA) rendes tagjai közé választotta.
2013. július 18-án hunyt el Budapesten. A következő évben avatták fel emléktábláját II. kerületi lakása falán, és ugyancsak 2014-ben készített róla portréfilmet Szomjas György, akivel több dokumentumfilmben dolgozott együtt, Hosszú búcsú címmel. 2015-ben nevével vándordíjat és emlékérmet alapítottak.
2016 elején a Hagyományok Háza honlapján elérhetővé vált Halmos Béla több ezer tételből álló, a többi között publikációkat, tudományos kéziratokat, népzenei kiadványokat, eredeti népzenei gyűjtéseket, videó- és hangfelvételeket, valamint fényképeket tartalmazó hagyatéka. Ugyanabban az évben jelent meg a Halmos Béla emlékezete című könyv, amely egy különleges CD-t is tartalmazott, korábban kiadatlan gyűjtéseiből.
2015 végén indult el a róla elnevezett, népzenei utánpótlást támogató program, nevével Bonyhádon kétévente országos népzenei találkozót szerveznek. 2016-ban először rendezte meg születésnapján a Halmos Béla-napot a Hagyományok Háza, Gyulán pedig róla elnevezett Népzenei és Világzenei Fesztivált rendeznek.
Nyitókép: MTI/Czeglédi Zsolt
