Első zongoraleckéit testvérétől kapta, de leginkább autodidakta volt, és a zeneelemzés terén különleges tehetséggel bírt. A rövid ideig Vándor, majd Vándor-Weiner nevet használó ifjú tizenhat éves korában kezdte meg zeneszerzői tanulmányait a Zeneakadémián Koessler János tanítványaként. Még nem végzett, amikor már több pályázatot nyert. Megkapta a magyaros tárogató-cimbalom műre kiírt Schunda-díjat, valamint kórusműveiért két alkalommal is az egyházzenei Haynald-díjat (a későbbiekben nem írt énekhangra).
Korai zenekari művei a romantika hatását tükrözték, emellett zenei humor jellemezte őket. A huszonegy éves korában írt Szerenádot bérleti hangversenyen adták elő – a kritika csodagyerekként, Mendelssohn, Schumann, Brahms és Saint-Saëns méltó utódjaként ünnepelte.
A Bartók Béla és Kodály Zoltán kortársaként indult Weiner egy évig a Vígopera korrepetitora volt, 1908-ban a Ferenc József jubileumi pályadíj nyerteseként külföldi tanulmányutat tett. Huszonhárom évesen felkérték a Zeneakadémia zeneelméleti tanárának, néhány évvel később a zeneszerzés, majd a kamarazene tanszék professzora lett. 1922-ben II. vonósnégyesével elsőnek nyerte el az amerikai Coolidge-díjat.
Mintegy negyven zeneművet komponált, ő maga a Vörösmarty Csongor és Tündéjéből írt balettzenéje felújított változatához írt szvitet tartotta kedvencének. Zenekari művei közül legismertebb öt divertimentója (az első része a Rókatánc, amelyet többféle átiratban önállóan is játszanak), a Concertino zongorára és zenekarra, valamint a Toldi című szimfonikus költemény. A harmincas évektől műveiben a népies hangvétel jelent meg, elsősorban divertimentóiban és zongoraműveiben. Az 1931-es op. 18-as zenekari szvitjét Lajtha Lászlónak ajánlotta, aki bevezette őt a hangszeres népzene világába. Írt kamarazenét, zenekari átiratokat készített Bach, Liszt és Schubert műveiből.
Weiner a múlt századi zene konzervatív ágának volt a képviselője, aki a dallam és harmónia fontosságát hangsúlyozta. Az új zenei tartalmakat a régi mesterek építkezési hagyományaival egyesítette, választékos ízlésű és biztos kezű művész volt.
Kiváló zenepedagógus volt, az ő érdeme, hogy a Zeneakadémián főtárgy lett a kamarazene. Az ő kezdeményezésére alakult meg 1957-ben a Komlós (ma: Bartók) Vonósnégyes, s ugyanabban az évben egy másik kvartett, amely a következő évben az ő nevét vette fel. Ő alakította meg az első magyar fúvósötöst és 1928-ban az első hazai karmester nélküli kamarazenekart. Tanítványa volt többek közt Doráti Antal, Solti György, Kurtág György. Több összhangzattani művet is jegyzett, az elsőt még huszonhárom évesen írta.
1949-ben nyugdíjba vonult, de nyugalmazott professzorként 1957-ig tovább oktatott a Zeneakadémián, és haláláig adott magánórákat otthonában.
Munkásságát kétszer ismerték el Kossuth-díjjal (1950, 1960), 1953-ban megkapta a kiváló művész címet. 1960. szeptember 13-án halt meg Budapesten. A Fiumei úti temetőben álló síremléke Kisfaludi Strobl Zsigmond alkotása.
Weiner egész élete és munkássága a Zeneakadémiához kötődött, az intézmény örökölte a zeneszerző hagyatékát és vagyonát. A Zeneakadémia által a nevével 2004-ben alapított kitüntetést minden évben születésnapján adják át. A róla elnevezett országos kamarazenei versenyt 1963-ban rendezték meg először. Budapesten, egykori terézvárosi lakóháza falán emléktáblát állítottak, a VI. kerületben a róla elnevezett utcában emlékműve található, a XI. kerületben nevével zeneiskola és zeneművészeti szakközépiskola működik.
