Sokgyermekes, szegény családban született Szombathelyen. Édesapja asztalosmester volt, a képzőművészet iránti érdeklődése ellenére Derkovitsnak is ezt a szakmát kellett kitanulnia. A nyomor és a szülői kényszer elől menekült, amikor önként jelentkezett az I. világháború idején katonának. A fronton súlyosan megsérült, megbénult a bal keze, és egész életére kiható tüdőbajt kapott. 1916-ban Budapestre költözött hadirokkantként, némi segélyből és asztalosmunkából tartotta fenn magát, közben Kernstok Károly szabadiskolájában festészetet tanult.
A háborús évek nélkülözése, majd a társadalmi mozgalmak nyomot hagytak gondolkodásán, 1918-ban belépett a kommunista pártba. A tanácsköztársaság alatt a Proletár Képzőművészeti Tanműhelyben, majd Kernstok nyergesújfalui telepén képezte tovább magát. Kezdetben csak ceruza- és tusrajzokat készített, később akvarelleket és olajfestményeket is. A forradalom bukása után ismét fizikai munkák végzésére kényszerült, de a festészettel sem hagyott fel.
Korai képein, ceruza- és tusrajzain a szegény embereket némi szentimentalizmussal ábrázolta – Öregasszony, Hazafelé, Favágó. Először 1920-ban, a Nemzeti Szalonban állította ki képeit, a Papagájos embert és a Dögevőket. 1922-ben a Váci utcai Belvedere kiállítóteremben hetven képpel önálló tárlata nyílt. 1923-ban Bécsbe ment, ahol felvette a kapcsolatot a baloldali emigrációval. Ausztriai tartózkodása idején egy mecénás segítségével két kiállítást is rendezett, itt mutatta be a német expresszionizmus hatása alatt festett egyik legszebb művét, a Menekülőket.
1926-ban hazatért, rá egy évre az Ernst Múzeum bemutatta negyven képét, ezzel a magyar kortárs festészet élvonalába került. 1928-ban a kommunista párt megbízásából készítette el egyik legismertebb grafikai művét, a 12 fametszetből álló Dózsa György-sorozatot az 1514-es parasztfelkelésről, a témát 1933-ban hatlapos rézkarcsorozaton is feldolgozta. Megrendelésre készült az 1930-as nagy munkástüntetésnek, Sallai Imre és Fürst Sándor 1932-es kivégzésének emléket állító képe is.
1930-tól fogva, amikor főként temperával festett, színei kivilágosodtak, képei monumentálissá nőttek. Témáit a hétköznapi életből vette, a szegény embert és környezetét festette meg. Fokozott érzelmi, tartalmi és formai tömörítés jellemzi ezeket a műveket, ekkor alakult ki a hideg és meleg színeket, ezüstöt, aranyat, rózsaszínt, okkert, világoskéket harmonikusan összeolvasztó, egyedi színvilága.
Utolsó festészeti korszakát a Végzés, az Alvó, a Kivégzés, a Vasút és az Anya című művei képviselik. Alkotóereje teljében, alig negyvenévesen, 1934. június 18-án vitte el a tüdőbaj. Noha szervezeti kapcsolata a kommunista párttal élete végén megszakadt, világnézete nem változott. Hamvai a Munkásmozgalmi Panteonban nyugszanak.
Cézanne és a kubisták hatása, majd a német expresszionizmus törekvései érzékelhetők művészetében. Bécsben fordult a társadalmi kérdések felé – e képek expresszív szín- és formamegoldásai itthon realista elemekkel bővültek. Elvetette a klasszikus hagyományokat és a dekorativitás igényét, egyre inkább a több pontból látható nézet egybekomponálása jellemzi térábrázolását. Legérettebb képein saját és a munkásosztály sorsának tragikuma egyéni formanyelvvel társul.
1948-ban posztumusz Kossuth-díjat kapott. 1960-ban a Velencei Biennálén és Amszterdamban, 1961-ben Rómában állították ki alkotásait. Műveinek többsége a Magyar Nemzeti Galériában és a Szombathelyi Képtárban található, emlékére tehetséges fiatal képzőművészek részére 1955-ben Derkovits-ösztöndíjat alapítottak.
Születésének százharmincadik évfordulója alkalmából életmű-kiállítással tisztelegnek művészete előtt a Szombathelyi Képtárban. A tárlaton 64 alkotás, 39 festmény és 25 grafika látható egészen május 19-ig.
