A községről az első, napjainkig fennmaradt írásos említés a XIV. század második feléből származik, amikor magánföldesúri kézben találjuk. A Péch nembeli Lóránd és leszármazottai - mint ez Magyarországon oly gyakori szokás volt -, birtokukról vették fel nemesi előnevüket, a Berzenceit. A korszak rossz közbiztonsága, egyúttal az alávetett jobbágyoktól való félelem megkövetelte a família számára egy erődített rezidencia kiépítését. Az erősség létrehozásáról Zsigmond király 1406-os oklevele tanúskodik, mely azt már lakott várként említi meg.
Később - közelebbről nem ismert körülmények között - rommá vált, mert amikor a Berzenczeiektől 1468-ban Forster György megszerezte, teljesen újjá kellett építetnie. Többszöri tulajdonosváltással élte meg a XVI. századot, akkor a Dunántúl megszállására törekvő Oszmán Birodalommal került szembe. A törökök 1566-ban hatalmas sikert értek el a stratégiai fontosságú Szigetvár bevételével. A lesújtó hír hallatán a berzencei helyőrség elmenekült, így a hódítók ellenállás nélkül vették birtokba az erődítményt, majd falait megerősítették és palánkkal bővítették.
A török uralta Szigetvár és az 1600-as esztendőig magyar kézben lévő Kanizsa várai közötti ütközőzónában fekvő Berzencénél sokszor csaptak össze a szembenálló felek, vívtak véres csatákat. Az 1618-ból fennmaradt zsoldjegyzék szerint 349 főnyi igazhitű harcos strázsált falai között. A várat Zrínyi Miklós, a költő és hadvezér 1664-es téli hadjárata idején pusztították el a hódoltsági vidékekre mélyen benyomuló keresztény csapatok. A romba dőlt maradványokat a békésebb idők bekövetkeztével elbontotta a helybeli lakosság, így napjainkra nyoma sem maradt a berzencei várnak.