De bouw van dit stadhuis vatte aan in 1458. Dit is echter niet het eerste stadhuis van Bergen. Het eerste 'huis van de vrede' (maison de la paix) zoals destijds een stadhuis heette, bestond reeds in 1269. Maar toen de monniken besloten een nieuwe, gotische Sint-Waudrukerk te bouwen, halfweg de 15e eeuw, toen besloten ook de wethouders die de stad regeerden, dat zij een nieuw stadhuis nodig hadden. Mattheus de Layens, verantwoordelijk voor de kerk, kreeg ook de opdracht voor het stadhuis. Maar, gebrek aan middelen en rumoerige tijden, verhinderden dat het gebouw dezelfde uitstraling zou krijgen als het stadhuis van Leuven. In feite werd dit gotische stadhuis nooit afgewerkt. Als je goed kijkt, dan zie je in de bovenhoeken van de voorgevel de aanzetten waarop de hoektorens hadden moeten steunen. Maar zelfs de bovenste verdieping kwam er niet. Binnen zie je ook de aanzet van wenteltrappen, die er nooit kwamen... De centrale erker moest plaats ruimen voor een ijzeren balkon. Het voorlopige dak werd in de 16e eeuw vervangen door een definitief dak. In 1716-1718 werd de dakruiter van 'Trou en Caffiaux' toegevoegd. Daarin hangt de banklok uit 1319, die uit het eerste stadhuis kwam. Het gebouw bleek snel te bekompen, en daarom werd reeds in de 16e eeuw een vleugel bijgebouwd (met daarin o.a. de zaal waar de huwelijken plaatsvinden). Ook tijdens de daarop volgende eeuwen werden ijverig extra vleugels gebouwd. De 19e eeuw overspoelde het gebouw met neogotische ingrepen. De gevel vertoont duidelijk zijn gotische kenmerken. De spitsboogvensters met maaswerk en drielobtraceringen, zijn bekroond met lijsten met hogels en kruisbloemen. Hij is opgetrokken uit zandsteen van Bray en Escosijnse steen. Een bijzonder beeldje is de aap of 'Grote Wacht'. Deze ijzeren aap dateert uit de middeleeuwen. Het is echter niet duidelijk waarvoor hij diende. De originele, smeedijzeren sloten bestaan nog (deze zijn te bezichtingen in het museum van Jean Lescarts). In het portaal van het stadhuis zijn ze vervangen door een copy in messing. Het portaal zelf is overspannen met kruisribgewelven, waarvan de gewelfsleutels scènes voorstellen uit de juridische taken van de wethouders.