Zeker is dat de schuttersgilde dit gebouw in 1573 kocht van de schatbaarder van Brugge, Cornelis De Blois, en het als gildehuis gebruikte. Waarschijnlijk was het gebouw toen een 20-tal jaar oud.

Het geheel is een voorbeeld van Brugse laatgotiek, en werd opgetrokken in baksteen. Tegen de zuidgevel staat een bijzondere spietoren. In feite is dit een dubbele traptoren. De hoofdtoren bevat een stenen wenteltrap. Iedere etage heeft een andere vorm, varierend van rond naar vier, zes en achtzijdig. Deze toren wordt aan de huiszijde geflankeerd door een kleinere trapkoker die een houten spiltrap bevat.

In 1632 werd tegen de westgevel een lage vleugel bijgebouwd. De Engelse koning Charles II, die tussen 1656 en 1659 te Brugge in ballingschap verbleef en er lid was van de schuttersgilde, deed een milde schenking. Deze schenking liet toe om in 1662 tegen deze lage vleugel een breder gedeelte bij te bouwen.

De oostgevel werd in 1682 met een driezijdige huiskapel vergroot.

Op het domein van de vroegere gilde bevindt zich nog steeds een overdekte galerij met daartegenover een theater, zodat toeschouwers het boogschieten konden volgen.

In 1855 werd de uit 1632 daterende vleugel verbreed, zodat het geheel een rechte voorgevel kreeg. De gang met de orkestruimte erboven dateert uit hetzelfde jaar.

In 1899-1900 werd een zeer drastische renovatie doorgevoerd door architect Louis Delacanserie, waarbij o.a. de kapel verdween.