Dit complex is tijdens de 14e eeuw ontstaan als godshuis, na een jarenlange vete tussen de Gentse patriciërsfamilies Rijm en Alijns. Het bloedige hoogtepunt van de vete viel bij de moord door de gebroeders Rijms op de kinderen van Alijns in de Sint-Janskerk. Als vergoeding werd de familie Rijms verplicht dit godshuis op te richten voor noodlijdenden.

Het geheel is een voorbeeld van bak- en zandsteenarchitectuur. Tijdens de 16e eeuw volgden grondige herstellingen en uitbreidingen. In 1941 werd de Stad Gent eigenaar, en sinds 1954 werd het geheel gerestaureerd o.l.v. V.Vaerwyck. Sinds 1962 is het Museum voor Volkskunde hier ondergebracht.

Johan De Bock: 'Dit is ook de plaats waar de Gentse Feesten overleefden tussen 1950 (opkomst van de TV en de 'congé payé') en de wedergeboorte door Walter De Buck. Men bleef er muziek en poppenspel spelen voor de arme Gentenaars die niet naar zee of Spanje konden reizen. Ook nu nog is er tijdens de Gentse feesten een welgevulde programmatie op de zeer gezellige binnenkoer.'