Entre la place du marché et la Woluwelaan se dressent les restes du château des seigneurs de Diegem : le châtelet d'entrée avec ses deux tours de la fin du XVe siècle, et les douves. Le château s'appelait autrefois le Seyp, un mot qui signifie fossé ou ruisseau. Il doit son nom actuel à son dernier propriétaire privé, August Ulric Marga.
Un château d'eau
En 1738, le seigneur Jan Antoon Happart le décrivit comme une maison de plaisance avec pont-levis et eau tout autour, avec drève, ferme, grange et écuries. Une gravure de 1730, dessinée par J. Van Croes et gravée par Henricus Causé, montre une belle demeure gothique aux hautes fenêtres, entourée de douves, avec un pont de pierre et, à l'avant, une tour d'habitation élancée. L'aile droite disparut plus tard ; vers 1900, il restait derrière le châtelet un bâtiment à un étage avec un toit à la Mansart.
Le châtelet a gardé son caractère défensif. Deux tours à toits coniques encadrent le passage en plein cintre. On y voit encore des meurtrières, dont certaines furent élargies en fenêtres au XVIIe siècle, quand le château perdit son rôle défensif. À l'intérieur, le deuxième étage est voûté d'ogives. En 1716, Jan Antoon Happart renouvela la porte et fit encastrer au-dessus de l'entrée les armes de ses parents, Antoon Happart et Anna Carolina de Fierlant.
August Ulric Marga
En 1902, August Ulric Marga vint habiter le château. Né à Waarmaarde en 1854, il entra à l'armée en 1872 et prit sa retraite comme capitaine en 1892. Il se consacra à la balistique : il inventa un fusil très recherché dans la colonie, et un système de tir à courte distance pour l'instruction des recrues. Sur son domaine, il fabriquait des cartouches, puis des chalets démontables en bois et en « réfragor » pour les colonies. Il acheta aussi le Grooten Molen, qui fournissait le courant pour son usine et pour les premières séances de cinéma à Diegem. Il mourut en 1925, alors qu'il travaillait à une mitrailleuse.
Omer Van Parijs, qui travaillait comme menuisier chez Marga vers 1906, se souvenait d'un immense domaine clos de murs jusqu'à la Molenstraat, avec une majestueuse porte d'entrée, un étang bien plus grand avec une île et un pont, et un château luxueusement aménagé avec un escalier monumental. Sur le domaine se trouvaient des cabanes où l'on remplissait de poudre des douilles pour la fabrique d'armes de Wetteren. Selon lui, Marga était un homme singulier : mieux valait être dans ses bonnes grâces que sur sa liste noire.
Incendie et nouvelle vie
En 1927, le château fut vendu à l'intercommunale d'assainissement de la vallée de la Woluwe ; les filles de Marga emportèrent alors la pierre armoriée placée au-dessus de l'entrée. Par arrêté royal du 20 février 1939, l'avant-corps médiéval fut classé. Peu après la Seconde Guerre mondiale, le logis brûla à cause de l'imprudence de soldats anglais en manœuvre ; les deux tours furent épargnées.
Le 8 avril 1953, la commune de Diegem acheta l'ensemble. Le bâtiment arrière fut reconstruit, sans étage, sur les plans de l'architecte Karel Roelants de Machelen. Depuis 1970, c'est un centre culturel, avec bibliothèque, salles de réception et d'exposition. L'autorisation de restaurer les tours fut donnée en 1974, mais ce n'est que le 20 mars 1979 que le conseil communal de Machelen décida d'exécuter les travaux.