Zwischen Marktplatz und Woluwelaan stehen die Reste des Schlosses der Herren von Diegem: das Torgebäude mit seinen zwei Türmen vom Ende des 15. Jahrhunderts und der Wassergraben. Früher hieß das Schloss das Seyp, ein Wort für Graben oder Bach. Seinen heutigen Namen verdankt es dem letzten privaten Eigentümer, August Ulric Marga.
Eine Wasserburg
1738 beschrieb Herr Jan Antoon Happart es als Lusthaus mit Zugbrücke und Wasser ringsum, mit Allee, Pachthof, Scheune und Ställen. Ein Stich von 1730, gezeichnet von J. Van Croes und gestochen von Henricus Causé, zeigt einen schönen gotischen Herrensitz mit hohen Fenstern, von Gräben umgeben, mit einer Steinbrücke und vorn einem schlanken Wohnturm. Der rechte Flügel verschwand später; um 1900 stand hinter dem Torgebäude noch ein Bau mit einem Obergeschoss und Mansarddach.
Das Torgebäude hat seinen wehrhaften Charakter bewahrt. Zwei Türme mit Kegeldächern flankieren die Rundbogendurchfahrt. Man sieht noch Schießscharten, von denen einige im 17. Jahrhundert zu Fenstern erweitert wurden, als die Burg ihre Verteidigungsrolle verlor. Innen hat das zweite Obergeschoss ein Kreuzrippengewölbe. 1716 erneuerte Jan Antoon Happart das Tor und ließ über dem Eingang das Wappen seiner Eltern, Antoon Happart und Anna Carolina de Fierlant, einmauern.
August Ulric Marga
1902 zog August Ulric Marga in das Schloss. Er war 1854 in Waarmaarde geboren, trat 1872 in die Armee ein und ging 1892 als Hauptmann in den Ruhestand. Er beschäftigte sich mit Ballistik: Er erfand ein Gewehr, das vor allem in der Kolonie gefragt war, und ein System für das Schießen auf kurze Distanz zur Ausbildung von Rekruten. Auf seinem Anwesen stellte er Patronen her und später zerlegbare Chalets aus Holz und ‚Refragor‘ für die Kolonien. Er kaufte auch die Grooten Molen, die Strom für seine Fabrik und für die ersten Filmvorführungen in Diegem lieferte. Er starb 1925, während er an einem Maschinengewehr arbeitete.
Omer Van Parijs, der um 1906 als Schreiner bei Marga arbeitete, erinnerte sich an ein riesiges ummauertes Anwesen bis zur Molenstraat, mit einem majestätischen Eingangstor, einem viel größeren Teich mit Insel und Brücke und einem luxuriös eingerichteten Schloss mit monumentaler Treppe. Auf dem Gelände standen Hütten, in denen Hülsen mit Schießpulver für die Waffenfabrik in Wetteren gefüllt wurden. Marga war ihm zufolge ein eigenartiger Mann: Man stand besser in seiner Gunst als auf seiner schwarzen Liste.
Brand und neues Leben
1927 wurde das Schloss an den Zweckverband zur Sanierung des Woluwetals verkauft; Margas Töchter nahmen damals den Wappenstein über dem Eingang mit. Durch königlichen Erlass vom 20. Februar 1939 wurde die mittelalterliche Vorburg unter Denkmalschutz gestellt. Kurz nach dem Zweiten Weltkrieg brannte das Wohnhaus durch die Unvorsichtigkeit englischer Soldaten ab, die dort im Manöver waren; die beiden Türme blieben verschont.
Am 8. April 1953 kaufte die Gemeinde Diegem die gesamte Anlage. Das hintere Gebäude wurde ohne Obergeschoss nach Plänen des Architekten Karel Roelants aus Machelen wiederaufgebaut. Seit 1970 ist es ein Kulturzentrum mit Bibliothek, Empfangs- und Ausstellungsräumen. 1974 kam die Genehmigung zur Restaurierung der Türme, doch erst am 20. März 1979 beschloss der Gemeinderat von Machelen, die Arbeiten ausführen zu lassen.