Tussen het marktplein en de Woluwelaan staan de resten van het kasteel van de heren van Diegem: het poortgebouw met zijn twee torens van het einde van de 15de eeuw, en de omwalling. Vroeger heette het kasteel het Seyp, een woord dat gracht of beek betekent. Zijn huidige naam dankt het aan de laatste particuliere eigenaar, August Ulric Marga.
Een waterburcht
In 1738 beschreef heer Jan Antoon Happart het als een lusthuis met een ophaalbrug en water rondom, met een dreef, pachthoeve, schuur en stallen. Een gravure van 1730, getekend door J. Van Croes en gestoken door Henricus Causé, toont een fraaie herenwoning in gotische stijl met hoge ramen, omringd door grachten, met een stenen brug en vooraan een slanke woontoren. De rechtervleugel verdween later; rond 1900 stond achter het poortgebouw nog een gebouw met één verdieping en een mansardedak.
Het poortgebouw heeft zijn verdedigend karakter bewaard. Twee torens met kegeldaken flankeren de rondboogdoorgang. Je ziet er nog schietgaten, waarvan sommige in de 17de eeuw tot vensters werden verbreed, toen het slot zijn verdedigende rol verloor. Binnen heeft de tweede verdieping een kruisribgewelf. Jan Antoon Happart vernieuwde in 1716 de poort en liet boven de ingang het wapen van zijn ouders, Antoon Happart en Anna Carolina de Fierlant, inmetselen.
August Ulric Marga
In 1902 kwam August Ulric Marga in het kasteel wonen. Hij was in 1854 in Waarmaarde geboren, ging in 1872 in het leger en werd in 1892 als kapitein gepensioneerd. Hij hield zich bezig met ballistiek: hij vond een geweer uit dat vooral in de kolonie gewild was, en een systeem van schieten op korte afstand voor de opleiding van rekruten. Op zijn domein maakte hij patronen en later demonteerbare chalets in hout en ‘refragor’ voor de kolonies. Hij kocht ook de Grooten Molen, die stroom leverde voor zijn fabriek en voor de eerste filmvoorstellingen in Diegem. Hij stierf in 1925, terwijl hij aan een machinegeweer werkte.
Omer Van Parijs, die rond 1906 als schrijnwerker bij Marga werkte, herinnerde zich een enorm ommuurd domein tot aan de Molenstraat, met een majestueuze toegangspoort, een veel grotere vijver met een eiland en een brug, en een luxueus ingericht kasteel met een monumentale trap. Op het domein stonden hokjes waar hulzen met buskruit werden gevuld voor de wapenfabriek van Wetteren. Marga was volgens hem een eigenaardig man: je stond beter in zijn gunst dan op zijn zwarte lijst.
Brand en nieuw leven
In 1927 werd het kasteel verkocht aan de intercommunale voor de sanering van de Woluwevallei; de dochters van Marga namen toen de wapensteen boven de ingang mee. Bij koninklijk besluit van 20 februari 1939 werd het middeleeuwse voorkasteel beschermd. Kort na de Tweede Wereldoorlog brandde het woonhuis af door onvoorzichtigheid van Engelse soldaten die er op manoeuvre waren; de twee torens bleven gespaard.
Op 8 april 1953 kocht de gemeente Diegem het geheel. Het achterste gebouw werd heropgebouwd, zonder verdieping, naar plannen van architect Karel Roelants uit Machelen. Sinds 1970 is het een cultureel centrum, met bibliotheek, ontvangst- en tentoonstellingsruimten. In 1974 kwam de toelating om de torens te restaureren, maar pas op 20 maart 1979 besliste de gemeenteraad van Machelen de werken uit te voeren.