Diegem was eeuwenlang een heerlijkheid. De heer woonde in het kasteel aan de Woluwe, had een hof van meier en laten, bezat molens, hoeven, broeken en bossen, en verwierf in de 16de eeuw ook de hoge, middelbare en lage rechtsmacht. De heerlijkheid ging opvallend vaak via een huwelijk over naar een nieuwe familie.
Het geslacht van Diedeghem
In 1265 woonde Gilbert van Didenghem, leenman van de heer van Perk, op het eerste hof van Diegem; hij geldt als stamvader van het geslacht. Ridder Jan van Diedeghem trok in 1338 met acht gewapende mannen met de hertog van Brabant mee in de oorlog tussen Engeland en Frankrijk; zijn wapen was groen met een zilveren schildhoofd. Rond 1384 bracht Margaretha van Diedeghem de heerlijkheid door haar huwelijk met Jan van Brecht over naar die Brusselse patriciërsfamilie.
Van Brecht en Oudart
Verschillende Van Brechts waren schepen van Brussel. Jan van Brecht werd op 23 oktober 1544 door keizer Karel tot ridder geslagen. Hij liet in 1536 een lijst opmaken van alle lenen van de heerlijkheid, met een beschrijving van het kasteel: een woonhuis met water rondom en een valbrug. Zijn zoon Karel van Brecht (1518-1595), burgemeester van Brussel in 1559 en 1561, kocht in 1558 de hoge, middelbare en lage rechtsmacht over Diegem. Hij raakte betrokken bij de godsdiensttroebelen, zwierf jarenlang ver van huis en stierf in Diegem op 10 juni 1595.
Via zijn dochter Gertrudis, gehuwd met Alexander Oudart, kwam Diegem aan de familie Oudart. Karel Oudart stichtte in zijn testament van 1610 missen op het kasteel. Daarna ging de heerlijkheid naar zijn zuster Maria en vervolgens naar zijn zuster Catharina, gehuwd met Filips Happart. Catharina Oudart was zeer geliefd: tientallen meisjes kregen haar naam, de kleine hofmolen van Nijpezele werd de St.-Katarinamolen en de heilige Catharina verdrong zelfs Cornelius als patroonheilige.
De Happarts
Filips Happart kocht in 1626 opnieuw de rechtsmacht. Toen hij in 1631 in Brussel stierf, werd hij met veel plechtigheid naar Diegem gebracht en naast zijn vrouw in het koor van de kerk bijgezet; daar ligt de grafkelder van de familie Oudart-Happart, die anderhalve eeuw over Diegem heerste. Zijn zoon Karel Gerolinus staat vermeld op de torenspits van 1654. Toen hij met Innocentia d'Altuna trouwde, liep heel Diegem uit: van het kasteel tot de kerk waren sparretjes geplant, de mannen kregen bier en de vrouwen siroop.
Rond 1700 kwamen de Happarts in geldnood. Na de dood van Karel Andreas Happart in 1702 liet zijn weduwe huisraad en vee openbaar verkopen. Zijn opvolger Antoon Happart werd keer op keer veroordeeld om schulden te betalen, van wisselbrieven tot de huur van koetsen. Zijn zoon Jan Antoon vernieuwde in 1716 de kasteelpoort, maar moest de heerlijkheid op 24 december 1756 toch verkopen aan Pieter Albert Piermans.
Een baronie
Keizerin Maria Theresia maakte Piermans in 1757 baron. Na zijn dood in 1758 ging Diegem naar zijn weduwe en daarna naar hun dochter Francisca Charlotte, weduwe van Maximiliaan de Lanfranchy; op haar vraag werd Diegem in 1763 tot baronie verheven. Na haar kwamen haar zoon Carolus de Lanfranchy (1783) en haar dochter Maria Coleta, gehuwd met Philippe le Boucq de Beaudignies, een Franse kolonel uit Valenciennes die een tijd burgemeester van Diegem was en in 1837 overleed.
Hun erfgenamen verkochten het kasteel aan Jean Jacques de Gaiffier d'Emerville. In 1846 ging het naar Theodoor van Reynegom de Buzet, later naar Jan Baptist van Reynegom en Jan Baptist Donckier de Donceel, die het in 1902 aan August Ulric Marga overliet.
Meier, laten en een schandpaal
De heer had een hof van een meier en gezworen laten, gekozen onder zijn pachters en de beste families van het dorp. De lijst begint in 1394 met Willem Jans, ‘die men heet van Nypeseele’; later volgden onder meer Vranck Goossens (1469), Cornelys Vrancx (1514), Dierick Humbeex (1603) en Jan vander Perre (1659). Pas in 1507 kreeg Diegem een eigen zegel: een zwart schild met een gouden leeuw. Op het kasteel bestond een kasteelkapelanie; nog in de 18de eeuw las een kapelaan er de mis op zon- en feestdagen.
Volgens de oudste inwoners stond vóór 1794 op de hoek van herberg De Primus een schandpaal van blauwe steen, waaraan veroordeelden zouden zijn vastgebonden. Niemand herinnerde zich dat er ooit iemand aan had gestaan. Toen het Franse leger in 1794 binnenviel, werd hij weggehaald en vervangen door een vrijheidsboom.