Pendant des siècles, Diegem fut une seigneurie. Le seigneur habitait le château sur la Woluwe, avait une cour composée d'un maïeur et d'échevins, possédait moulins, fermes, marais et bois, et acquit au XVIe siècle la haute, moyenne et basse justice. La seigneurie passa remarquablement souvent à une nouvelle famille par un mariage.
La famille van Diedeghem
En 1265, Gilbert van Didenghem, vassal du seigneur de Perk, habitait la première cour de Diegem ; on le considère comme l'ancêtre de la famille. En 1338, le chevalier Jan van Diedeghem suivit le duc de Brabant avec huit hommes armés dans la guerre entre l'Angleterre et la France ; ses armes étaient de sinople au chef d'argent. Vers 1384, Margaretha van Diedeghem apporta la seigneurie, par son mariage avec Jan van Brecht, à cette famille patricienne bruxelloise.
Van Brecht et Oudart
Plusieurs Van Brecht furent échevins de Bruxelles. Jan van Brecht fut fait chevalier par Charles Quint le 23 octobre 1544. En 1536, il fit dresser la liste de tous les fiefs de la seigneurie, avec une description du château : une demeure entourée d'eau avec un pont-levis. Son fils Karel van Brecht (1518-1595), bourgmestre de Bruxelles en 1559 et 1561, acheta en 1558 la haute, moyenne et basse justice sur Diegem. Mêlé aux troubles religieux, il erra loin de chez lui pendant des années et mourut à Diegem le 10 juin 1595.
Par sa fille Gertrudis, épouse d'Alexander Oudart, Diegem passa à la famille Oudart. Dans son testament de 1610, Karel Oudart fonda des messes au château. La seigneurie alla ensuite à sa sœur Maria, puis à sa sœur Catharina, épouse de Filips Happart. Catharina Oudart était très aimée : des dizaines de fillettes reçurent son prénom, le petit moulin seigneurial de Nijpezele devint le St.-Katarinamolen, et sainte Catherine supplanta même Corneille comme patronne de la paroisse.
Les Happart
Filips Happart racheta la juridiction en 1626. À sa mort à Bruxelles en 1631, il fut ramené à Diegem en grande pompe et inhumé à côté de son épouse dans le chœur de l'église ; c'est là que se trouve le caveau de la famille Oudart-Happart, qui régna sur Diegem pendant un siècle et demi. Son fils Karel Gerolinus est nommé sur la flèche de 1654. Quand il épousa Innocentia d'Altuna, tout Diegem était dans la rue : on avait planté de petits sapins du château à l'église, les hommes reçurent de la bière et les femmes du sirop.
Vers 1700, les Happart connurent des difficultés financières. Après la mort de Karel Andreas Happart en 1702, sa veuve fit vendre publiquement le mobilier et le bétail. Son successeur Antoon Happart fut condamné à maintes reprises à payer des dettes, des lettres de change à la location de carrosses. Son fils Jan Antoon renouvela la porte du château en 1716, mais dut tout de même vendre la seigneurie à Pieter Albert Piermans le 24 décembre 1756.
Une baronnie
L'impératrice Marie-Thérèse fit Piermans baron en 1757. À sa mort en 1758, Diegem passa à sa veuve, puis à leur fille Francisca Charlotte, veuve de Maximilien de Lanfranchy ; à sa demande, Diegem fut érigé en baronnie en 1763. Après elle vinrent son fils Carolus de Lanfranchy (1783) et sa fille Maria Coleta, épouse de Philippe le Boucq de Beaudignies, colonel français originaire de Valenciennes, qui fut un temps bourgmestre de Diegem et mourut en 1837.
Leurs héritiers vendirent le château à Jean Jacques de Gaiffier d'Emerville. En 1846, il passa à Theodoor van Reynegom de Buzet, puis à Jan Baptist van Reynegom et à Jan Baptist Donckier de Donceel, qui le céda en 1902 à August Ulric Marga.
Maïeur, échevins et pilori
Le seigneur avait une cour composée d'un maïeur et d'échevins jurés, choisis parmi ses fermiers et les meilleures familles du village. La liste commence en 1394 avec Willem Jans, « que l'on appelle van Nypeseele » ; suivirent notamment Vranck Goossens (1469), Cornelys Vrancx (1514), Dierick Humbeex (1603) et Jan vander Perre (1659). Ce n'est qu'en 1507 que Diegem reçut son propre sceau : un écu de sable au lion d'or. Le château avait sa chapellenie ; au XVIIIe siècle encore, un chapelain y disait la messe les dimanches et jours de fête.
Selon les plus anciens habitants, un pilori en pierre bleue se dressait avant 1794 au coin de l'auberge De Primus ; on y aurait attaché les condamnés. Personne ne se souvenait que quelqu'un y ait jamais été exposé. À l'arrivée de l'armée française en 1794, il fut enlevé et remplacé par un arbre de la liberté.