De eerste kasteelheer is Pieter Suijs. Hij op 26-02-1464 benoemd tot kastelein van Loevestijn. Hij is de bewoner en beheerder, maar geen eigenaar. Dat is maar goed ook, want hij behoorde tot de ‘Hoeksen’, terwijl de kabeljauwen uiteindelijk aan het langste eind trokken. Daarbij komt dat hij ook een keer deel nam aan een plundertocht naar Den Haag. Gevolg: zijn goederen werden verbeurd verklaard. Het kwam goed. Tussen 1484 1n 1487 erft en koopt hij delen van Rijswijk en zegelt hij als Schout van die plaats. De erfenis is de hofstede Den Burch te Rijswijk.
Mr. Cornelis Suijs, zijn kleinzoon, zou er later eveneens gaan wonen. Een andere kleinzoon Jacob Suijs (P0185) verkreeg door zijn huwelijk met Maria van Berchem het kasteel Laer te Schelle. Zijn zoon Daniel Suijs (P0270) verkreeg Laer na het overlijden van zijn vader.
Een (tweede) zoon van Jacob, eveneens een Jacob (P0271) huwde met Georgina van Lijnden. Met een neef van haar kwam hun zoon Ernest Suijs (P0282) tot een bezitsruil en verwierf zo het kasteel Harzé. Een zoon van Daniel, Karel Roeland (P0276) is de eerste Suijs die op Mont Quintin woonde. Ernest Suijs verblijft niet vaak in Harzé, maar is vaak op oorlogspad als generaal in dienst van de Oosterijkse keizer. Als Oberst Suijs komt hij voor in een toneelstuk van Friedrich Schiller.