Rond 1400 heette het domein, waar nu het kasteel staat, "Ter Haghen". Zo was er vanaf 1348 sprake van "’t Hof ter Haghe" en in 1447 van een hoeve "Ter Haghe". Deze twee versmolten in de jaren 1537-39. W.van Ymmerseele liet er voor 1569 een omwaterd stenen huis met "duifhuisje", een brouwerij en een hoeve oprichten. In 1650 werd het domein geërfd door Jehan Dorco en Camillo Dorchi. Kort na 1650 lieten deze twee heren een hof van plaisantie bouwen ; het eigenlijke kasteel. In 1754 werd het kasteel opgekocht door P.Serruys die het in dat jaar nog liet restaureren. In 1926 werd een groot gedeelte van het domein verkocht aan de immobiliënmaatschappij "N.V. propriétés Arendsnest". Tussen 1929 en 1933 werd er een kostschool in het kasteel ondergebracht.
Het kasteel Arendsnest is privé-eigendom en daarom niet vrij toegankelijk.
