De ruïne van kasteel Huys ter Horst heeft een plaats in de harten van de Horstenaren. Niet alleen het kasteel maar ook de families die er woonden spelen een belangrijke rol in de geschiedenis van het gebied tussen Maas en Peel.
De geschiedenis van Huys ter Horst gaat terug tot ongeveer 1300. In 1532 kwam het complex in handen van ambtsman Johan van Wittenhorst die hierna ook wel Heer van Horst genoemd werd. Hij was in dienst van het Hertogdom van Gelre. In de 80-jarige oorlog werd het kasteel gedeeltelijk verwoest door rondtrekkende en plunderende soldaten; net zoals elk oud kasteel werd het in de loop der eeuwen veelvuldig verwoest, verbouwd en vergroot. Tot 1738 bleef het kasteel in handen van familie Van Wittenhorst. Daarna kwam het door vererving in eigendom van de familie Von Fürstenberg.
In 1798 maakte de Fransen een einde aan de Heerlijke rechten van de laatste bewoner: Frans Clemens von Fürstenberg. Hierna raakte het kasteel in verval. Rond 1828 werd een groot deel van het kasteel en bijgebouwen afgebroken. Alleen de Tiendschuur bleef bewaard en een deel van Hof ter Binnen, de nabij gelegen boerderij. Tegenwoordig zijn deze elementen nog zichtbaar en een deel van de kasteelruïne is prachtig gerestaureerd en sommige stukken opnieuw opgebouwd.
