Grubbenvorst ontleent zijn naam aan Slot Gribben, vandaag de dag ruïne Gebroken Slot. Oorspronkelijk heette het dorp alleen Vorst maar omdat er zoveel dorpen waren die zo heetten werd Gribben toegevoegd.
Het slot werd bewoond door de Heer van Gribben, die leefde van de belastingen die zijn boeren aan hem moesten betalen. Door geldgebrek kwam het slot in handen van de Hertog van Gelre. Om de titel van Hertog van Gelre werden diverse veldslagen geleverd. Diverse belegeringen verwoestten het slot tot 2 keer toe.
Uit de tijd na de verwoesting komt ook de legende van de Witte Dame. Deze gaat als volgt: Een jonkheer wordt smoorverliefd op de dochter van een herbergier en zij doet ook net als of ze verliefd op hem is. Elke avond gaat de jonkheer wandelen langs de Maas in de buurt van het Gebroken Slot en denkt hij aan de mooie dochter. Op een avond betrapt de jonkheer de dochter met een jongen uit het dorp. Hij hoort haar vertellen dat ze alleen van hem houdt en niet van de jonkheer. Hierdoor wordt de jonkheer zó kwaad, dat hij op het tweetal afstormt. In een gevecht krijgt de jonkheer een enorme klap en valt achterover in een enorm gat. Vlak voordat de jonkheer sterft, vervloekt hij het meisje en zegt dat ze eeuwig zal spoken rond de ruïne van het kasteel. Enkele dagen later krijgt het meisje hoge koorts en sterft ze. Sindsdien dwaalt ze om middernacht, bij volle maan, al jammerend rond het Gebroken slot.
Als de Duitse troepen in 1944 zich moeten terugtrekken uit Grubbenvorst zijn ze bang dat de Engelse soldaten de toren van het Gebroken slot gaan gebruiken als uitkijktoren. Om dit te voorkomen blazen ze de laatste resten op, zodat er niet veel meer overblijft dan enkele brokken steen.
