Kasteel Nederhorst is gebouwd de middeleeuwen, maar de precieze stichtingsdatum is niet bekend. De oudst bekende vermelding van een kasteel stamt uit de 13e eeuw. Mogelijk is het kasteel ouder of heeft het voorgangers gekend.
De naam was in eerste instantie Horst maar om verwarring met andere kastelen met dezelfde naam te voorkomen werd het Nederhorst genoemd. Nederhorst den Berg dankt zijn naam voor een deel aan het kasteel. In 1819 werd Nederhorst den Berg, en daarmee het kasteel Nederhorst, bij Noord-Holland gevoegd.
Kasteel Nederhorst heeft een majestueuze Louis XIV toegangshek. Op een gravure is te zien hoe het imposante hek, met daarvoor een hekwerk bij de aanlegsteiger, er midden 18e eeuw moet hebben uitgezien. Kasteel Nederhorst is een indrukwekkend kasteel. Het is gebouwd in een vierkant. Op iedere hoek bevindt zich een zeskantige hoektoren. Het kasteel wordt omgeven door een slotgracht.
In 1966 werd ruim de helft van het kasteel verhuurd aan Toonder Studio’s.Vanwege de associatie met het slot van Toonders hoofdpersoon ‘Heer Bommel’, wordt het kasteel in de volksmond ook wel Bommelstein genoemd.
De gebouwen zijn niet van binnen te bezichtigen. In het kasteel en in de bijgebouwen wonen en werken mensen.
Het landgoed is overdag beperkt toegankelijk voor wandelaars. Het kasteel is alleen bereikbaar via de zijingang Juliana-Bernhardplein 3, Nederhorst den Berg. Elk voorjaar bloeien grote aantallen sneeuwklokjes en bosanemonen.
