Stränderna kring Båven bär spår av gammal bebyggelse, där det finns fornminnen från järnåldern. Just vid gårdsfjärden låg en by som hette Viby, men ingen vet egentligen hur gammal den var.

Hertig Karl, en av Gustav Vasas söner, red ofta förbi där på väg mellan Strängnäs och Nyköping. Han förälskade sig i trakten och "bytte" därför till sig marken. Vibyholms stenhus allra första historia är inte belagd i någon bevarad skrift. Först lät Hertig Karl bygga ett hus med 16 kamrar, kanske på ön, eller på fastlandet?
Det vi vet är att vägbanken ut till första ön, byggdes tidigt i Hertig Karls ägarhistoria. Allra först byggdes den delen av huset på ön som vetter åt norr/söder, där det gamla köket ligger idag. Från den här tiden kallas platsen för Wibyholm.

Det stora slottet vars byggmästare hette Caspar van Panten, påbörjades av drottning Christina, den äldre som var änka efter Karl den IX. Vid hans död fick hon behålla marken som livgeding, en sorts änkepension helt enkelt. Som kuriosa kan nämnas att byggnaden var så intressant att det fanns en modell av slottet på Stockholm slott -som dessvärre försvann i slottsbranden 1697. Detta hus var väldigt högt, en våning högre än idag och mot baksidan (öster) stack en elva meter lång riddarsal ut. Det var prytt med sandstensornament, som var högsta mode påden tiden. Dessvärre dog änkedrottningen innan huset var klart och det var ingen som ägnade det intresse på över 100 år. Det gick mellan olika ägare till år 1730, då det inköptes av Greve Clas Bonde på Säfstaholm. Han har gjort en skiss av hur det såg ut då, -taklöst och som en ruin. Han rev bort den översta våningen och entresolerlade den nedre, som inte var något problem, eftersom det var 9 m i tak, kunglig höjd. Under hela 1800-talet reparerade man på slottet. Det finns lämningar av en hel del förändringar från olika tidsepoker. Wibyholm är ett kallt slott sägs det -men 1705 firades vinterbröllop här mellan den förste ägaren Greve Claes och hans maka.
På 1900-talets början bodde grevinnan Blanche Bonde här. Hon var min farfars mamma. Hon drog in värme i en del rum, men pannan underhölls inte och frös sönder under krigsvintrarna.
Egendomen var fideikommiss fram till 1990, då greve Carl Bonde, den siste fideikommissarien dog. Enligt ett beslut som togs av min pappa fick Sven och jag lösa till oss det. Och sedan dess har jag och min familj bott här på Wibyholm.