Nadat de kerk in 1529 haar wereldlijke macht verloor kwam het slot in handen van de Stad Utrecht, en kreeg het een utrechtse bezetting. Dat dit nog wel eens wisselde blijkt uit het dagboek van Wouter Jacobszoon uit 1578 waar hij melding maakt van een tijdelijke spaansgezinde bezetting.
Dit is een gedeelte van een kaart bij een voorstel om een waterweg te graven tussen de Bijleveldse wetering en de Hollandse Ijsel.
De positie en de vorm van het slot komen enigszins overeen met de werkelijkheid. De ongewone toren aan de rechterzijde zal naar alle waarschijnlijkheid de halfronde toren uitbeelden. Dat maakt de toren in het midden de grote ronde en de meest linkse de rechthoekige. De toren op de achtergrond is dan de vierkante en de kleine ronde is aan het oog onttrokken door de grote ronde. Het aanzicht dat wil zeggen vanuit het zuiden gezien klopt ook nog aardig.
Enigszins vervormt getekend vanuit de Noordoosthoek. De opzet komt wel ongeveer overeen met de werkelijkheid. Waarschijnlijk heeft hij het kasteel vluchtig gepasseerd, een schets gemaakt, en deze later uitgewerkt. De twee boven elkaar geplaatste ramen links in de grote toren kloppen, hoewel ze niet zo groot waren. De halfronde toren heeft in CV01 een aan het aanzicht geplaatste schoorsteen. Hier staat hij echter aan de andere zijde. Nu staan er achter deze toren ook nog twee schoorstenen maar die kwamen niet boven het dak van de halfronde toren uit. Verder tekent hij op de bovenste verdieping twee ramen terwijl er in de RR02 nog maar één raam is. Dit zou verklaart kunnen worden door de verhoging van het woongedeelte achter de gekanteelde muur. In CV01 en nog duidelijker in RR02 zijn duidelijk sporen te zien van een ophoging van de gekanteelde muur. Van de zijkant af gezien loopt hij duidelijk schuin af. Het woongedeelte rechts van de knik in deze muur bleef echter lager. Door deze verbouwing moest één van de ramen verdwijnen. Het zou kunnen dat vanaf dat moment pas een schoorsteen aan deze kant van de halfronde toren is gebouwd. Het onderste raam in de halfronde toren is juist. In de muur zit ter hoogte van de waterlijn een zwarte rechthoek. Als hij deze per abuis overgenomen zou hebben uit de muur tussen de grote en de halfronde toren, zou het de verbindingsgang met de gracht kunnen zijn, deze is immers ook geflankeerd door twee ramen. Zoniet dan bedoelt hij hiermee de houten uitbouw die op de tekeningen van CV01, RR01 en RR02 te zien zijn. In de kleine ronde toren zitten twee ramen. In CV01 is te zien dat deze er van linksaf gezien drie heeft, en van rechtsaf gezien twee. Het zal hier dus het rechter aanzicht betreffen. Van Buchel heeft getracht de brug enigszins in perspectief weer te geven. Er is hier geen dubbele ophaalbrug te zien, zoals in CV01 te zien is. Achter de brug ligt de vierkante toren met een juist geplaatst raam. De veeg rechts van de brug is waarschijnlijk het stenen toegangspoortje.
Op 1 Augustus 1599 lieten de toenmalige eigenaren van het slot, de Staten van Utrecht, deze kaart vervaardigen. Ondanks dat er nog geen luchtfotografie was, is er zeer nauwkeurig te werk gegaan. Alleen de windroos zou nog ± 45 rechtsom moeten worden gedraaid. Als we de kaart van boven naar beneden doornemen dan blijkt dat het gedeelte wat het 't Geyn wordt genoemd, tegenwoordig de Angstel heet. Links van 't Geyn ligt een weg, Den Dyck geheten. Tegenwoordig heet deze de Oude Dijk. De naam van het perceel de Cleijne Cleij alsook het onderaan gelegen perceel de grote Cleij vindt men nog steeds terug in de in Baambrugge gelegen Kleiweg. De sloot tussen De Cleijne Cleij en De Hagen ligt er nog steeds. Over 't Geyn ligt een brug die de kasteel oprijlaan 'De Steegh' met Den Dyck verbindt. Dit was vroeger de verbindingsweg tussen het Slot en het dorp. De twee flankerende sloten van De Steegh liggen er nog steeds zo goed als. Bij het slot is maar één gracht te zien, met een directe verbinding met 'het oude Geyn' tegenwoordig de Winkel geheten. Sporen van deze waterloop en de gracht liggen er nog steeds. De bomensingel die er gedurende de rest van het bestaan van het slot zou staan is hier reeds aangegeven. Op een gegeven moment is er een tweede kleine buitengracht om het slot heen gegraven die er nog steeds ligt. Daardoor is het slotenpatroon rechts van het slot enigszins gewijzigd. Van het rechthoekig perceeltje E zijn de slootjes links en onder niet meer waar te nemen op RS01. Het slot zelf lijkt qua opzet wat op het ware slot, Zoals de positie van de grote en kleine ronde toren, maar de toegang lag niet door een toren en ook de muren doen vermoeden dat hier het woongedeelte getekend is dat juist aan de achterzijde lag. Het bouwsel ten Noorden van het slot is waarschijnlijk de in de overdrachtsaktes genoemde hofstede behorende bij het Slot. Hiervan zijn op RS01 nog sporen te zien. Er zou volgens een beschrijving van Breuninghoff een voorburcht geweest zijn. Naar mijn mening probeerde hij het zich mooier voor te stellen dan het was. In zijn tijd stond er immers alleen nog maar een toren. Een voorhof zou een betere beschrijving zijn geweest. Alleen op CV01 is een boerderij te zien, maar deze ligt daarvoor op de verkeerde plaats. Het perceel A genoemd wordt in het Noorden begrensd door een sloot die er nog steeds ligt.
Geheel links ligt een bruggetje over de zuidelijke flankerende sloot van de oprijlaan 'De Steegh'. Dan zien we bij de halfronde toren, op de plek van het ontbrekende raam dat de gekanteelde muur iets hoger opgemetseld is en men ziet nog net het puntje van een naar rechts schuinaflopend dak. Ook staat hier een schoorsteen op de halfronde toren afgebeeld. Het feit dat we hier het schuine dak zien, getuigt dat het woongedeelte voor de knik een lagere constructie is. Het scheelt in ieder geval één verdieping getuige het venster in de muur net boven het houten uitbouwsel. Tegen de gekanteelde muur staat ook nog een boom die in RR01 en RR02 alweer verdwenen is. De functie van het juk stekende uit de klein ronde toren was gezien de planken die uit het raam steken, om goederen naar binnen te hijsen die per boot aankwamen. Het feit dat het naast het raam geplaatst is, en dat hij een rare onlogische hoek maakt, betekent volgens mij dat het met een hefboomprincipe werkte. Aan de dwarsbalk worden twee touwen vastgemaakt. Één aan de linkerzijde die aan de last vast wordt gemaakt en aan de rechter kan men gaan hangen. Hierdoor komt de opgehesen last wonderwel precies voor het raam te hangen. Direct naast de toren boven de muur zien we het dak van de grote ronde toren. Het kleine rechthoekje kan de rechter van de twee schoorstenen zijn, waarvan de ander vergeten is op te tekenen op KP01. De twee omhoogstekende bouwsels en de schuine balk tegen de trapgevel, zeggen mij nog niets. In het toegangsgebouwtje ziet men boven de poortdeur een sleuf zitten voor het ophaalmechanisme voor de eerste brug. Ook zit er verderop de brug, net achter de boom, een tweede ophaalbrug, en waarschijnlijk kon het toegangsmuurtje met een metalen hek afgesloten worden. Van de goot van de vierkante toren loopt een balk of iets dergelijks tot recht boven de poort naar het toegangsgebouwtje. Dat het niet tegen de gevel aan is gebouwd kan men zien door de schaduw dit tot aan het raampje loopt. Nu volgt er een discutabel punt. Aan de voorzijde van de vierkante toren op het dak ontwaart men iets dat op een dakkapelletje lijkt. Dit zou ook het zichtbare gedeelte van de achterkant van dit kapelletje kunnen zijn aan de andere zijde zoals weergegeven op de tekening van RR04. Maar kijken we op die tekening dan staat er behalve deze ook weer één die op de voorzijde zou kunnen staan. De achterkant kan het in ieder geval niet zijn. En als dat zo is waarom tekent Roghman hem dan niet op RR01? In ieder geval worden ze alledrie met drie trapgeveltjes per kappeletje weergegeven. zie AO01, CV01, RR01 en RR04. Tussen de vierkante toren en de eerste boom op de kade, ter hoogte van de brug, staat op palen gelijk aan de pijlers van de brug een klein waarschijnlijk houten gebouwtje dat compleet met ramen en deur een toegangshuisje voor de wachter van de brug lijkt. Dit is duidelijk te zien op de tekeningen uit RR01 en RR04. Op AVB01 staat deze nog niet aangegeven. Rechts van het toegangspoortje ligt wat lijkt op een lage stal annex woongedeelte. Daar weer rechts van liggen nog enkele houten objecten. De voorhof en 'De Steegh' werden weer gescheiden door een muurtje met een toegangspoortje.
Deze afbeelding is door de vele fouten duidelijk een gravure van een bestaande tekening, vermoedelijk CV01. Daarom zal ik alleen de verschillen met die tekening aanduiden. De hoek waaronder deze afbeelding staat, is iets zuidelijker genomen, hierdoor komt de brug beter uit. Toch zal het daardoor niet duidelijker worden daar de graveur er sommige dingen bij moest verzinnen. Door de hoek zien we niet exact op hoeveel pijlers de brug staat en hij heeft er dus vier genomen. We weten echter van RR01 dat het er zes zijn. Bij de muur van de halfronde toren moet te zien zijn dat er een opbouw van een extra verdieping moet zijn. De graveur geeft het echter als een beschadiging in de bestaande muur weer. Het brughuisje is geïnterpreteerd als zijnde een gebouw op de achtergrond. De trapgevel van het poortgebouw verspringt vaker. Op de achtergrond staan teveel bomen. Al met al heeft deze afbeelding dus een negatieve waarde om mee te nemen in een onderzoek.
Deze afbeelding is een replica van een tekening van ene Zachtleven. Of het brughuisje op het origineel al verkeerd is getekend of pas op de replica is niet bekend. Ook is niet bekend of Zachtleven een origneel tekende of dat het hier ook al om een replica ging. Als hij nagetekend is vertoond hij meer overeenkomsten met CV01 dan met RR01. Als we links beginnen zien we dat de muren van de halfronde toren aan de bovenkant ineens uitspringt. Dit is echter nergens terug te vinden. Het raam in de schildmuur wordt sinds 1617 met drie ruitjes naast elkaar getekend, hier zien we er maar twee. De perspectief kunst van de tekenaar is niet zo best gezien de ramen in de kleine ronde toren op de voorgrond. Hier zouden de binnenkanten aan beide zijden heel licht zichtbaar moeten zijn. In de trapgevel van het poortgebouwtje zit een raampje dat in CV01 niet te zien is. In het dak van de vierkante toren zit in het midden een zwart maantje. De functie hiervan is mij onduidelijk, maar deze is ook terug te vinden op CV01 waarvan ik eerst dacht dat het een vlek betrof.
We beginnen zoals de voorgaande tekeningen met het aanzicht uit het Noordoosten. Het trappetje rechts bij de brug naar het water toe ligt er nog steeds. Het muurtje voor de brug met het poortje is verdwenen. Hier ziet men op de brug een huisje, waarvan het lijkt dat het op de oever staat. Als men echter op RR04 kijkt, ziet men dat er zich iets voor het ophaalmechanisme bevindt. Met het huisje op de oever is dat niet te verklaren. Kijkt men echter naar de brugpijlers, dan ziet men dat deze ter hoogte van het huisje langer zijn en dezelfde breedte als het huisje hebben. Dat verklaart dus ook waarom de ramen op CV01 dichtbij lijken. De schuine balk van de vierkante toren naar het poortgebouw is verdwenen. Het vreemde is dat de balk om de tweede brug op te hijsen opeens veel hoger in het poortgebouwtje lijkt te staan. In de kleine ronde toren zit nog steeds het hijsjuk om de vrachten naar binnen te heffen. Alleen ontwaar ik hier de hefboombalk niet. Het kleine gaatje onder de torentrans linksboven het hoogste torenraam is waarschijnlijk een spuigat. Ook hier is boven op de schildmuur links van de kleine ronde toren duidelijk te zien dat het dak hier schuin naar de binnenplaats afloopt. Dat het woongedeelte direct achter het eerste gedeelte van de muur lager is, is waarschijnlijk ook af te leiden uit het kleinere venster. Dit terwijl de andere vensters in zowel torens als muren twee keer zo hoog zijn. Ook hier is geen voorburcht te zien. Het uitstekende gedeelte uit de halfronde toren is waarschijnlijk een openstaand luik van een raam.
Dit aanzicht uit het Oosten geeft nog net een goeie blik op wat ze later de voorburcht zouden noemen. Er staat nog steeds niets, en men heeft nog maar 1672-1646=26 jaar de tijd om er een te bouwen. Volgens mij is het dus nooit meer geweest dan een boerderij waarvoor de tweede gracht iets ruimer is opgezet om deze boerderij er binnen op te nemen (de notities van Breuninghof ten spijt). Onder het linker venster in de schildmuur zit een houten uitbouw die ook te zien is op RR01. Er zit hier geen open verbinding door de muur. De opbouw is echter enigszins gelijk aan de rechter uitbouw. Zou het hier een uitbouw in aanbouw betreffen? Geheel rechts onder de bomen staat een houten staketsel waarvan de functie mij nog onduidelijk is. Wel staat het vlak bij het trappetje naar het water, dat we ook op CV01 en RR01 waarnemen, oftewel voor het slot waar zich op dat moment of later de voorhof zou bevinden. Op de halfronde toren rechts naast het raam bevinden zich vier vlekken. Als men op RR01 kijkt ziet men er twee op ongeveer dezelfde plek. Zou er dan toch iets mee bedoeld worden? Misschien hebben ze wel te maken met de positie van de ramen van voor de verbouwing van het verhoogde woongedeelte. Of zijn het de restanten waar de steigerpalen voor de bouw in hebben gezeten. De halfronde toren loopt naar boven taps toe, waardoor de uitspringende hoek van het erachter liggende woongedeelte duidelijk uitkomt. In dit woongedeelte zien we ter hoogte van de waterlijn een deur zitten met een steiger ervoor. Van Breuninghoff beschrijft dit door te zeggen dat deze zich in een dertien treden diepere kelder bevindt. De binnenplaats bevond zich immers op een hoger niveau getuige de hoogte van de brug en CP01. Omdat goederen vroeger makkelijker per schip te vervoeren waren, lijkt het me aannemelijk dat hier ook geladen en/of gelost werd. Het dakkapelletje hierboven heeft men niet laten zien op KP01. Boven de ramen in de grote ronde toren zit waarschijnlijk een spuigat. Wat trouwens opvalt is dat alle grote vensters in schildmuur, halfronde toren en woongedeelte alleen aan de onderkant luiken hebben. Alsof ze later verhoogt zijn, en alleen het venster in het rechter gedeelte van de schildmuur origineel is gebleven. Frappant is trouwens het linker venster in de schildmuur, waarbij de zijluiken alleen de buitenste ramen bedekken zodat er een derde luik nodig was dat in het midden naar beneden hangt.
Hoe mooi de bomensingel ook is geweest, het ontneemt ons wel het zicht op een groot gedeelte van het slot. Gelukkig wordt dit gecompenseerd door twee tekeningen van beide flanken. Geheel rechts staat waarschijnlijk een houten ophaalbruggetje over 'De Steegh'. De voorgrond is hier licht getekend, maar eindigt niet met een wallekant. Zou de buitengracht nu al gegraven zijn? Volgens bepaalde bronnen zou dit na 1459 gedaan kunnen zijn toen het slot was toegevallen aan het bisdom. Net onder de torentrans op de grote ronde toren zit wederom een spuigat. Op de vierkante toren aan de achterzijde ziet men nog net de schoorsteen met tuidraden vastzitten, zie ook RR04. Op KP01 tekent men deze echter op de rechthoekige toren, dit is onjuist anders zouden de tuidraden in de lucht verankerd moeten zitten. Aan de achterzijde van de rechthoekige torentrans loopt deze zonder kantelen door, wat logisch zou zijn daar de vijand van buiten komt. In KP01 heeft men deze echter doorgetekend. Ik moet er wel bij zeggen dat deze op HS01 wel gekanteeld zijn weergegeven, maar inmiddels is het slot dan al een ruïne geweest en is het in een nieuwe stijl als adelijk landhuis weer opgetrokken.
Links op de brug zien we duidelijk het brughuisje van de achterzijde. Ook het vermoedelijke derde kapelletje op de vierkante toren. De rechthoekige toren heeft boven zowel rechts als links een spuigat. Zichtbaar op de grote ronde toren is het derde spuigat. Het meest opzienbarende is echter het venster in de schildmuur tussen de grote ronde en de rechthoekige toren. Op KP01 staat achter de schildmuur geen bebouwing aangegeven. Om echter in die tijd duur glas een nutteloze luxe functie te geven is niet denkbaar. Er zal zich dus wel degelijk een overkapte ruimte achter bevonden hebben. Aangezien er daar bij KP01 geen verdere funderingssporen gevonden zijn zou men kunnen aannemen dat het een gang is geweest die door de muur van de grote ronde naar de rechthoekige toren liep. Dit is maar een veronderstelling en is dus nergens op gestaafd.
In 1672, toen het slot in handen was van de Staten van Utrecht, heeft het zijn laatste militaire betekenis gehad. Het werd belegerd door de fransen, maar niet ingenomen. Nadat de fransen zich teruggetrokken hadden, werd er geen garnizoen meer op het slot gelegerd.
