Coornhert heb ik leren kennen via mijn maîtresse Anna Simonsdochter. Coornhert was ook verliefd op haar, maar gelukkig had Anna nog een zusje, Cornelia. Dus trouwde Coornhert met deze Neeltje. Anna  vroeg toen aan mij om Coornhert een baantje te geven hier op het kasteel.  Dus maakte ik hem hofmeester: een soort conciërge, hoofd interne zaken. Hij moest ervoor zorgen dat het slot er goed bij lag. Hij regelde de bedienden en suste de ruzies,  hij betaalde de rekeningen en hield de bibliotheek bij. Ook leerde hij mijn zoon Hendrik hier kennen. Met hem kon hij het niet altijd goed vinden. Coornhert zat vaak in de bibliotheek.  Daar las hij van alles, ook boeken  die hij eigenlijk nooit had mogen lezen omdat ze op de verboden lijst van keizer Karel V stonden.

Hij zat hier twee jaar, van 1539 tot 1541. Toen ging hij zijn eigen weg en begon in Haarlem te werken. Eerst als houtsnijder, daarna als etser. Maar hij bleef wel contact houden met de familie, vooral met het nageslacht van Anna. Jaja, die Coornhert!