At borganlægget har været særdeles vanskeligt at indtage for ydre fjender, er let at forestille sig, når man stiller sig på de middelalderlige mure og spejder ud over pælebroen og ned i de to dybe spærregrøfter, der adskiller tårnresterne fra de øvrige bebyggelser. Imidlertid tyder borganlæggets beskedne størrelse på, at stedet ikke har været tiltænkt forsvarsmæssige opgaver. Undersøgelser peger nemlig på, at Næsholm var beboet af kongens foged, som administrerede besiddelserne i den nordlige del af Odsherred og havde til opgave at inddrive skatter og afgifter hos folket.
Det er stærkt begrænset, hvad der i dag er tilbage af Næsholms oprindelige bebyggelse, som primært har bestået af et centralt tårn, fogedens bolig, en ladebygning og et herberg til folket. Resterne af tårnet står tilbage med kraftige munkestens-mure og en kerne bestående af kampesten, ligesom der findes spor efter både smed, hestestald og mødding.
