Das ehemaliges Oberamteigebäude wurde 1908 nach Abbruch der alten Oberamtei neu errichtet als dreigeschossiger Putzbau mit der Rückseite an die Stadtmauer stoßend, mit Rustikasockel, Krüppelwalmdach und türmchenartigen Dachaufbauten. Ein Torbogen und Mauerreste des Vorgängergebäudes, des sogenannten "Alten Schlosses", sind noch erhalten.

Das Vorgängergebäude war ein mittelalterlicher Herrenhof und Adelssitz: Ein direkt an der südöstlichen Stadtmauer zum alten Neckar hin errichtetes burgartiges Gebäude, bestehend aus drei Flügeln, wobei der offenbar älteste, auf die Stadtmauer gebaute Flügel einen Staffelgiebel hatte. Zu der ummauerten Hofreite des herrschaftlichen Anwesens zählten Wirtschaftsgebäude wie Scheuern, Stallungen, ein Waschhaus (Nr. 77A) sowie ein Brunnen im Innenhof und Gärten.
Friedrich Breining vermutet, dass das "Alte Schloss" die Burg der Vögte des 13. Jahrhunderts und der Sturmfeder des 14. Jahrhunderts gewesen sein könnte, was sich aufgrund der Quellenlage nicht mehr nachweisen lässt. Vom 15. bis ins 17. Jahrhundert war das "Alte Schloss" der offenbar private Besitz verschiedener adeliger Familien, die teilweise zugleich Obervögte von Besigheim waren. Das "Alte Schloss" diente dann zugleich Amtsbehausung der herrschaftlichen Vogtei und Kellerei (Kameralverwaltung) und wurde "Vogtshaus" genannt. Nach Errichtung des Oberamtes Besigheim wurde die Vogtei als Oberamteigebäude zum Amts- und Wohnsitz des Oberamtmanns.

Nach einer umfangreichen Sanierung des Gebäudes in den Jahren 2018 bis 2020 unter Berücksichtigung der Belange des Arten- und Denkmalschutzes genügt es nunmehr sämtlichen Vorgaben des Brandschutzes, der Barrierefreiheit und den baulichen Sicherheitsanforderungen für ein Gerichtsgebäude.