Das Hauptgebäude des Amtsgerichts ist ein dreistöckiges, teilunterkellertes verputztes Fachwerkgebäude, das unter Denkmalschutz steht. Bei Innenausbaumaßnahmen 1983/84 wurden historische Wand- und Deckenmalereien freigelegt. Das Gebäude steht mit der Westseite direkt auf der inneren Stadtmauer mit einem Durchgang ("finsterer Gang").

Das Gebäude gehört zu einem stattlichen, von einer hohen Mauer umschlossenen Anwesen mit Hof und Garten. Über der Rundbogeneinfahrt findet sich die Jahreszahl 1685. Nach Angaben des Landesdenkmalamtes kann nur mit Vorbehalt an dieser Stelle ein mittelalterlicher Adelshof vermutet werden, möglicherweise der Fronhof, den das Kloster Erstein im Elsass 1153 unter Mitwirkung und Beurkundung Kaiser Friedrich I. dem Markgrafen von Baden überließ. Diese Überlassung stellt gleichzeitig die erste urkundliche Erwähnung der Stadt Besigheim dar.

Die erste urkundliche Nennung des Anwesens Amtsgerichtsgasse 5 findet man im ältesten erhaltenen Lagerbuch der Vogtei Ende des 15. Jahrhunderts. 1682 wird das Anwesen an die geistliche Verwaltung Besigheim verkauft, wobei 1683 und 1685 wohl ein Umbau erfolgt. Von 1756 bis 1774 dient das Verwaltungsgebäude vorübergehend auch als Amtswohnung des Diakons.

In der Folge wird das Anwesen als "Fruchtkasten " genutzt. Von 1815 bis 1819 dient das Verwaltungsgebäude vorübergehend als Mädchenschulhaus. 1822 kommt es dann zum Tausch zwischen der Oberamtskorporation und der königlichen Oberfinanzkammer "über die bisherige Oberamtsrichterswohnung samt den von Allgaier und Veigel erkauften Häusern (Kirchstraße 42/44) ohne die Scheuer (Pfarrgasse 12) gegen das bisherige Mädchenschulhaus gleichfalls ohne die Scheuer."

Mit weiterem Vertrag vom 8. März werden auch die bisher nicht im Vertrag enthaltenen jeweiligen Scheuern vertauscht, damit der Oberamtsrichter "Platz zu Stellung zweyer Pferde und zur Aufbewahrung des Futters und der Streu so wie auch eines Gefährts habe".