Das heutige Finanzamt befindet sich in einem Gebäude, das Lothar Franz von Schönborn, sowohl Bischof von Bamberg als auch Erzbischof von Mainz, zwischen 1695 und 1705 erbauen ließ. Mit der Errichtung seiner neuen Hofhaltung in Bamberg (Residenz) und dem Ausbau seiner Jagdschlösser gehörte der kunstsinnige und hochbegabte Kirchenfürst zu den führenden Persönlichkeiten des mitteldeutschen Kunstlebens. Ob die Errichtung des Zeiler Jagdschlosses allerdings Leonhard Dientzenhofer, der zu dieser Zeit Hofbaumeister in Bamberg war, zugeschrieben werden kann , lässt sich nicht eindeutig belegen. Ab 1818 wurde das Gebäude bereits als königliches Finanzamt genutzt, vorher war es Kastenhof zur Ablieferung der Abgaben.
Das Gebäude selbst besteht aus zwei doppelgeschossigen Längsflügeln, die im Süden durch einen weiteren Querflügel in der Form eines Hufeisens miteinander verbunden sind. Wegen des abschüssigen Geländes ist dieser Querflügel dreigeschossig. Als Baumaterial wurden vorwiegend Steine der Ruine Schmachtenburg verwendet, bei deren Errichtung wiederum Steine aus der zerfallenen Ganerbenburg am heutigen Zeiler Käppele Verwendung gefunden hatten. Die Ganerbenburg ist nachweislich aufgrund von Erbstreitigkeiten zerstört worden. Dass hierfür die Erbschaftsteuer ursächlich war, die nicht gezahlt werden konnte, wird nach wie vor in weiten Kreisen behauptet. Die Geschichtswissenschaft hat hierfür jedoch keine Anhaltspunkte gefunden und lehnt diese Theorie ab. Die Schmachtenburg jedoch war unstrittig von den Zeilern und Schmachtenbergern im Bauernkrieg 1525 erstürmt und angezündet worden, weil zu hohe Steuern und Abgaben die Bauern und Bürger drückten. Damals wurde diese Burg mit dem bischöflichen Amtmann auch Raubritterburg genannt. Gedankliche Verbindungen zur heutigen Bestimmung des Gebäudes werden in der Bevölkerung gerne hergestellt.
Die Schlossanlage wurde als Zweckbau im Stil des frühen Barock errichtet. Sie wirkt von außen eher nüchtern. Auf hervorstehende Stilmerkmale und schmückendes Beiwerk wurde verzichtet. Einziges Attribut jener an sich prunkvollen Epoche ist das Wappen des Fürstbischofs über dem Portal, das Zeiler Steinmetze aus heimischen Sandstein gefertigt haben. Ein im Hofraum befindlicher Treppenturm ist mit großer Wahrscheinlichkeit erst im 19. Jahrhundert errichtet worden.
Die heutige Nutzung des Gebäudes als Finanzamt ist im Zusammenhang mit der Zeit der Säkularisation Anfang des 19. Jahrhunderts und der Angliederung Frankens an Bayern zu sehen. Das damalige Rentamt sollte zunächst im benachbarten Eltmann untergebracht werden. Weil es dort an geeigneten Räumen fehlte, verfiel man auf das Zeiler Schloss, das mittlerweile bereits als bischöfliches Kastenamt genutzt wurde.(Quelle: Finanzamt Zeil: Geschichte)

In die Südwestecke des Stadtmauerdreiecks baute der Fürstbischof Lothar Franz von Schönborn ein Jagdschloß, das dieser auch häufig in Anspruch nahm. Den Zeiler Bürgern oblag dann, die abgestellten Kutschen und Wagen auf dem nahen Marktplatz des Nachts zu bewachen. Seit 1818 ist hier das Finanzamt untergebracht, nachdem es vorher schon als Kastenhof gedient hatte, in welchem die Bürger ihre Abgaben in Geld oder Naturalien abliefern mußten. Die Steine haben bereits im Bauwerk der einstigen - im Bauernkrieg zerstörten - Schmachtenburg ihre Dienste geleistet.(Quelle: Ein Spaziergang durch Zeil, S. 32)