Das Fuggerschloss besteht aus folgenden Gebäuden:

Kapelle
Die Kapelle ist in den südlichen Flügel der einstigen Schlossanlage integriert. Der erste Kapellenbau stammt wohl aus dem Jahre 1679; 1709 wurde die Kapelle neu errichtet und im Jahre 1771 erweitert und im Inneren neu ausgestattet.

Mittelflügel (ehem. Haupthaus)
Das ehemalige Haupthaus des Schlosses ist der eigentliche Schlossbau der Anlage und wurde um das Jahr 1860 zu einem Stall umgebaut. Der ursprüngliche Schlossbau stammt wohl aus dem Jahre 1581. Bilder aus vergangener Zeit zeigen noch das ursprüngliche herrschaftliche Aussehen dieses Gebäudes.

Torflügel
Der Torflügel begrenzt den Schlosshof zur nördlichen Seite hin.

Ehemaliges Amtshaus
Das Amtshaus bildet das südliche Kopfende des aus Amtshaus und Bräuhaus bestehenden straßenparallelen Flügels, welcher östlich an den Torflügel anschließt. Im Jahre 1848 wurde das Gebäude als Gastwirtschaft sowie als Wohngebäude des Schlosspächters genutzt.

Bräuhaus
Das Bräuhaus liegt zwischen dem Amtshaus und dem Kornkasten. Neben Wirtschaftsräumen und der Brauerei befanden sich auch bis ins mittlere 19. Jahrhundert Wohnungen in diesem Gebäudeteil. Später wurden die Räumlichkeiten zu Wohnzwecken genutzt.