Families kwamen en gingen, maar het bleef altijd de zetel van degenen die iets te zeggen hadden in Mattighofen.
In 1551 werd het kasteel verbouwd of zelfs herbouwd in opdracht van Christoph von Ortenburg. Waarschijnlijk kregen de vleugels statige hoektorens, die nog tot 1700 bestonden. In die tijd was er ook een ophaalbrug over een diepe slotgracht. Het ommuurde roodmarmeren deurkozijn, dat oorspronkelijk naar de binnenzolder leidde maar nu aan de rechterkant van de kasteelingang te zien is, dateert ook uit de tweede helft van de 16e eeuw. Het draagt de inscriptie "Joachim Grave zv Ortenburg etc. Vrsvla Gräfin zv Ortenburg geporene goggerin Freiin zv Khirchperg vnd Weissenhorn sein Gemachel MDLI" en de wapens van de families Ortenburg en Fugger in de renaissancegevel.
Wendt u zich voor informatie tot het contact.