Au Moyen Age, les maison fortes sont des résidences seigneuriales ou habitats fortifiés qui se distinguent des châteaux. Les châteaux se définissent comme « le lieu de résidence d'un détenteur d'un haut pouvoir de justice, de police ou de commandement. Les seigneurs qui possèdent des maisons fortes sont eux détenteurs d'un pouvoir de moyenne ou basse justice. A l'origine de son histoire, le Palais de l'Ile est une maison forte.
La maison forte
Dans les différentes parties qui composent aujourd'hui le Palais de l'Ile, la maison forte est encore repérable. C'est une grosse maison carrée visible depuis le quai du Thiou, la rivière qui entoure l'édifice. Elle est caractérisée par son appareil irrégulier de blocs de pierres calcaires, de galets de rivières et de molasse - un grès tendre mêlé d’argile. Des ouvertures anciennes permettent de penser que l'aspect du bâtiment était différent à l'origine. La maison forte est citée pour la première fois en 1325 quand le châtelain d'Annecy paye Jean de Monthoux, seigneur de l'Isle pour la nourriture de deux prisonniers. On date de cette époque sa fonction de prison.
L'aile de la monnaie
Il n'y a pas au Moyen Age d'administration pénitentiaire et de budgets destinés à la construction de locaux. Les prisons trop petites et mal tenues s'avèrent souvent insuffisantes et le seigneur dont dépend une prison peut très facilement en modifier la fonction pour l'attribuer à un autre usage. C'est ce qui se passe à Annecy en 1355 lorsque Amédée III, comte de Genève, obtient de l'empereur Charles IV du Saint-Empire "le droit de monnayer l'or et l'argent sur ses terres". Le bâtiment cesse alors d'être utilisé comme prison. Une campagne de constructions y aménage un atelier monétaire. Il cesse de fonctionner dès la fin du 14e siècle. L'aile monétaire est un bâtiment reconnaissable à son appareil de pierres taillées et régulières. Elle illustre la maîtrise de l'art de la pierre au 14e siècle.
L'évolution architecturale et fonctionnelle
Au début du 15e siècle, Annecy et le Genevois sont rattachés au duché de Savoie. Le duc Amédée VIII donne la maison en fief à la famille de Monthoux. La chapelle est construite. Au 16e siècle, le bâtiment principal est complètement réaménagé pour l’installation des salles du tribunal de la justice du territoire des ducs de Genevois-Nemours. A partir du 18e siècle, l'édifice est affecté à des fonctions administratives, tout en conservant sa fonction principale de prison jusqu'en 1864.
A travers son histoire, le Palais de l'Ile illustre l'évolution d'un édifice en lien avec ses fonctions. Le Palais de l'Ile devient asile de vieillards de 1865 à 1880. La démolition du bâtiment est alors envisagée par le conseil municipal d'Annecy pour l'installation de bains douches publiques. L'édifice sert également d'école de dessin pour des tailleurs de pierres et charpentiers, de salles de gymastique et d'hébergement. L'édifice est finalement sauvé de la démolition et classé monument historique le 16 février 1900.