在中世纪，由于海梅城堡不再位于瑞典王国的边界，其军事意义有所下降。然而，它在行政方面的重要性却与日俱增，尤其是当国王古斯塔夫-瓦萨（Gustav Vasa）致力于加强王国的经济和管理时。

15 世纪，城堡进行了现代化改造。城堡安装了铅框玻璃窗，并用新的瓷砖炉子取暖。骑士大厅和国王大厅的天花板也换上了时尚的木梁。

尽管进行了这些改进，城堡还是开始衰败。1599 年，一场火药爆炸摧毁了南塔和公鸡塔的上部。之后在 1659 年，一场大火肆虐了城堡，烧毁了所有的木质结构。虽然进行了修缮，但城堡作为重要行政中心的时代即将结束。到了 17 世纪初，城堡已经失去了往日的辉煌。