Finland blev en del av Ryssland efter 1809 års krig. Tio år senare användes fyra rum på slottets första våning som fängelse.

Slottet renoverades till fängelse 1836-37 enligt arkitekt C.L. Engels planer. Under årens lopp anpassades slottet helt till fängelsets behov. Trappor och gångar byggdes på den medeltida borggården, vilket gjorde att borggården förändrades kraftigt och blev lättare att gå runt på. På slottets tredje våning byggdes trånga sovsalar på 1x2 meter där fångarna tillbringade sina nätter. På dagarna arbetade fångarna i t.ex. fängelsets väveri eller i trädgården.

Kvinnofängelset i Tavastehus slott invigdes 1881. Kvinnofängelset verksamhet upphörde i huvudborgen 1953, men fortsatte i ringmursbyggnaderna fram till 1972. De mest kända kvinnliga fångarna på Tavastehus slott är Hertta Kuusinen och Elvi Sinervo, som fängslats av politiska skäl.