Ehrensvärd-museo sijaitsee linnoituksen alkuperäisellä keskusaukiolla, komentajan talossa. Rakennuksen ensimmäinen isäntä oli Viaporin perustaja Augustin Ehrensvärd. Kaunis rokokoo-sisustus esittelee Viaporin erityispiirteillä, miten aatelisto eli 1700-luvulla. Esillä on muotokuvia, tyylikkäitä huonekaluja ja pienoismalleja saaristolaivaston laivoista.

Komendantintalo on hyvä esimerkki siitä, miten Viaporissa asuintilat ja puolustusrakenteet usein sulautuivat saman katon alle. Rakennus oli linnoituksen komendantin asuin- ja virka-asunto vuoteen 1855 asti, jolloin se menetti koko eteläisen puoliskonsa Krimin sodan pommituksissa.

Vuonna 1927 Ehrensvärd-seura teki aloitteen museon perustamisesta Augustin Ehrensvärdin asuinpaikkana toimineen komendantintalon huoneisiin. Museo avattiin vuonna 1930, ja sen näyttely uusittiin vuonna 2015.