Casa Haartmanin rakennuttivat vuosina 1925–26 Axel Haartman (1877–1969) ja hänen vaimonsa Hedvig, os. Stolpe (1874–1967). Talon on suunnitellut arkkitehti Erik Bryggman (1891–1955).

Casa Haartman on kaksikerroksinen ja harjakattoinen vaaleaksi rapattu tiilitalo. Rakennus edustaa 1920-luvun klassismia ja arkkitehtuurissa on vahvoja italialaisia elementtejä. Ajan tyylin mukaisesti talon julkisivu on yksinkertainen ja sileä, melko tiukkalinjainenkin. Rakennuksen koristeelliset yksityiskohdat ovat saaneet vaikutteita antiikista: talossa on muun muassa pylväitä ja puolikuun muotoisia ikkunoita. Talon Luostarinkadun puoleinen julkisivu on melkein ikkunaton, mutta sisäpihalle puutarhaan päin talo avautuu suurta terassia kohti lasiovien ja suurten ikkunoiden kautta.      Casa Haartman oli valmistuessaan moderni rakennus keskuslämmityksellä ja juoksevalla vedellä. 

Vaikka rakennus on Bryggmanin suunnittelema, näkyy Axel Haartmanin oma kädenjälki talon sisätiloissa. Rakennuksen pelkistetty julkisivu on jyrkkä vastakohta värikkäille ja koristeellisille sisätiloille. Haartman on itse maalannut sekä katto- että seinämaalaukset talon molemmissa kerroksissa. Hän on myös suunnitellut osan talon huonekaluista. Hedvig Haartman puolestaan oli lahjakas käsitöiden tekijä ja suunnittelija: monet kodista löytyvistä tekstiileistä, kuten ryijyt ja matot, ovat hänen valmistamiaan. Talon sisustus koostuu huonekaluista, jotka pariskunta on joko perinyt tai ostanut antiikkiliikkeistä ja huutokaupoista. Haartmanien kodista löytyy paljon taidetta. Osa taideteoksista on Axelin tekemiä, osa taas Axelin ystävien ja kollegoiden kuten Wäinö Aaltosen, Victor Westerholmin ja Helene Schjerfbeckin teoksia.

Casa Haartman oli Axel ja Hedvig Haartmanille yksi Axelin kauneimmista taideteoksista ja heille oli tärkeää, että koti säilyisi. Heidän toivettaan kunnioittaen perustettiin vuonna 1970 Hedvigs Minne -niminen yhdistys, jonka tehtävänä oli Haartmanien kodin ja omaisuuden hoito. Yhdistyksen nimellä viitataan Axelin vaimoon, Hedvig Haartmaniin, mutta myös Axelin äitiin ja isoäitiin, joiden kummankin nimi oli myös Hedvig.

Hedvigs Minne -yhdistys ylläpiti Casa Haartmania lähes 50 vuotta, mutta vuonna 2017 Haartmanien koti ja omaisuus päätettiin lahjoittaa Åbo Akademin säätiölle. Säätiö hallinnoi myös kahta muuta museota, Ett Hem -museota  ja Sibelius-museota, jotka molemmat sijaitsevat Turun Piispankadulla.

Vuonna 1917 Åbo Akademin säätiön perustivat 34 yksityistä lahjoittajaa, jotka halusivat perustaa ruotsinkielisen yliopiston Turkuun. Åbo Akademin tukeminen on edelleen säätiön perustehtävä, mutta tehtäviin kuuluu myös tutkimuksen ja suomenruotsalaisen kulttuurin tukeminen.