Sibelius-museon rakennus on yksi Suomen 1960-luvun modernismin omalaatuisimmista luomuksista. Sen yksinkertainen ja karu, mutta samalla jännittävä ja ainutlaatuinen muotokieli houkuttelee arkkitehtuurista kiinnostuneita vierailijoita eri puolilta maailmaa. Museorakennus vihittiin käyttöön vuonna 1968, ja sen on suunnitellut arkkitehti Woldemar Baeckman, joka suunnitteli myös monia muita Åbo Akademin rakennuksia. Museorakennus on listattu Docomomon Suomen modernin arkkitehtuurin merkkiteosten valikoimassa.

Matala museorakennus poikkeaa sitä ympäröivistä yliopistorakennuksista, joista suurin osa on peräisin 1800-luvulta. Museorakennuksessa on kaksi kerrosta, joista toinen on maanpinnan alapuolella. Baeckman suunnitteli Sibelius-museon matalaksi, suorakaiteen muotoiseksi rakennukseksi, jotta se sopisi mahdollisimman hyvin ympäristöönsä Piispankadun empiretalojen keskelle. Siitä toki voidaan keskustella, miten hyvin museo sopii ympäristöönsä. Joka tapauksessa museo on lähes 60 vuoden ajan rikastuttanut Turun kulttuurielämää tarjoamalla laajan valikoiman konsertteja ja näyttelyjä.

Museo rakentuu konserttitilana käytetyn Sibelius-salin ympärille. Konserttisalin vieressä sijaitsee neliönmuotoinen atriumpiha, jota reunustavat muut museotilat. Museon alkuperäinen sisustus oli Carin Bryggmanin käsialaa. Esimerkiksi edelleen käytössä olevat valaisimet ja konserttisalin tuolit ovat Bryggmanin suunnittelemat. Sisustusta on myöhemmin täydennetty.