Byggnadsarbetena på fästningen utfördes både på Vargön och på stadssidan vid Ulrikasborgs klippor. Tusentals rotesoldater samt stora mängder yrkesmän och hantverkare från olika områden deltog i arbetet. Även fångar användes som arbetskraft. Under de första åren byggdes bostäder, kaserner, verkstäder, lager och skjul, och man tillverkade arbetsredskap. Längs hela södra Finland anställdes tidigare arbetare och nya tegelbruk, kalkugnar och kolmilor byggdes. På Vargön uppfördes en kraftkälla, en väderkvarn, designad av byggmästare Daniel Thunberg, som samtidigt kunde mala säd, såga plankor och pumpa vatten. ”Även om man skulle smälta samman alla rikets byggmästare, skulle man inte få ens en halv Thunberg,” sade Ehrensvärd.

Allt eftersom fästningens bastioner reste sig, transporterades kanoner över isen till öarna. När varvet stod färdigt började man bygga skepp för Arméns flotta. Arbetet utfördes endast på somrarna, och som mest bestod arbetsstyrkan av nästan 7000 män. Arbetsdagarna var långa, 12,5 timmar inklusive övertids- och ackordsarbete. Mat och logi var enkla och anspråkslösa.

Ehrensvärd själv rörde sig på byggplatsen klädd som en arbetare. Enligt amiral Tersmeden dök han en gång upp i staden vid den kommenderande generalens frus middagsbord tillsammans med sina arbetsofficerare, utan att bekymra sig om formaliteterna, med håret opudrat, klädd i enkla vardagskläder och yllestrumpor, stövelskaften nedhasade, hattens brätten hängande, utan manschetter, och med en lång åttkantig stav i handen, märkt med tum och alnar. De närvarande regementsofficerarna såg rentav ut som herrar bredvid Ehrensvärd och hans män. De såg ut som murarlärlingar, en grå, en grön, en blå, men de grep ändå glatt och muntert efter vad bordet hade att bjuda på.