Kronbageriet, som ligger på den södra sidan av ringmuren, är en av de äldsta bevarade byggnaderna i slottsområdet. Den medeltida ringmuren utgjorde den södra ytterväggen. Bageriet byggdes i två våningar: på bottenvåningen fanns sex bakugnar och på övervåningen ett tunnvalvförsett torkloft. Bygget påbörjades 1740 och stod färdigt 1747. Även när bageriet stod färdigt var det överdimensionerat för arméns behov. Med en enda eldning kunde ugnarna baka nästan 700 kg bröd och 400 kg hårtack.

Under fängelsetiden användes övervåningen av kronbageriet som fängelsesjukhus, medan undervåningen blev köksutrymme. De ursprungliga ugnarna monterades successivt ned men återuppbyggdes vid slottets restaurering på 1970-talet efter gamla ritningar.

På sommaren är Kronbageriet värd för ett café och utrymmet hyrs ofta ut för privata evenemang och firanden, såsom bröllop, examensdagar och middagar.