Bergenhus festnings straffeanstalt, på folkemunne kalt «Slaveriet», ble formelt opprettet 1739, da Bremerholm i København, som hadde tatt imot langtidsdømte fra begge tvillingriker, ble nedlagt som straffanstalt, og straffangene fra da av skulle innsettes i de lokale festninger. Det er uvisst når anstalten på Bergenhus faktisk ble tatt i bruk, den er første gang omtalt 1753. I slaveriet ble de fanger (bare menn) innsatt som var dømt for særlig grove forbrytelser, men også de såkalte «kronarbeidere», dvs. menn som ikke hadde betalt underholdsbidrag for sine barn utenfor ekteskap. – Ved en lovendring 1877 ble forskjellen mellom festningsslaveriene og de sivile tukthus opphevet, og 1878 ble slaveriet på Bergenhus nedlagt; fangene ble overført dels til Manufakturhuset, dels til festningsanstalten i Trondheim.
De innsatte i slaveriet ble satt til å arbeide ute i byen, til tider også leid ut som arbeidshjelp til private borgere. Dessuten forarbeidet de skjeer og kammer av horn eller bein, som ble solgt til St. Jørgens hospital og omsatt av de spedalske på gatene (jfr. Hellemyrsfolket). Det hendte også at de fikk en sjøtur til Kristiansholm for å arbeide i steinbruddet der. Tonen mellom fangene og folk de traff ute i byen kunne være gemyttlig. Fangene gikk kledd i vadmelsplagg som var farget svart og grått – venstre bukseben og høyre del av trøyen grått, resten svart. Alle fangene gikk med fotjern rundt den ene foten, og noen hadde dessuten lenker som raslet når de gikk. Brakkene der fangene oppholdt seg, lå nordøst for Håkonshallen, og slaveriet hadde sin egen kirke i hallens nederste etasje. Når døde slaver skulle begraves på Fredens Bolig, måtte det skje ved daggry og på en avsidesliggende del av kirkegården.