Sverresborg, borganlegg reist av kong Sverre 1183 på fjellknausen øst for kongsgården på Holmen (nå Bergenhus), og hvor han døde i 1202. Borgen motstod angrep fra øyskjegger og baglere, ble skadet av baglerne 1207, men var sete for kongens sysselmenn til annen halvdel av 1200-tallet. Rester av det opprinnelige anlegget er ikke påvist.
Omkring midten av 1600-tallet ble Sverresborg opprustet og forsynt med voller, skanseverket forbandt borgen med Bergenhus festning. De to batteriene, Søndre og Nordre, deltok i slaget på Vågen 1665. Carl von und zu Mansbach, som var kommandant på Bergenhus 1826–38, parkla området. Fra midten av 1800-tallet ble det her arrangert større friluftskonserter, såkalte Vauxhall-aftener (etter mønster av lignende arrangementer i Vauxhall Gardens, London) og innendørsforestillinger, bl.a. opptrådte Det franske operaselskap fra Strasbourg og trakk fulle hus i 1872. Mot slutten av århundret forfalt parken. Det nyttige Selskab forsøkte i en årrekke å få myndighetenes støtte til å fornye parken, som omsider ble gjenåpnet 1983. Under okkupasjonen hadde tyskerne to luftvernbatterier på Sverresborg. Etter den annen verdenskrig ble enkelte tyske terrorister og norske landssvikere henrettet på Sverresborg.
Kasernen, som ligger mot Nye Sandviksvei, ble reist 1911 som forlegning og undervisningslokaler for Bergenske Brigades Underoffisersskole (senere 4. divisjons skole). Den hadde tidligere holdt til i Kong Oscars gate 22. Undervisningen førte til middelskoleeksamen og fikk mye å si for ungdom fra bygdene. Under eksplosjonskatastrofen 1944 blåste taket av. Bygningen ble gjenreist, uten sin tidligere lysark i begge ender, og fikk et lavere utseende. Etter krigen overtok Distriktskommando Vestlandet lokalene til stabskontorer.
Norrønahallen, ved foten av Knausen sørvest for Sverresborg, blir brukt av idrettslaget Norrøna.
Tilsynet med Sverresborg tilligger Tilsynskomiteen av 1971.