Sukkerhuset, trebygning i to etasjer, med høy kjeller og mansardtak, lå ved foten av Sydneskleiven der Folkets hus senere ble reist. Bygningen hadde navn etter Det bergenske Sukkerrafinaderi, som 1750–51 fikk stadfestet monopol på å raffinere sukker og sirup til Bergen stiftamt og Nordlandene, men som gikk konkurs 1766. Bygningen ble senere brukt som bolighus og hadde en hage, Sukkerhusengen, som strakte seg nesten til Vestre Torggate. Stadskonduktør C. F. von der Lippe bodde der fra 1870 og sørget for at Håkonsgaten ble regulert utenom eiendommen. Senere var bl.a. overlege Armauer Hansen leieboer. Sukkerhuset ble 1894 kjøpt av De Centraliserede Fag- og Arbeiderforeninger, som rev det i 1900.