Børneparken, ble vedtatt anlagt 1866 i den nordøstre enden av Byparken, for å skape «en betryggende Plads for Børn med Ammer». Parken ble senere lekeplass og etter bybrannen 1916 bebygd med brakker for brannrammede næringsdrivende. Parken ble opparbeidet igjen i slutten av 1920-årene, og her ble Sofus Madsens fontene (som var laget til Landsutstillingen 1928) satt opp; hans skulptur Sprøytegutten ble montert i fontenen i 1935.