Toen Steenbergen op 14-03-1855 trouwde met Johanna Agnes Gardenier (* Den Haag: 16-01-1827) was hij sergeant bij het Regiment Grenadiers en Jagers in Den Haag. Hij moest aan zijn commandant toestemming vragen om te trouwen. Blijkbaar verkeerden de echtelieden ‘in behoeftige omstandigheden’, want voor beiden werd een ‘bewijs van onvermogen’ afgegeven waardoor aan het huwelijk geen gemeentelijke kosten waren verbonden.

De moeder van Steenbergen was Maria Jacoba Hoksteen. Zij was geboren te Goedereede op 8-8-1800 en kreeg nog twee andere kinderen: Hendrika Maria (* Delft: 22-03-1825) en Dirk Jan (* Den Haag 20-12-1829). Zij had geen opleiding en kon, volgens een vermelding op haar huwelijksakte, niet schrijven. Bij de aangifte van de geboorte van alle drie genoemde kinderen verklaart Dirk Steenbergen (gedoopt te Kampen op 2-11-1796), de vader te zijn en de kinderen ‘buiten echt verwekt’ te hebben. Dirk was sergeant - later sergeant-majoor - bij het 1e bataljon jagers in garnizoen in Den Haag. De komst van het 3e kind gaf blijkbaar aanleiding om te trouwen. Dat gebeurde op 10-2-1830 in Den Haag en daarbij verklaarden betrokkenen de vader en de moeder van de drie kinderen te zijn. Met het huwelijk werden de kinderen ‘geëcht’ en raakten ze daarmee de destijds gebruikelijke buitenechtelijke status kwijt.

Uit het huwelijk van Steenbergen en Agnes Gardenier werden geen kinderen geboren maar bij hun huwelijk erkennen zij hun eerder geboren zoon Hermanus Johannes. Deze zoon had bij zijn geboorte in Den Haag op 15-11-1846 de naam van zijn moeder (Gardenier) gekregen en heette pas na het huwelijk van zijn ouders Hermanus Johannes Steenbergen. Hij werd net als zijn vader gymnastiekonderwijzer, woonde en werkte in Rotterdam, trouwde in Gouda op 10 april 1872 met Jana Bouters (* Gouda op 4-03-1845) en overleed op 28-01-1881 in Gouda, in de leeftijd van 34 jaar, ‘latende zijne weduwe met een dochtertje van 7 jaren onbemiddeld achter’ (De Turnvriend, 1881, p. 48)