År 1862 byggdes det tvåvåningsstenhus, som blev början till det nuvarande Henriksberg. I huset bedrevs det krogrörelse, och det kallades för ”Stigbergsvärdshuset” eller ”Backlunds restaurang” efter föreståndarinnan Mathilda Backlund.
År 1892 uppfördes den inbyggda glasverandan med utsikt över älven och hamnen.
Idag finns en pub i lokalerna, en restaurang på husets takterrass och det anordnas klubbar och konserter i huset.