Berger fikk tidlig et mangfoldig foreningsliv. Fabrikkeierne hadde interesse av at arbeidere hadde en aktiv fritid og bidro gjerne til virksomheten.

Berger Musikkorps var først ute i 1885. Året etter kom skytterlaget til. Turnforeningen kom i gang i 1889, og Berger Idrettslag i 1895. I 1890-årene ble også avholdslosjen «Zoar» opprettet. Berger Mannskor satte tonen fra 1906. I 1905 ble Foreningen Samhold etablert. Formålet var «Selskapelig og belærende underholdning, opplesning, diskusjoner og foredrag.»

Bergers befolkning reiste forsamlingshuset på dugnad, mens familien Jebsen holdt tomt og dekket kostnader. Lenge var medlemskap i foreningen bare for menn. Den ble likevel et viktig møtested for stedets befolkning i mange tiår framover, bl.a. med kinodrift fra 1911.