Varberg har anor redan från 1062. Då hette orten Getakärr och låg en kilometer norr om Varbergs nuvarande torg. Runt 1600-talet hade staden sin kärna vid Varbergs fästning, för att 1666 flyttas till det läge den har idag.
Namnet Varberg kommer ursprungligen från ordet "Vårdkaseberg". År 1290 byggdes det en borg, nuvarande Varbergs fästning, som fick sitt läge högst uppe på klippan vid havet
Halland, som är landskapet där Varberg ligger, tillhörde Danmark från vikingatid och ända fram till 1305. Efter detta tog svenskarna över makten men Halland hann bli danskt en gång till innan det slutligen blev och förblev svenskt vid freden i Brömsebro år 1645.
I kriget mellan Danmark och Sverige 1563-1570 intogs borgen med hjälp av det nya vapnet, kanonerna. Efter detta krig byggdes borgen om av danskarna och blev till en fästning med stenklädda jordvallar.

Varberg industrialiserades ganska sent och det var stenindustrin som var den drivande kraften. Mot slutet av 1800-talet var merparten av Varbergs arbetsföra män sysselsatta i stenindustrin.

Varberg blev känt som havskurort från 1800-talets mitt då ångbåtstrafiken längs kusten från Göteborg till Malmö tog sin början. Detta ökade reslusten till Varberg och stadens myndigheter insåg snart att badorten behövde rustas upp.
Man invigde ett andra varmbadhus sommaren 1866. Huset stod på toppen av modernitet och innehöll 20 rum för bl a gyttje- och tångbad och dessutom fanns massagerum och bastu. Samma år blev stadens första kallbadhus färdigt. En mycket svår storm härjade längs hela västkusten 1884 och totalförstörde kallbadhuset. Varbergs andra kallbadhus var färdigt 1886. Det nya var mycket likt det förra med samma byggnadsstil men naturligtvis modernare. Det var från och med då tillåtet att simma rätt ut i havet, men för detta tilltag krävdes simdräkt. Detta kallbadhus kom inte heller att bli så gammalt utan blev ett av offren för den så kallade ”julastormen” 1902, den värsta storm som rasat på västkusten i mannaminne.

Det tredje kallbadhuset uppfördes 1903. Detta står fortfarande kvar och torde kunna motstå de värsta stormar.