Budova Regionálního vlastivědného muzea byla postavena v raně barokním stylu v letech 1650 - 1652 na místě šesti středověkých domů pro potřeby jezuitského semináře. Upravena byla v době kolem roku 1750. Po zrušení jezuitského řádu v roce 1773 sloužila i nadále školským účelům a po roce 1950 v ní byly umístěny muzejní sbírky,  dokumentující vývoj regionu od pravěku až do současnosti.