Bielski zamek borykał się z licznymi trudnościami – w 1645 roku obrabowali i spalili go Szwedzi, a w 1762 roku Prusacy. W latach 1753, 1808 i 1836 trawiły go pożary, po których był przebudowywany. Największych zmian dokonano w trakcie przebudowy po 1787 roku, w latach 1830-34 i ostatecznie w latach 1855-64 przez Jana Pötzelmeyera, który połączył style romański, gotycki i renesansowy.

Właścicielami zamku byli:
-Piastowie cieszyńscy
-Sunneghowie (od 1591-1724 roku) – węgierska, protestancka rodzina sympatyzująca z Polską
-Sułkowscy (od 1752, jednak z powodu problemów finansowych majątek był stopniowo wyprzedawany).

Muzeum Miejskie w Bielsku, którego siedziba znajduje się w Zamku, otwarto dla publiczności 14 lutego 1947 roku, później zostało ono upaństwowione i podporządkowane Muzeum Górnośląskiemu w Bytomiu. Samodzielność placówka odzyskała w 1963 roku, w 1975 roku została przeobrażona w Muzeum Okręgowe w Bielsku-Białej. Od lat siedemdziesiątych XX wieku tworzyły się oddziały terenowe: Willa Juliana Fałata, Muzeum Techniki Włókienniczej obecnie Muzeum Techniki i Włókiennictwa, Muzeum Emila Zegadłowicza, Muzeum w Kętach oraz Muzeum Dom Tkacza. Od początku 2001 roku muzeum nosi nazwę Muzeum w Bielsku-Białej.

Ekspozycja w muzeum obejmuje:

  • XIX – wieczną reprezentacyjną klatkę schodową
  • salę militariów i sztuki myśliwskiej
  • wystawę sztuki polskiej i europejskiej od XIV do XVII wieku
  • salon muzyczny
  • salon biedermeierowski
  • galerię malarstwa polskiego i europejskiego od XIX do XX wieku
  • galerię współczesnej sztuki regionu
  • wystawę prezentującą dzieje zamku, Bielska, Białej i okolic
  • wystawę etnograficzną
  • wystawę grafiki przełomu XIX i XX wieku
  • wystawę malarstwa portretowego od roku 1800 do lat trzydziestych XX wieku
  • W muzeum można oglądać stałą ekspozycję historyczną oraz wystawy czasowe, organizowane są również okazjonalne koncerty.