Kolejne losy zamku związane są z rodami Skrzyńskich i Komorowskich. Istnieje wzmianka, że właściciel Żywiecczyzny Włodek Skrzyński bronił się przed polskim królem naprzeciwko wzgórza Wołek obwarowany po drugiej stronie Soły. Nie chciał w ten sposób zgodzić się na odebranie mu ziem i włączenie ich do Korony Polskiej. Ostatecznie jednak Skrzyński został pokonany, a zamek Wołek wraz z innymi dobrami sąsiadującego terenu przeszedł w ręce rodu Komorowskich, który wspierał króla w walce o Księstwo Oświęcimskie.
Jaki był koniec istnienia zamku i kiedy on nastąpił do końca nie wiadomo. Mówi się, iż król Polski po zdradzie Mikołaja Komorowskiego nakazał w roku 1477 zburzyć wszystkie dobra mu nadane, jednak o samym zamku Wołek nie wspomina. Z kolei trzy lata wcześniej, w roku 1474, zamek na pewno jeszcze istniał, gdyż mówi o nim umowa zawarta między królem czeskim a polskim. Z kolei w spisie inwentarza dóbr oświęcimskich z 1508 roku już żadnej informacji o zamku nie umieszczono. Niestety do naszych czasów nie przetrwały dokumenty na temat Zamku Wołek, a jedyne informacje na temat jego wyglądu pochodzą z badań archeologicznych prowadzonych na terenie wzgórza.

Jak każdy zamek, również Zamek na Wołku ma swoją legendę. Głosi ona, iż Katarzyna Skrzyńska zanim została pojmana przez wojska Jagiellończyka zakopała w zamku różne skarby, które prawdopodobnie złupiła podczas swoich wypraw. Jednak nikt podczas oblężenia zdobycia zamku ich nie odnalazł, ponieważ kiedy Skrzyńska została zamknięta w beczce z gwoździami i zrzucona ze wzgórza, wraz z jej śmiercią zamek i skarby zapadły się w ziemię. Legenda głosi również, iż skarby te można odnaleźć tylko w Noc Świętojańską pomiędzy kamieniami ruin, które pozostały na wzgórzu.

Dojazd do Wołka nie jest skomplikowany, jednak niezbyt jasny. Na rondzie w Kobiernicach jadąc od Bielska-Białej w kierunku Krakowa, należy skręcić w prawo na  Porąbkę a następnie jechać przez około 1 km na wprost i znów w pierwszą napotkaną ulicę skręcić w prawo. Tam też znajdziemy drogowskaz, kierujący nas do wzgórza. Droga będzie pięła się cały czas w górę, a gdy napotkamy kolejne rozwidlenia dróg powinniśmy cały czas kierować się na lewo. W końcu droga wejdzie do lasu, a potem doprowadzi nas na polan, na której należy zostawić samochód, skąd wydeptaną ścieżka w 5 minut dojdziemy na wzgórze, na którym znajdziemy ruiny Zamku Wołek. Mimo iż pozostałości, jak widać na powyższych zdjęciach, nie są zbyt okazałe to jednak warto zobaczyć to miejsce nie tylko ze względu na ruiny i aspekt historyczny,  ale i przepiękne widoki, które można podziwiać z pobliskiego wzgórza.