Середньовічний замок є історичною визначною пам'яткою міста і знаходиться прямо в його центрі. Він був побудований королем Людовиком I у 1360 - 1382 роках на місці оригінального старого замку (Пустий град) з 12 століття. як його мисливський будиночок. Замок змінив кількох власників, а також був резиденцією одного з наймогутніших герцогів Угорщини Яна Йішкри з Брандиса, який тривалий час працював у Словаччині та захищав інтереси родини Габсбургів у зв'язку з угорським престолом. У 1500 році він належав родині Турц, яка побудувала зовнішні укріплення, а згодом і артилерійський бастіон. Замок поступово зазнав подальших модифікацій, і останній, ренесанс, практично зберігся до наших днів.
Це національний пам’ятник культури, і сьогодні в ньому знаходиться Словацька національна галерея, це його форпост. Це найбагатша галерея картин Словаччини. Галерея складається з картин живописців з 14 по 19 століття. а на першому та першому поверсі - виставка різних видів мистецтва, тем та стилів. Щороку, протягом літнього сезону, на подвір’ї замку проводиться театральний фестиваль під назвою «Ігри замку Зволен». Доступ до замку дуже хороший, оскільки він розташований у центрі міста, а поруч із ним є платна автостоянка. Більше інформації про замок, в'їзд та години роботи можна знайти ТУТ.