Le château de Durban est un véritable emblème de la commune. Datant du XIème siècle, il est édifié sur des assises et s'entoure rapidement de la grande enceinte qui englobait toute la partie haute du village, aujourd'hui appelée le fort. On trouve la première mention de la famille des Durban en 1018 à l'occasion d'un hommage pour le château. Ce n'est pas un château dit "cathare" car les seigneurs de Durban étaient vassaux des Vicomtes de Narbonne, qui eux-mêmes n'avaient pas pris position dans l'hérésie cathare. Manoir à vocation plus agricole que guerrière, le château fut le berceau de la famille des Durban qui l'habita pendant 600 ans. La construction la plus importante du château forme un grand rectangle, dont les énormes murs du nord et de l'ouest sont encore intacts. Ancienne chapelle du château ouverte tous les jours.