Sur la motte castrale (dite Colline du château », pl. «Góra Zamkowa») se dresse un donjon en forme circulaire construit au tournant du XIIIe et XIVe siècle.
Le donjon constituait le point fort de la ville avant la construction du château. Certains chercheurs avancent qu’il abritait aussi un poste de douanes et que la nuit il faisait office de phare fluvial. Depuis le sommet du donjon on peut admirer l’extraordinaire panorama de Kazimierz Dolny et de la Vistule.