Selon l’inscription placée sur la façade, la maison du Père Jan Dzierżon a été construite en 1864. Durant de nombreuses années, la maison a été occupée par le Père Jan Dzierżon, comme en informe l’inscription allemande datant de 1925 et une autre, ultérieure, dans la langue polonaise.
La maison du Père Jan Dzierżon à Karłowice est située dans le centre du village, près de l’église, rue Kościelna. Bâtiment en brique, sur le plan rectangulaire, recouvert de toit à deux versants.
Le bâtiment est sous la protection du Conservateur général des monuments – la façade, les boiseries de la porte d’entrée.