Il fut fondé dans le quartier Praga, dans les années 80 du XVIIIème siècle, sur l'initiative de Szmul Jakubowicz Zbytkower. Cet entrepreneur connu et, en même temps, le banquier attaché à la cour du roi Stanisław August Poniatowski, possédait dans ce quartier plusieurs biens et c'est de son nom que vient le nom de cette région de la ville – Szmulowizna. Le cimetière fonctionnait jusqu'à l'éclatement de la IIème guerre mondiale. Sous l'occupation hitlérienne il fut dévasté, sa clôture démolie et une partie des stèles utilisée pour des travaux de bâtiment. Le reste des stèles fut détruit après la guerre, entre les années 1946-1947 et déposé dans la partie centrale du cimetière. Aujourd'hui, clôturé et partiellement reconstruit, le cimetière abrite environ 300 tombes. Ce sont, entre autres, celles des familles Bergson, Nissenbaum, Sonnenberg, du célèbre savant Abraham Stern (1768-1842) ainsi que du fondateur du cimetière, lui-même, Szmul Zbytkower.