26 июня 1941 года Даугавпилс был захвачен германской армией. Спустя несколько дней началось преследование евреев. Первым крупным местом массового уничтожения стал так называемый железнодорожный садик за городской тюрьмой, где были расстреляны более 1000 мужчин в возрасте от 16 до 60 лет.
15 июля 1941 года был издан приказ, согласно которому всё еврейское население должно было в течение 10 дней переселиться в предмостное укрепление, где было создано гетто (ныне — Даугавгривская тюрьма). По различным сведениям, в гетто было согнано около 14 тысяч евреев. Среди них были жители Даугавпилса, беженцы из Литвы, а также евреи из Краславы, Гривы, Вишек, Индры, Дагды, Илукстского уезда и других городов и местечек Латгалии.
На 5 декабря 1941 года в гетто оставалось 962 человека, а спустя полгода — 1 мая 1942 года — при участии команды В. Арайса и местных полицейских были уничтожены почти 500 евреев. В живых остались 487 человек. Их перевели на правый берег Даугавы, в крепость, где они работали в мастерских.
28 октября 1943 года оставшихся в живых узников отправили в концентрационный лагерь Кайзервальд под Ригой. Осенью 1944 года последних узников Даугавпилсского гетто на пароходах доставили в Данциг (Польша), после чего распределили по различным концлагерям — Берген-Бельзен и Штуттгоф. Выжило около ста евреев, часть из которых после войны вернулась в Даугавпилс.
6 сентября 2015 года рядом с Даугавгривской тюрьмой еврейская община Даугавпилса открыла памятник с надписью на английском, латышском, русском и иврите: «В память узников гетто. Здесь с 15 июля 1941 года по 1 мая 1942 года находилось еврейское гетто Даугавпилса».
Эскиз памятного камня разработали художники Юрис Пундурс и Лига Чибле, а изготовил памятник Игорь Манжос. Материалы для его создания предоставило даугавпилсское предприятие SIA “Kvarcits”.