Сначала он являлся охотничьим домиком королей Саксонии. В XVI веке принадлежал датской принцессе Анне, которая в 1583 году вышла замуж за курфюрста Саксонии. Именно она разбила небольшой виноградник на склонах долины к северу от замка, выходящей на реку. С 1603-го по 1622 год в замке жила дочь курфюрста Бранденбургского, давшая свое имя Софиенплац площади города. В Тридцатилетней войне Саксония заняла сторону протестантов. Сначала в 1634 году Кольдиц разграбили имперские войска, затем его захватили шведы и обустроились в замке на несколько лет. Шведские войска снова очутились там в 1706 году в ходе войны с Россией.

В качестве резиденции для герцогов Саксонии Кольдиц перестал использоваться после 1753 года. В тюрьму замок превратился в 1800 году. С 1828 года это место стало психиатрической лечебницей и именно в этом качестве, по моему мнению, и существовало в период с 1940-го по 1945 год! Концентрационный лагерь явился следующим поворотом в его судьбе в 1933 году, а после этого на год он превратился в Arbeitsdienstlager

С октября 1939 года замок функционировал в качестве лагеря военнопленных для польских офицеров. Летом 1940 года их сменили бельгийские офицеры. Последние, в свою очередь, подписав общее обязательство не участвовать в боевых действиях, после блицкрига были большей частью освобождены. Обнаружив на своих руках почти пустой лагерь, ОКВ решило учредить зондерлагер, или «Lager mit besonderer Bewachung» — специальный лагерь с жестким надзором за его обитателями, что дозволяла статья 48 Женевской конвенции, но без потери иных личных прав, гарантируемых данным соглашением. Здесь было принято большее количество обысков, перекличек и так далее, чем в обычных лагерях, и места было намного меньше — всего лишь внутренний двор в сорок квадратных ярдов, никакого открытого пространства, за исключением парка снаружи, который разрешалось посещать хоть и ежедневно, но в строго определенное время, с некоторым ограничением и под пристальным надзором.