Gegenüber dem Tor mit der Aufschrift „Arbeit macht frei“ befanden sich nebeneinander die Zelle für sowjetische Kriegsgefangene (Zelle Nr. 1) und die

Zellen Nr. 2 und 3 für die jüdischen Gefangenen. Bis zu 100 Häftlinge wurden in einer solchen Zelle gefangengehalten. Diese beiden Häftlingsgruppen unterlagen den schärfsten Haftbedingungen. Mehr als 1.500 jüdische Gefangene passierten das Gestapogefängnis; sie waren wegen ihrer politischen Tätigkeit, der Übertretung der Judengesetze verhaftet oder aus dem Ghetto in das Gefängnis überstellt worden. Die Überstellung eines Häftlings aus dem Ghetto in die Kleine Festung kam einem Todesurteil gleich, denn die Aufseher hatten es vor allem auf die jüdischen Häftlinge abgesehen. In der Kleinen Festung wurde Ende September 1944 der Vorsitzende des Ältestenrates Eppstein ermordet; die Theresienstädter Maler Leo Haas, Otto Ungar und Bedřich Fritta wurden hier gefangengehalten, bevor sie nach Auschwitz deportiert wurden; der Maler Ferdinand Bloch wurde hier brutal erschlagen.