Penzion „V Podzámčí“  byl dostavěn do současné podoby po rozsáhlé rekonstrukci hospodářského stavení na  počátku dvacátého století. Ve 14. století patřilo území dnešních Zákup pánům z Lipé, vladykům se Smojna a poté Vartenberkům. Od nich ho (asi) roku 1463 získali Berkové z Dubé a ti zde zůstali do roku 1612, kdy Zákupské panství koupil Jan Novohradský. Později, asi roku 1629 panství vyženil vévoda Jindřich Sasko-Lauenburský. Od něj panství získal dědictvím v roce 1665 jeho syn, Julius František Sasko-Lauenburský, a podržel si ho do roku 1689, kdy zemřel. Od roku 1689 byla vlastníkem už velice rozsáhlého panství jeho dcera Anna Marie Františka, velkovévodkyně z Toskány. Pak následovala řada dalších šlechticů a v roce 1805 Zákupské panství získal zadlužené první z Habsburků, arcivévoda Ferdinand. svým císařským diplomem v duchu ustanovení vídeňského kongresu vytvořil Zákupské vévodství, které věnoval Napoleonovi II., synovi francouzského císaře Napoleona I.