1606年2月，克里斯钦安四世购置了46块私人土地，将这些土地联合起来建成了罗森堡花园，并在其中修建了一个亭子。后来这个亭子不断被扩建并增加附属建筑。在北面的“冬屋（Winter Room）”中克里斯钦安四世悬挂了他从安特卫普买来的75幅油画，该房间的布局至今未变。1833年弗雷德里克六世将城堡改作博物馆并于1838年对外界开放。