Construit au milieu du XVIIIe par le ministre Johann Hartwig Ernst, comte de Bernstorff, le palais est resté entre les mains de la famille Bernstorff jusqu'en 1812. En 1842, il est racheté par le roi Christian VIII. Par la suite, le roi Christian IX en a fait sa résidence d'été.
Aujourd'hui, le palais est utilisé comme école d'officier et ses jardins sont ouverts au public.