Het zomerpaleis in Rhenen, het Koningshuis, was eigendom van Frederik V, keurvorst van de Palts en zijn vrouw prinses Elizabeth Stuart. Hij was een kleinzoon van Willem I van Oranje en zij de dochter van de koning van Engeland.
Als keurvorsten woonden ze op het luxueuze Heidelbergse stamslot, toen de Boheemse steden hen als hun nieuwe koning en koningin kozen. Maar na één winter moesten ze al vluchten uit Praag en zo werden ze spottend Winterkoning en Winterkoningin genoemd.
Oom Prins Maurits wilde de vluchtelingen asiel verlenen en zo woonden zij in Den Haag en bouwden een zomerpaleis in Rhenen.