Nadat de keizer toestemming had gekregen van Koningin Wilhelmina om in Nederland te blijven vond hij tijdelijk onderdak in Kasteel Amerongen. Later kocht hij Huis Doorn aan en werd verbleef hij hier tot zijn dood in zelfverkozen ballingschap. Naast het Huis ligt de keizer in zijn mausoleum.