1701 erhielt Henry Howard, 5. Earl of Suffolk und Nachfahre des ursprünglichen Besitzers, das Haus von der Krone zurück. Im Verlauf der folgenden 100 Jahre wurden Teile des Hauses nach und nach abgerissen, bis die heutige Größe übrig blieb ...