Über neun Generationen hinweg, von 1516 bis 1878, ist das Schloss Spiez im Besitz des bedeutenden Berner Geschlechts von Erlach. Diese Familie war es, die mit diversen Umbauten der Anlage das Gesicht verlieh, das sie im wesentlichen heute noch hat. Allen voran Franz Ludwig von Erlach (1575 bis 1651) scheute nicht vor grossen Investitionen zurück. Wie viel Zeit er persönlich in Spiez verbrachte, ist fraglich. Als vielbeschäftigter Spitzenpolitiker in turbulenten Zeiten war er insgesamt auf 144 längeren und kürzeren Gesandtschaftsreisen. Aus wirtschaftlichen Gründen sah sich die Familie 1878 zum Verkauf gezwungen. Das reiche Inventar, insbesondere die damals wertvollste Privatbibliothek der Schweiz mit kostbaren Handschriften, wurde versteigert.