Die Ursprünge des Schweizerhaus beginnen um 1320 mit der Grundsteinlegung des Geländes. Damals hieß das Gebäude mit umliegendem Gelände noch Faitzberger Hof. Der Faitzberger Hof wurde ursprünglich als Versorgungshof, sowie Forst- und Landwirtschaftsbetrieb, für die Zollburg Faitzberg, die heutige Burg Rheinstein, genutzt.

Bereits um 1615 erkannten die Freiherrn der Wiltberger, das Potenzial des Hofes und ließen auf dem Gelände eine Gaststätte einrichten. 1823 erwarb Prinz Friedrich Wilhelm Ludwig von Preußen den Faitzberger Hof und lies ihn, von 1838 bis 1842, durch Schweizer Zimmerleute, als Schweizerhaus neu aufleben. Das Schweizerhaus wurde zu seiner Zeit als preußisches Jagd- und Gästehaus erbaut. Die Nebengebäude dienten als Gesindehaus für die Bediensteten der Burg Rheinstein.

Heute ist das Schweizerhaus ein Biergarten mit fabelhafter Aussicht auf das obere Mittelrheintal.

Das Schweizerhaus ist am besten per Fahrzeug über den Waldalgesheimer Wald zu erreichen. Das hierfür notwendige Fahrzeug sollte am Bodmannstein abgestellt werden. Danach kann der ausgeschilderte Weg zum Schweizerhaus, das auch eine Bewirtung anbietet, zu Fuß genommen werden.