Das Kirchhoferhaus der Universität St.Gallen an der Varnbüelstrasse ist das älteste Gebäude auf dem HSG-Campus am Rosenberg. Die Geschichte des Anwesens spiegelt die Nähe der Universität zur lokalen Wirtschaft sowie zum Kanton und zur Stadt St.Gallen.
Im Jahr 1869 erwirbt der St.Galler Textilkaufmann, Politiker und Kunstmäzen Johann Joachim Paul Kirchhofer, genannt Oberst Paul Kirchhofer, das Gut «St. Magniberg», ein Bauernhaus aus dem 17. Jahrhundert und lässt es zum Landhaus im Schweizerhausstil umbauen. Zum Zeitpunkt des Kaufs ist der Rosenberg kaum besiedelt. Der Hang ist noch nicht durch Strassen erschlossen und praktisch nicht zugänglich ist. Dies ändert sich Ende des 19. Jahrhunderts, als eine rege Bautätigkeit einsetzt und viele herrschaftliche Villen errichtet werden. Das «Gut am Magniberg» mit der grosszügigen Parkanlage nutzen Paul Kirchhofer und seine Frau Hermine Kirchhofer-Gruber für sich und ihre Angehörigen als Sommerhaus. Ihr Hauptwohnsitz ist hingegen eine Stadtvilla im St.Galler Museumsquartier. Das Paar bleibt kinderlos. Das Sommerhaus wird nach dem Tod Kirchhofers im Jahr 1903 seiner Nichte Doris Huber-Zellweger vermacht, die mit ihrer Familie dort einzieht.
Oberst Paul Kirchhofer wird 1825 in St.Gallen geboren und in Genua und Marseille zum Textilkaufmann ausgebildet. Im Alter von 20 Jahren erschliesst er der väterlichen Stickerei- und Exportfirma Vonwiller (heute Union AG) neue Absatzmärkte in England, später wird er selbst Teilhaber. Im Jahr 1892 zieht er sich aus der Firma zurück. Paul Kirchhofer ist geschäftlich äusserst erfolgreich, was ihm beispielsweise die Position als Mitglied des Preisgerichtes der Abteilung der Baumwollgewebe und Garne an der allgemeinen Industrieausstellung in London 1851 einbringt. Er ist von 1865 bis 1902 Mitglied des Kaufmännischen Direktoriums, das massgeblich an der Gründung der HSG beteiligt ist. Daneben ist er auch in verschiedenen lokalpolitischen Ämtern tätig: Er ist Gemeinderat der Stadt St.Gallen, von 1861-1867 und 1873-1888 St.Galler Grossrat der liberalen Partei und Bezirks- und Kantonsrichter. In der Stadt St.Gallen setzt er sich ausserdem für die Förderung der Kunst und Kultur ein. Er spendet beispielsweise 150 000 Franken an den Bau der Tonhalle, die im Jahr 1909 – sechs Jahre nach seinem Tod – fertiggestellt wird.
Nach dem Tod von Doris Huber-Zellweger erbt ihre Tochter Doris Lily Heer-Huber die Liegenschaft. Sie wohnt aber nach ihrer Heirat mit dem Textilfabrikanten Heinrich Heer in Bellikon AG und hat keine Verwendung für das Haus. Deshalb entscheidet sie sich, dem Beispiel ihres wohltätigen Grossonkels zu folgen. Sie tritt die Liegenschaften Varnbüelstrasse 14 und 18 (Wohnhaus und Ökonomiegebäude) trotz Angeboten «kapitalkräftiger Käuferschaft» der politischen Gemeinde St.Gallen für einen öffentlichen, noch näher zu vereinbarenden Zweck ab. Sie stellt dafür einige Bedingungen: In Gedenken an den früheren Besitzer Paul Kirchhofer soll das Gut zum «St. Magniberg» in «Kirchhofergut» umbenannt werden, zudem soll es unveräusserliches Eigentum der politischen Gemeinde St.Gallen bleiben «und von der letztern öffentlichen, Schul- und evtl. weitern gemeinnützigen Zwecken dienstbar gemacht werden». Der untere Teil mit der Parkanlage soll öffentlich zugänglich sein und die Grabdenkmäler, die Paul Kirchhofer für seine in New York verstorbenen Neffen unterhalb des Kirchhoferhauses errichte, weiterhin gepflegt werden. Zudem dürfen auf dem Grundstück keine Wirtschaften und Vergnügungsstätten betrieben werden. Regierungsrat und Stadtrat willigen in die Bedingungen ein und das Gelände geht im Jahr 1930 an die politische Gemeinde St.Gallen über. Das Gewächshaus und die bestehenden Gartenanlagen mit Edelobstpflanzungen bleiben vorerst erhalten. Im Jahr 1934 wird auf dem Kirchhofergut eine Sternwarte errichtet und durch die Stadt eine Jugendherberge betrieben.
Die Handelshochschule St.Gallen ist zu dieser Zeit bzw. seit 1911 im Museumsquartier an der Notkerstrasse untergebracht – nicht unweit der ehemaligen Stadtvilla Paul Kirchhofers. Schon früh hat sie aufgrund steigender Studierendenzahlen mit Platzmangel zu kämpfen. Im Jahr 1958 fruchten die Bemühungen der Hochschulleitung, einen neuen Ort zu finden: Der Grosse Rat des Kantons St.Gallen beschliesst am 14. 4. 1958 einen Tauschvertrag mit der Stadt St.Gallen einzugehen und das Kirchhofergut der Handelshochschule im Baurecht zur Verfügung zu stellen. Mit diesem Vertrag tauschen die Stadt und der Kanton Grundstücke Das der Stadt gehörende Kirchhofergut geht für die Neubauten der Handelshochschule an den Kanton über, dafür erhält die Stadt St.Gallen das dem Kanton gehörende Areal der ehemaligen Strafanstalt St. Jakob für die geplanten Ausstellungsbauten der OLMA.
Lily Heer-Huber ist hell begeistert von der neuen Zweckbestimmung des Kirchhoferguts. Im Jahr 1960 wird der Baurechtsvertrag zwischen der politischen Gemeinde St.Gallen und der Handelshochschule abgeschlossen, worin der Gemeinde und dem Kanton bei den zu errichtenden Bauten ein Mitspracherecht eingeräumt wird. Der Hochschule wird der grössere Teil des Kirchhofergutes für die Bauten zur Verfügung gestellt, einzig die beiden Parzellen im südlichen Teil direkt unter dem Kirchhoferhaus sind nicht im Baurecht eingeschlossen und werden von der Stadt, wie von der Schenkerin gewünscht, zu einer öffentlichen Parkanlage ausgestaltet.
Die Hochschule benennt das Wohnhaus, das anfänglich noch nicht von der HSG genutzt wird, in «Kirchhoferhaus» um. Im Baurechtsvertrag mit der politischen Gemeinde verpflichtet sich diese das Haus «unentgeltlich im Baurecht zur Verfügung zu stellen, sobald hiefür (sic!) ein ausgewiesenes Bedürfnis besteht.» Dieser Raumbedarf besteht schon im Jahr 1963, wo bereits erste Räumlichkeiten durch das Institut für Lateinamerika-Forschung und Entwicklungszusammenarbeit übernommen werden.
Der Stadt- und Regierungsrat beschliessen im Jahr 1985, der Hochschule die ganze Liegenschaft zur Verfügung zu stellen. Seither werden die Räumlichkeiten im Kirchhoferhaus auf verschiedene Weise für die Universität genutzt: So beispielsweise als Wohnung für den Chef Hausdienst, als Aufenthaltsräume für Dozierende und als Büros für Verwaltung und Institute. Im Jahr 2014 renoviert die HSG drei Räume im Erdgeschoss, die zu dieser Zeit für Empfänge und Sitzungen genutzt werden. Das St.Galler Textilunternehmen Jakob Schläpfer stattet die Räume aus und bringt sie so wieder näher an ihre textilindustrielle Geschichte. Seit 2025 sind die HSG Foundation, das St.Gallen Collegium und die Alumni HSG im Kirchhoferhaus untergebracht.