Falski grad wurde im 12. Jahrhundert von den Benediktinermönchen von St. Paul erbaut, als sie ihren Sitz von Dravograd in Fals verlegten. Zwischen 1405 und 1407 wurde er während eines militärischen Konflikts, den der Bamberger Verwalter Mute Wolf Spangsteiner und Otto Pergauer gegen die Burg führten, zerstört. Der Keim des heutigen Schlosses entstand wahrscheinlich bald nach 1407. Die Mönche befestigten es 1550 aufgrund von türkischen Einfällen. Das ursprüngliche Herrenhaus, wie es im 16. oder vielleicht im 15. Jahrhundert bestand, war ein relativ bescheidenes Gebäude. Das Anwesen wechselte mehrmals den Besitzer, doch ein wirklich wichtiges kulturelles Zentrum wurde es 1620, als die Universität Wien dort philosophische, theologische und wirtschaftswissenschaftliche Studien durchführte. Damit wurde Falski grad zur ersten Hochschuleinrichtung in Slowenien. Nach den josephinischen Reformen wurden die Schule und das Benediktinerkloster aufgelöst, es wechselte wieder mehrmals den Besitzer und erlebte nie wieder den Ruhm der Zeiten, als dort die Universität war. Nach dem Zweiten Weltkrieg erlebte das Schloss als Volkseigentum, in dem sich Wohnungen befanden.
Das Pohorje-Gebiet zwischen den Einzugsgebieten von Radoljna und Bezena befand sich in der zweiten Hälfte des 12. Jahrhunderts fest im Besitz von St. Paul. Ende des 12. Jahrhunderts war klar, dass St. Paul eine führende Stellung im Drautal, insbesondere in dessen mittlerem Teil mit Zentrum in Falla, erlangt hatte. Die Äbte von St. Paul verlagerten das Zentrum ihrer Besitzungen an der Drau in der Steiermark vom abgelegenen Lavamünd in das Drautal, nach Falla, das erstmals 1245 erwähnt wird.
Jahrhundertelang lag der Kern des Schärdinger Steiner Besitzes östlich von Remšnik in Falia. Bis zum Tod von Bernhard von Spanheim sah es so aus, als würde sich das Zentrum des klösterlichen Besitzes um Maribor bei Raswang bilden. Mit Bernhards Tod änderten sich die Besitzverhältnisse für Schärding in der Steiermark jedoch grundlegend.
In der neuen Situation suchten die Benediktiner ein neues Zentrum für ihre geistliche Welt und entschieden sich dabei nicht mehr für das abgelegene St. Lorenz, sondern für die Falla an der Drau. In der Falla unterzeichneten sie 1311 einen Vertrag zugunsten von St. Paul.
Im Jahr 1259 belagerten die Ungarn Radlje ob Dravi, und damals wurde wahrscheinlich die erste Falska-Festung, die etwas höher als das heutige Schloss stand, zum Kriegsopfer.
Nach 1340 ging die Burg in den Besitz verschiedener Eigentümer über. 1377 besaß Fale Albrecht von der Fall, Verwalter in Graz, dann Otto Pergauer von Muta, ein Vasall der Cillier, der 1407 die Falska Burg zerstörte. Unter den bekanntesten Verwaltern der Herrschaft Falska ist – historisch gesehen nicht immer ausreichend glaubwürdig – der Hofrichter, der Verfasser der Antworten auf die Umfrage des Falska Rekrutierungsbezirks, Pokorny. Weiter werden Aloisij Sparovitz (Šparovec, der später die Herrschaft Studenice kaufte), Johann Tschinkowitz und Carl Ipawitz (ein Verwandter der bekannten Musikerfamilie Ipavec) erwähnt.
Von großer Bedeutung in der Geschichte der Burg Fali ist die Einrichtung eines kleinen Klosters in der Burg, das Fali schon vor Maribor zu einem kulturellen Zentrum machte. Es wurde eine interne Hochschule als Einführung in die Theologie eingerichtet, jedoch nur für angehende Benediktinermönche. Im Jahr 1620 wurde in Fali eine Abteilung der Universität Wien mit Vorlesungen in Philosophie, Theologie und Wirtschaftswissenschaften gegründet. 1628 bestätigte die Universität Wien die Statuten der Universität Fali. Der Zustrom von Studenten und Novizen war beträchtlich, da ihnen die Burg Fali Zuflucht vor den Schrecken des Dreißigjährigen Krieges mit den Türken bot. Mit ihnen reiste auch Merninger an. Nach seiner Wahl zum Abt des Stiftes St. Paul im Jahr 1638 wurde die Schule aufgelöst.
Das falsche Jesuitenkolleg hatte von 1644 bis 1759 große Bedeutung für die russische Akademie, da hier auch Priester unterrichteten. In dieser Zeit absolvierten 6931 Studenten das russische Gymnasium, darunter 603 Söhne des hohen österreichischen Adels, spätere Erzbischöfe, siebzehn Prälaten sowie sieben Landeshauptmänner, Fürsten und Grafen.
Als falsche Herrschaft unter benediktinischer Verwaltung war sie die größte Herrschaft im Drautal. Der Kloster hatte die umfangreichen Waldflächen mustergültig bewirtschaftet. Es wurde eine planmäßige Aufforstung von hochwertigen Nadelhölzern eingeführt, und überhaupt begann der Nadelwald die überwiegend buchenreichen Wälder zu verdrängen, da Buchenholz für die damalige Wirtschaft nicht so nützlich war.
Mit den josephinischen Reformen wurden Klöster aufgelöst, und so wurde die Fale nach der Auflösung des Klosters St. Paul im Jahr 1782 zu einem staatlichen Gut mit zivilen Verwaltern. Im Jahr 1824 kaufte der Finanzmagnat Martin Liebmann, später erhoben zum Ritter Martin Freiherr von Rast, das Schloss. Während seiner Besitzzeit trug das Falaer Schloss in vielerlei Hinsicht zur gesellschaftlich-wirtschaftlichen Entwicklung der Region bei, da zahlreiche Besitzer von Eisenhütten, Glashütten und anderen Betrieben langfristige Verträge mit Rast über die Ausbeutung der Forstwirtschaft abschlossen. Aufgrund einer besseren Bewirtschaftung und einer stärkeren Anbindung an Maribor entschied sich Rast im Jahr 1830 für den Bau einer Brücke. Leider wurde sie 1836 durch den gestiegenen Fluss zerstört. Von ihr ist nur noch der Widerlager am rechten Ufer erhalten.
Zwischen 1860 und 1875 herrschte Peter von der Kettenburg auf der Burg, zwischen 1875 und 1945 die Grafen Zabeo und deren Schwiegersohn Pavel Glančnik.
Nach der Befreiung ging das Herrenhaus in Gesellschaftseigentum über, und in dieser Nachkriegszeit ging der Großteil der luxuriösen Innenausstattung sowie viele Kostbarkeiten verloren oder wurde von den Bewohnern zerstört, die sich die Schlüssel zu den Schlosstoren teilten.