Im Jahre 1364 bezog der erste Bewohner des Hauses seinen Wohnsitz. Das war Floirken Roeffart, ein Waffenjunge. Über dem Eingangstor hängt ein Allianzwappen aus dem Jahr 1626. Dieses Allianzwappen steht für die Herren von Kessel. Alle Schlösser in Baarlo waren früher im Besitz der Herren von Kessel.
Nach 1700 wohnten verschiedene Besitzer in Huize Roffaert. Der Ost- und Westflügel wurden nach der Zerstörung im Jahr 1937 wieder aufgebaut. Im Jahr 1996 wurde das Gebäude zum letzten Mal restauriert.