Le site occupé par la Fondation Favier a été le siège, jusqu’en 1662, de la seigneurie de Bry (fief de l’hôtel fort). L’hôtel fort seigneurial a été détruit par des bombardements en 1870. A la fin du XIX^e siècle, l’épouse de Joseph Favier, propriétaire du château de Bry (école Saint-Thomas-de-Villeneuve), rachète le site pour en faire don au département de la Seine afin d’y installer une maison de retraite. Sa vocation n’a pas changé.