Cette maison, les Baroncelli, d'ancienne noblesse, est originaire de Toscane, où ses différentes branches occupèrent de hautes fonctions dans les républiques de Florence et de Pise. Elle tire son nom d'un château dans le voisinage de Florence.
Folco Baroncelli, leur auteur commun, fit construire à Florence une maison forte pour lui et ses sept enfants au commencement du XIIIe siècle.
Pierre Baroncelli, proscrit dans les troubles occasionnés par l'élévation des Médicis au commencement du XVe siècle, se réfugia a Avignon, où sa descendance se fixa et donna douze chevaliers de Malte (dont un commandeur, un bailli et un général des galères de l'ordre), des ambassadeurs de la religion auprès des rois de France et du Pape, des abbés, des cardinaux, des officiers supérieurs, des gentilshommes de la chambre du Roi, etc. Le chevalier de Javon, commandeur de Cognac, ambassadeur de la religion à Rome, général des galères de l'ordre de Malte, s'illustra dans les guerres de l'Ordre contre les Turcs, en 1700."
La famille acquit, en 1475, la seigneurie de Javon, qui fut inféodée à perpétuité par le pape Léon X à François Baroncelli, en récompense de ses services. La contruction du château date probablement de cette époque.