L'hôpital fut fondé au 13ème siècle par l'ordre de Saint-Jacques de l'Epée Rouge, et destiné à l'accueil des pèlerins en marche vers Saint-Jacques de Compostelle, par le grand chemin dit de Vézelay. Les bâtiments dévastés durant les guerres de religions, vendus comme bien nationaux et le recyclage des matériaux n'ont laissé que quelques pans de murs.
La partie la plus intéressante reste le portail ogival de la chapelle à colonnettes, chapiteaux sculptés à feuillage de lierre et quatre voussures.