El Hospital de San José fue una institución benéfica fundada por Gonzalo Rodriguez de Ledesma a principios del siglo XV. Originariamente estuvo ubicado junto al arco de la torre de la iglesia de Santa María la Mayor, ya que el edificio hoy existente, cuya fachada presenta el grupo escultórico de la Sagrada Familia flanqueado por los escudos de las familias fundadoras, fue construido en el año 1721 en el solar de varias casas y paneras que adquirió el sacerdote ledesmino Andrés Nieto de Porres, impulsor de dicha institución a comienzos del siglo XVIII.