Declarado Bien de Interés Cultural en 1949, es uno de los edificios más emblemáticos de Ledesma.
Su origen se remonta a la Baja Edad Media, época en la que se alternaron periodos de señorío con otros de realengo, hasta que en el siglo XV adquirió definitivamente carácter señorial, cuando fue concedida la Villa a don Beltrán de la Cueva.
Apoyado sobre la roca granítica que le da solidez, su carácter militar hizo que acabara jugando un importante papel defensivo en la frontera con Portugal y en las luchas políticas del reino. En periodos de paz fue lugar de residencia de los representantes del conde.
Estructuralmente sufrió diversas transformaciones. Los muros presentan obras de época diferente y ha perdido algunos elementos como las torres próximas a la puerta norte. A cambio ganó un escudo, que daba la bienvenida desde la Puerta del Puente y que, desde hace pocos años, lo hace presidiendo esta entrada.