Ledesma aún conserva gran parte de la muralla de piedra granítica que históricamente ha rodeado la Villa en su totalidad. La mayor parte de la que hoy permanece se levantó en tiempos de Fernando II de León, en siglo XII, aunque fue en el XV cuando se renovaron varios lienzos con sillería bien labrada. En ella se pueden contemplar abundantes marcas de cantero. De las ocho puertas que tuvo, la única que se conserva en la actualidad es la denominada de los Mártires, San Nicolás o Caldereros. Formada por dos arcos peraltados, se encuentra encuadrada exteriormente por dos cubos cilíndricos.

El patio de armas de su castillo-fortaleza fue levantado en el extremo sudoeste del recinto amurallado entre los siglos XIII y XIV. De planta trapezoidal irregular, presenta dos puertas de acceso: la norte, presidida por el escudo de la Villa, y la sur, flanqueada por dos grandes torreones. Fue declarado Bien de Interés Cultural en 1949.