En la parte superior de una de las puertas de entrada al recinto amurallado se encuentra la Capilla de la Oliva, una pequeña ermita barroca reflejo de la ocupación lusitana de la villa, presidida por una imagen de la Virgen realizada en piedra y que conserva parte de la policromía original.
En la parte exterior de la misma se conservan los restos de tres escudos heráldicos borrados tras la reconquista de las tropas castellanas, dejando a la vista, solamente sus elementos más neutros. Gracias a ellos, sabemos que el central correspondería al escudo nacional portugués y los laterales a dos blasones condales.