Na parte superior dunha das portas de entrada ao recinto amurallado atópase a Capela da Oliva, unha pequena ermida barroca reflexo da ocupación lusitana da vila, presidida por unha imaxe da Virxe realizada en pedra e que conserva parte da policromía orixinal.
Na parte exterior da mesma consérvanse os restos de tres escudos heráldicos borrados tras a reconquista das tropas castelás, deixando á vista, soamente os seus elementos máis neutros. Grazas a eles, sabemos que o central correspondería ao escudo nacional portugués e os laterais a dous brasóns condais.