La ciudadela medieval de Olivenza es un recinto de origen templario. Su primera muralla fue mandada construir en 1306 por el rey D. Dinis, con la piedra fundacional puesta por Pero Lourenço do Rego. A partir de 1309, la Orden de Avis dio el impulso definitivo a las obras, consolidando la ciudadela como núcleo defensivo estratégico
El casco antiguo oliventino reproduce la estructura original de las bastides: un cuadrilátero con cuatro puertas, cortado por dos calles perpendiculares que se cruzan en el centro. Todo el conjunto, en sentido E/O, se proyecta emblemáticamente contra la frontera.
El alcázar era una especie de ciudadela amurallada dentro de la ciudad fortificada, con salida independiente al exterior. Como zona residencial destinada al gobernador o alcaide y a su guarnición, integraba diversas dependencias nucleadas en torno a una estructura principal: su Torre del Homenaje, la más alta de todos los pueblos de La Raya (37 metros). Sus saeteras iluminan el interior y desde las que se podían tirar flechas y su matacán que a día de hoy nos ofrece una perspectiva impresionante de la localidad. Una barbacana, a cuyo pie se abría un foso inundable.
Completan el conjunto la iglesia y dependencias militares.
La ciudadela no solo protegía, sino que también organizaba la vida de la villa en torno a su poder militar y político, convirtiéndose en un símbolo de autoridad que aún hoy domina En suma, uno de los conjuntos defensivos más notables de Extremadura que refleja la compleja historia fronteriza entre España y Portugal.