La construcción del edificio aprovecha una torre cúbica de tres pisos, que fue remodelada con parapetos cilíndricos. En ella se abren varios ventanales y se le añadieron los escudos, así como un remate en forma de cornisa con gárgolas. A la torre se le adosa un cuerpo horizontal de dos pisos, en cuya fachada se ubica un pórtico de dos arcos escarzanos divididos por una columna, que da paso al zaguán. En la zona Norte se ubica una capilla con bóveda de crucería y motivos heráldicos en las claves. El conjunto se completa con una cerca murada y almenada, en cuyo frente hay una portalada flanqueada por dos cubos cilíndricos almenados con el escudo de armas de los Riva-Herrera y Alvarado. En este palacio se alojó el Duque de Medina-Sidonia, Almirante de la “Armada Invencible”, a su regreso del desastre naval que supuso la aniquilación de la escuadra.