El palacio tiene planta rectangular y dos pisos. La fachada principal tiene en el piso inferior tres arcos, ligeramente rebajados, sostenidos por pilastras prismáticas que dan acceso al zaguán. El piso superior, separado del anterior por una imposta lisa, tiene cuatro vanos rectangulares, y en el centro un gran escudo de armas del arzobispo fundador rodeado de dos figuras femeninas y resaltado de la cornisa que recorre al edificio. Un frontón partido con pináculos remata el escudo. El palacio está adosado a una casa anterior, probablemente el antiguo solar de los Ibáñez, donde también hay una capilla que está dedicada a San Juan y cuya portada tiene arco de medio punto y frontón, enmarcado en un gran arco adelantado de la fachada. La iglesia se remata con una espadaña de un único vano, decorada con bolas herrerianas. Fue rehabilitado como hotel a finales del siglo XX.