Palacio Cabo de Armería conocido también como Casa de las Torres, es el edificio barroco más monumental de la villa, que fue mandado erigir por el mirandés don Juan Vizcaíno y Vizcaíno, Caballero de la Orden de Santiago y alcalde de la villa, a finales del siglo XVII, el cual dispuso en su testamento que la mansión acogiera a una orden religiosa femenina.
Comenzó las obras en 1695 el maestro cantero Bautista Zabala, que levantó las paredes maestras según las trazas dadas por el propio Vizcaino, siendo tasada su labor meses más tarde por Juan de Larrea y Bernardo de Larrezábal, maestros de obras, y Francisco Ortiz, maestro carpintero, en más de 80.000 reales. Con posterioridad intervinieron los hermanos canteros Juan y Antonio de Larrea, al tiempo que Francisco Ancheta declaraba sobre el mantenimiento de la obra, prolongándose la misma hasta 1737 en que conocemos a través del último testamento de Vizcaino que el edificio aún no estaba concluido.
El palacio se concibió a la manera de las grandes contrucciones barrocas teniendo en cuenta su enclave urbanístico. En su actual estado presenta tres cuerpos decrecientes en altura flanqueados por robustas torres prismáticas con pilastras cajeadas en los ángulos en ligero resalte, sirviendo de separación entre los cuerpos una volada cornisa y como remate un pretil con balaustres en el lienzo de fachada y con pilarcillos cajeados en las torres. Estos últimos apoyan en ménsulas y los de las esquinas son volutas.
El cuerpo bajo está labrado con buenos sillares de piedra arenisca y en el resto se combinan los paramentos de ladrillo con el sillar de los ángulos y encuadres. Todos los vanos son dinteles que se distribuyen simétricamente al tiempo que disminuyen de tamaño en altura.
El lienzo principal de la fachada, limitado por las torres, está dividido en tres calles de desigual anchura -más amplia la del centro- por parejas de columnas salomónicas sobre las que monta en la culminación un pequeño frontón mixtilíneo, roto, envuelto en volutas y con remate esférico en su centro. En esta calle se superponen en altura la puerta de ingreso y el balcón principal, ambos con aparatosos baquetones quebrados, y sobre ellos, rompiendo la línea de la balaustrada del remate, se incorpora un monumental escudo de los Vizcaíno en el centro de una guirnalda compuesta a base de trofeos militares sobre un bajel.
Ha sido restaurado recientemente y se utiliza como Ayuntamiento de la localidad.