Es el palacio urbano más singular de Trujillo, construido en la década 1560/1570 por mandato de Hernando de Pizarro y su esposa Francisca Pizarro, hija del Conquistador del Perú. Hernando de Pizarro era hermano de Francisco, Juan y Gonzalo Pizarro; aunque a diferencia de los anteriores fue hijo legítimo del capitán de los tercios, Gonzalo Pizarro el Largo. En 1734, Manuel de Lara Churriguera se ocupó de la reconstrucción del edificio, reforzando su planta baja.
Lo más característico es un balcón de esquina, bello ejemplar renacentista, que se abre con dos pares de columnas abalaustradas de corte plateresco en cuyos intercolumnios aparecen los bustos de Francisco Pizarro, Yupanqui Huaynas, Hernando Pizarro y Francisca Pizarro. Tiene también el gran escudo de armas otorgado a Francisco Pizarro en 1537 por Carlos I.