El palacio fue construido por el conquistador Francisco de Godoy con el oro de los tesoros peruanos, principalmente del tempo de Pachacámac.

En su obra intervinieron Juan Alvarez, Jerónimo Gómez, Pedro de Marquina y Juan Díaz Periáñez.