Se construyó en el siglo XVI, por el Virrey del Perú Don Fernando de Torres y Portugal. En el siglo XVII pasó a ser Hospicio, función que mantuvo durante muchos años y por lo cual en 1902 se le añade una pequeña iglesia bajo la advocación de La Visitación.
Por su bello patio se accede a los Baños Árabes que se encuentran bajo este palacio.
Todo el conjunto fue declarado Monumento Histórico Artístico en 1931.
Actualmente alberga el Museo de Artes y Costumbres Populares, y el Mueso de Arte Naif
.