Del Palacio de los Vélez se conserva parte de la fachada y escudos nobiliarias, así como una fuente. Perteneció a una importante familia de la ciudad y se ubica a espaldas de la Catedral de Jaén, paralelo al Palacio de los Cobaleda Nicuesa. En él se ubica la leyenda de una mujer emparedada (ver leyenda del Palacio de los Vélez), y actualmente es sede del Colegio Oficial de Arquitectos. Es fama también que en él habita el fantasma de una mujer.