La historia del edificio que hasta hoy viene ocupando el Centro Andaluz de Documentación del Flamenco tiene la riqueza y la complejidad de las grandes y viejas casas de la ciudad. Su aspecto actual, básicamente dieciochesco, no nos debe hacer olvidar unos orígenes muy anteriores. Dos han sido los historiadores del arte que han aportado datos sobre él: Hipólito Sancho hace mucho, en 1929, y Fernando Aroca en fechas recientes. Cada uno se preocupó por dos etapas muy distintas de su construcción. El primero nos habló de sus inicios en la segunda mitad del siglo XV bajo los auspicios del más antiguo de sus propietarios, Alvar López de Hinojosa "El Viejo", uno de los personajes más poderosos del convulso Jerez de las banderías. Aquél que dejaría los escudos de sus apellidos pintados en el alfarje o delicado techo mudéjar que cubre el zaguán de entrada, único resto visible de su primitiva estructura medieval. El segundo, por su parte, ha aportado datos sobre el promotor y cronología de la intensa reforma del siglo XVIII. En concreto, estamos hablando de Agustín Pío de Villavicencio y de su reconstrucción entre 1773 y 1776. La que pasa a convertirse en vivienda de los Marqueses de la Mesa de Asta se dota entonces de una fachada monumental a la plaza de San Juan y ve levantarse o rehacerse el patio y la escalera principales. Una búsqueda de amplias perspectivas exteriores y suntuosos patios de vistosas arquerías en los interiores en la que se respira semejante espíritu al que había animado por esos años a edificar los palacios Bertemati y Domecq. Ya en el siglo XX vendrían sus etapas bajo la propiedad de los Pemartín y bajo el dominio público, ése que ahora siembra la duda sobre su futuro, despreciando toda esa rica y compleja historia y sumergiéndolo en el lóbrego limbo de las víctimas de triquiñuelas y desatinos políticos.