El Juzgado de lo Penal y de lo Social de Algeciras se encuentra en un edificio con mucha historia. La sede de la administración de justicia se ubica en el que fue el palacio de la marquesa de Marzales, una casa señorial, que puede verse en el Paseo Victoria Eugenia, construida por la familia Marzales-Larios entre 1929 y 1930.

La residencia fue un punto de reunión entre la nobleza española y la aristocracia gibraltareña durante tres décadas, dejando de ser el hogar familiar en los años 70. No fue hasta 1990 cuando pasó a ser parte de la administración de justicia de la ciudad, puesto que el Ayuntamiento de Algeciras consiguió la propiedad tras se abandonada y se la cedió al Ministerio de Justicia en dicha fecha.

La conocida como marquesa de Marzales era en realidad María Josefa Fernández de Villavicencio y Crooke. En un primer momento se casó con su primo Carlos Larios, para después hacerlo con Pablo Larios y Sánchez de Piña, con el que tuvo nueve hijos y se trasladó hasta el Campo de Gibraltar, pues este pertenecía a los Larios establecidos en Gibraltar.

La casa-palacio de la marquesa de Marzales también era conocida como la mansión de San Bernardo. Estaba distribuida en dos pisos, con una planta en forma de "U" y un patio central, un estilo andaluz con toques del mudéjar y del barroco.

La fachada principal destaca por su enorme puerta rematada por un tejado a cuatro aguas. Actualmente puede verse sobre esta el letrero en el que se lee "Edificio de los juzgados".

En su interior también se encontraba una torre-mirador que albergaba el dormitorio de los marqueses, un espacio del que podían disfrutar de unas inmejorables vistas de la Bahía y del Peñón. Destaca también una segunda torre con un ático.