Edificación de interés histórico artístico, el Palacio de los Guzmanes (siglos XVII-XVIII, hoy colegio mayor del Buen Aire, residencia universitaria). Se halla sobre un campamento militar romano (castra), en torno al cual se agrupaban algunas viviendas.

Durante la dominación musulmana, Castalla se convierte en una alquería cuyos inquilinos cultivan las tierras circundantes, aunque mantiene la función estratégica por su posición elevada, como atalaya natural para prevenir posibles ataques normandos o castellanos. El temible caudillo Almanzor llega a hospedarse de manera eventual en algún palacio ubicado en el mismo emplazamiento ocupado más tarde por los marqueses de Castilleja. Tras su conquista cristiana en tiempos del rey Fernando III el Santo (1.248), la localidad pertenece a la Orden Militar de Alcántara, de la que se independiza durante el siglo XIV. Durante varios siglos vive bajo la jurisdicción de los Guzmanes (que le proporcionan su actual apellido) hasta la disolución de los señoríos en el siglo XIX.

Magnífico edificio del Siglo XVIII, de estilo regionalista con tintes neo-clásicos. Destacan su patio neo mudéjar, capilla y biblioteca. Restaurado a principios del siglo XX, con nuevas intervenciones en la década de los 40, dispone de un extenso jardín escalonado de 26.000 metros cuadrados, que fue diseñado por el arquitecto paisajista francés J.C.N. Forestier, y construido bajo su dirección a finales de los años 20.

El colegio Mayor se encuentra en terrenos que pertenecieron a la antigua hacienda de la Divina Pastora, conocida también como hacienda de Montelirio, que ocupaba antiguamente 270 hectáreas de extensión dedicadas al cultivo del olivo. En 1765 los condes de Montelirio compraron la finca, que disponía de una casa principal y un espacio destinado a jardín. Después, la hacienda pasó a ser propiedad de Doña Juana Nepomuceno Manuel de Villena, para ser comprada más tarde para ampliar sus propiedades por D. Francisco Rodríguez de Rivas y García de Tejada, futuro primer conde de Castilleja de Guzmán.

A principios del siglo XX, D. Joaquín Rodríguez de Rivas y de la Gándara, II conde de Castilleja de Guzmán, ordenó obras de reforma y ampliación del edificio, así como la ejecución de un jardín, ya que aunque la Hacienda poseía algunas construcciones destinadas a la obtención de aceite, no tenía una edificación digna que pudiera ser destinada a residencia permanente.

Se encargaron las obras del edificio, que dieron comienzo en 1929, al arquitecto G. Lupiañez Gely. En 1933, los hermanos D. Manuel y Antonio Lissen Hidalgo compraron la finca para seguir la explotación de sus olivares. Pero después la ofrecieron a la “Junta de Utilización de inmuebles” en 1937, que la entregará más tarde al Ayuntamiento de Sevilla, para que se dedicara al centro de educación infantil San Fernando, pero se desconoce si se realizaron algunas actuaciones en el jardín. En 1943 el ayuntamiento decidió ceder la casa y el jardín al Ministerio de Educación Nacional para que lo destinase a Residencia de Estudiantes Hispano-Americanos.