El castillo fortaleza de Fregenal fue encomendado a la Orden del Temple en el siglo XIII, fecha en la que aparecen las primeras referencias documentadas sobre el edificio. La orden ocupó el castillo hasta 1308. Al año siguiente, en 1309, en agradecimiento a los servicios prestados al rey durante el asedio de Algeciras, Fregenal es concedido a Gonzalo Sánchez de Troncones, quien mantiene en su poder a la villa hasta su muerte, pasando a partir de entonces al Concejo de Sevilla.

La fortaleza responde a la tipología “castillo de llanura” y está formado por un conjunto de siete torres, destacando entre ellas las torres del Homenaje (que tiene un campanario del siglo XVIII), de Santa María y del Polvorín.

Una vez perdida la función militar del edificio y como medio para encontrar nueva fuente de ingresos para el mantenimiento del culto a la patrona de la ciudad, la Virgen de los Remedios, el Mayordomo de la virgen, D. Matías Sánchez Arjona, recibe la autorización por parte del Concejo Sevillano (propietario del edificio en ese tiempo) para la construcción de la plaza de toros en el interior del castillo, iniciada en el año 1781 y finalizada posiblemente entre los años 1794 y 1795. En 1901, 1904 y 1915 se le practican diversas obras de ensanche y acondicionamiento.

Dentro de la fortaleza también se encuentra la Plaza de Abastos, del año 1915, para cuya construcción, que en un principio estaba fijada en el actual Paseo de la Palma (en la ermita del Santo Cristo), se derribó gran parte de unos de los lienzos de la muralla. El proyecto fue encargado al ingeniero D. Julio Carande y Galán.

Finalmente, adosado al castillo se encuentran la Iglesia de Santa María y la Casa Parroquial.