Construida en la época de los almohades, la Kasbah El Allia, llamada también Dar Soltane, representa por sí sola la memoria de la ciudad de Safi durante más de ocho siglos. Este imponente edificio, que cumplió al principio una función militar antes de convertirse hoy en un templo cultural, fue fundado hacia finales del siglo XII sobre una colina, según perspectivas geométricas cuadradas. La obra, que dispone de cuatro torres de observación, fue construida con el fin de hacer frente a las invasiones desde la fachada atlántica. Su construcción contribuirá en gran medida al nacimiento de la ciudad de Safi, como señala Wafaâ Madah, responsable de la inspección de edificios y monumentos históricos en la delegación provincial del Ministerio de Cultura, quien indica que, a pesar de los daños causados en su muralla y su recinto por el ejército portugués, esta ciudadela continuó cumpliendo eficazmente su papel militar hasta la segunda mitad del siglo XIII, en la época de los meriníes. En el siglo XVI, bajo la «ocupación portuguesa, el edificio será transformado para servir de cuartel con una nueva muralla y solo dos torres en lugar de las cuatro anteriores», indica el arqueólogo Said Chemsi, explicando que las torres que albergaban cañones de bronce fueron edificadas de manera que cubrieran las direcciones noreste y sureste, para hacer frente a los ataques de los saadíes durante su periodo de ocupación, de más de 33 años. En la parte que da al Atlántico, los portugueses construyeron la Kasbah Baja, llamada también «Ksar Al Bahr», un edificio cercano a Dar Soltane que necesita hoy una operación urgente de restauración debido al estado de desgaste que amenaza su integridad. Las transformaciones no se detendrán ahí, ya que los saadíes procederán a realizar acondicionamientos en el interior de Dar Soltane, al que dotarán de una cuadra, una casa de huéspedes y otros locales dedicados a funciones administrativas. En la cima de las torres, colocarán cañones fabricados en los Países Bajos. Durante este periodo, exactamente durante el reinado del sultán Moulay Zaidane, la ciudad de Safi se convirtió en una plataforma comercial y diplomática. El interés por Dar Soltane se reafirmará aún más durante el reinado de los alauíes al construir en él Dar Al Bahia, una morada que se convirtió con el paso del tiempo en una residencia apreciada por los sultanes alauíes, anunciando así el fin de su vocación militar. En la época del protectorado, Dar Soltane, que será erigido en monumento nacional y servirá de residencia para el controlador general en la región, sufrirá aún algunas pequeñas modificaciones preservando al mismo tiempo su aspecto exterior, con la construcción de algunos locales administrativos, un tribunal, torres, así como una casa en el puro estilo morisco.