Gebouwd in de tijd van de Almohaden, vertegenwoordigt de Kasbah El Allia, ook wel Dar Soltane genoemd, op zichzelf het geheugen van de stad Safi voor meer dan acht eeuwen. Dit imposante gebouw dat aanvankelijk een militaire functie vervulde voordat het vandaag een culturele tempel werd, werd inderdaad rond het einde van de 12e eeuw op een heuvel gesticht, volgens vierkante geometrische perspectieven. Het bouwwerk dat over vier observatietorens beschikt, werd gebouwd om invasies vanaf de Atlantische kant af te weren. De bouw ervan zal in grote mate bijdragen aan het ontstaan van de stad Safi, zoals opgemerkt door Wafaâ Madah, verantwoordelijke voor de inspectie van gebouwen en historische monumenten bij de provinciale delegatie van het ministerie van Cultuur, die aangeeft dat ondanks de schade aan de muur en de omheining door het Portugese leger, deze citadel zijn militaire rol effectief is blijven vervullen tot in de tweede helft van de 13e eeuw in de tijd van de Meriniden. In de 16e eeuw, onder «Portugese bezetting, zal het gebouw worden getransformeerd om dienst te doen als kazerne met een nieuwe muur en slechts twee torens in plaats van vier voorheen», geeft archeoloog Said Chemsi aan, uitleggend dat de torens die bronzen kanonnen huisvestten, zo werden gebouwd dat ze de richtingen Noordoost en Zuidoost bestreken, en dit om de aanvallen van de Saadiërs tijdens hun bezettingsperiode van meer dan 33 jaar af te weren. In het deel dat uitkijkt op de Atlantische Oceaan bouwden de Portugezen de Kasbah Basse, ook wel «Ksar Al Bahr» genoemd, een gebouw dicht bij Dar Soltane dat vandaag een dringende restauratieoperatie nodig heeft vanwege de staat van slijtage die zijn integriteit bedreigt. De transformaties zullen daar niet stoppen, aangezien de Saadiërs aanpassingen zullen doorvoeren in Dar Soltane, dat zij zullen uitrusten met een stal, een gastenverblijf en andere ruimtes gewijd aan administratieve functies. Op de top van de torens zullen zij kanonnen plaatsen die in Nederland zijn vervaardigd. Tijdens deze periode, precies tijdens het bewind van Sultan Moulay Zaidane, werd de stad Safi een commercieel en diplomatiek platform. De belangstelling voor Dar Soltane zal zich nog meer bevestigen tijdens het bewind van de Alaouieten door er Dar Al Bahia te bouwen, een woning die in de loop der tijd een geliefde residentie werd door de Alaouitische sultans, wat meteen het einde van zijn militaire roeping aankondigde. In de tijd van het protectoraat zal Dar Soltane, dat tot nationaal monument zal worden verheven en dienst zal doen als residentie voor de controleur-generaal in de regio, nog enkele kleine wijzigingen ondergaan terwijl het zijn uiterlijk behoudt, met de bouw van enkele administratieve ruimtes, een rechtbank, torens evenals een huis in de pure Moorse stijl.