شُيدت Kasbah El Allia، المعروفة أيضاً باسم دار السلطان، في العهد الموحدي، وهي تمثل بحد ذاتها ذاكرة مدينة آسفي لأكثر من ثمانية قرون. هذا الصرح المهيب الذي أدى في البداية وظيفة عسكرية قبل أن يصبح اليوم معلماً ثقافياً، تأسس بالفعل في نهاية القرن الثاني عشر على تلة، وفق منظور هندسي مربع. وقد بُني هذا المعلم الذي يضم أربعة أبراج مراقبة بهدف التصدي للغزوات القادمة من الواجهة الأطلسية. وتؤكد وفاء مداح، مسؤولة تفتيش المباني والمعالم التاريخية بالمندوبية الإقليمية لوزارة الثقافة، أن بناءه ساهم بشكل كبير في نشأة مدينة آسفي، مشيرة إلى أنه رغم الأضرار التي لحقت بأسواره من قبل الجيش البرتغالي، استمرت هذه القلعة في أداء دورها العسكري بفعالية حتى النصف الثاني من القرن الثالث عشر في العهد المريني. وفي القرن السادس عشر، وتحت «الاحتلال البرتغالي، تم تحويل المبنى ليعمل كثكنة بسور جديد وبرجين فقط بدلاً من أربعة»، يوضح عالم الآثار سعيد شمسي، مشيراً إلى أن الأبراج التي كانت تأوي مدافع برونزية، صُممت لتغطية اتجاهي الشمال الشرقي والجنوب الشرقي، وذلك للتصدي لهجمات السعديين خلال فترة احتلالهم التي دامت أكثر من 33 عاماً. وفي الجزء المطل على الأطلسي، بنى البرتغاليون Kasbah Basse المعروفة أيضاً باسم «قصر البحر»، وهو مبنى قريب من دار السلطان ويحتاج اليوم إلى عملية ترميم عاجلة بسبب حالة التآكل التي تهدد سلامته. ولن تتوقف التحولات عند هذا الحد، حيث سيقوم السعديون بإجراء تعديلات داخل دار السلطان وتزويدها بإسطبل ودار للضيافة ومرافق أخرى مخصصة لوظائف إدارية. وفي قمة الأبراج، وضعوا مدافع صُنعت في هولندا. وخلال هذه الفترة، وتحديداً في عهد السلطان مولاي زيدان، أصبحت مدينة آسفي منصة تجارية ودبلوماسية. وتأكد الاهتمام بدار السلطان أكثر خلال العهد العلوي ببناء دار الباهية، وهي إقامة أصبحت مع مرور الوقت مقراً مفضلاً للسلاطين العلويين، مما أعلن نهاية وظيفتها العسكرية. وفي عهد الحماية، خضعت دار السلطان، التي صُنفت كمعلمة وطنية وأصبحت مقراً للمراقب العام في المنطقة، لبعض التعديلات الطفيفة مع الحفاظ على مظهرها الخارجي، وذلك ببناء بعض المرافق الإدارية ومحكمة وأبراج بالإضافة إلى منزل على الطراز المغربي الأصيل.