ويقول مولاي إسماعيل العلوي إن ما بصم ذاكرته خلال فترة الاستعمار هو الاضطرابات التي وقعت قبل تقديم وثيقة المطالبة بالاستقلال في 11 يناير 1944، متذكرا أن الجيش الفرنسي الذي قام آنذاك بقمع المظاهرات التي اندلعت في عدد من المدن المغربية قرر أن يحتل بعض المنازل داخل المدينة العتيقة لسلا ومن بينها منزل عائلة مولاي إسماعيل العلوي حيث اعتلوا سطح المنزل لمراقبة الحي برمته.
ويحكي مولاي إسماعيل: «هؤلاء الجنود كانوا لا يحترمون عادات وتقاليد المنازل.. وهذه المشاهد علقت في ذهني وعمري لا يتجاوز الأربع سنوات».
كما سرد تفاصيل أول لقاء له مع المغفور له الملك محمد الخامس والذي حل بمنزل والد مولاي إسماعيل العلوي بسلا سنة 1947، مضيفا: «كان لي الشرف إلقاء كلمة الترحيب أمام الراحل الملك محمد الخامس قمت آنذاك بأداء أغنية ترحيبية. ثم بعد ذلك في سنة 1948 كان لي فرصة لقاء الراحل الملك الحسن الثاني عندما كان وليا للعهد حيث ألقيت كلمة بالمناسبة وأتذكر أني كنت ألحن كثيرا وكان ولي العهد يصحح لي الكلمات».
