بعد التحاقه بمدرسة ابتدائية ثنائية اللغة (عربية-فرنسية)، درس في المدرسة الثانوية الفرنسية بطنجة حتى سن الثامنة عشرة، ثم تابع دراساته الفلسفية في جامعة محمد الخامس بالرباط، حيث كتب أولى قصائده - التي جُمعت في ديوان "رجال تحت كفن الصمت" (1971). ثم درّس الفلسفة في المغرب. ومع ذلك، في عام 1971، بعد تعريب تدريس الفلسفة، اضطر إلى المغادرة إلى فرنسا، لأنه لم يكن مؤهلاً للتدريس باللغة العربية. استقر في باريس لمواصلة دراسته في علم النفس.

ومنذ عام 1972 فصاعدًا، كتب العديد من المقالات لصحيفة "لوموند" اليومية. وفي عام 1975، حصل على درجة الدكتوراه في الطب النفسي الاجتماعي. واستندت كتاباته لاحقًا إلى خبرته كمعالج نفسي (الحبس الانفرادي، 1976). وفي عام 1985، نشر رواية "طفل الرمل" التي جلبت له الشهرة. فاز بجائزة غونكور عام ١٩٨٧ عن روايته "الليلة المقدسة"، وهي تكملة لرواية "طفل الرمال". في أكتوبر ٢٠١٣، شارك في مؤتمر هام بمجلس الشيوخ الفرنسي في باريس حول الإسلام التنويري مع مالك شبل، ورضا، وأوليفييه فيبر، وعبد القادر جمعي، وجيل كيبيل، وبرمك أكرم. يعيش الطاهر بن جلون حاليًا في طنجة مع زوجته وأطفاله (مريم، وإسمان، ويانيس، وأمين)، الذين ألّف لهم العديد من الكتب التربوية (العنصرية الموضحة لابنتي، ١٩٩٨). يُدعى بانتظام لإلقاء محاضرات في المدارس والجامعات في المغرب وفرنسا وأوروبا.