La famille Khalef est originaire des environs de Béni Yenni, dans la région de Kabylie. Ses membres étaient impliqués dans le commerce et le transport des voyageurs. Son père et son oncle se sont installés dans la ville de Kénitra, au Maroc, pendant la période coloniale, plusieurs années avant la naissance de Mahieddine (en 1944), et avant lui, son cousin, le moudjahid Abdallah Khalef, surnommé Kasdi Merbah (né en 1938).
Une famille révolutionnaire et nationale par excellence, le frère aîné du défunt, Abdelkader Khalef, a pris en charge la direction du bureau national du tourisme après avoir accompli son devoir révolutionnaire. Il est également considéré comme le président historique et le père spirituel de la Jeunesse de Kabylie, qu'il a dirigée entre 1972 et 1978, posant les bases solides du club le plus titré en Algérie, grâce à son dévouement et son professionnalisme dans la gestion. Il est décédé en mars 1981, à l'âge de 42 ans.
En plus de ses compétences en tant que milieu de terrain exceptionnel, Mahieddine Khalef était également talentueux en handball. Le matin, il pratiquait ce sport avec le club de Kénitra, et l'après-midi, il s'entraînait avec la même équipe, mais cette fois-ci en football.
Après avoir contribué à l’ascension de la Jeunesse sportive de Kabylie en division 1 en 1969, Mahieddine Khalef quitta l’équipe en raison de différends internes pour rejoindre le club de Nasr Hussein Dey, où il joua une seule saison, avant de revenir à son club d’origine. Nasr Hussein Dey reste le seul club qu’il ait rejoint en dehors de la Jeunesse sportive de Kabylie.
Mahieddine Khalef prit sa retraite en tant que joueur assez tôt et décida de se tourner vers l'entraînement, après que son frère, feu Abdelkader Khalef, président du club à l'époque, lui demanda de tenter l’expérience, suite au renvoi de l'entraîneur Abdelrahmane Boubeker à cause des mauvais résultats. Le défunt releva le défi et sauva l’équipe de la relégation, avant de travailler pendant les quatre saisons suivantes en tant qu’assistant des entraîneurs roumains Bobescu et Mongo.
Lors de sa première expérience en tant qu’entraîneur principal, Mohieddine Khalef remporta le doublé championnat et Coupe d’Algérie pour la saison 1976-1977, marquant le début d'une carrière réussie aux côtés de son complice polonais Stefan Zywotko. Ils remportèrent 8 titres de champion, 2 Coupes d’Algérie, la Coupe d'Afrique des clubs champions en 1981 et la Supercoupe d’Afrique en 1982, avant qu'il ne passe le flambeau à son capitaine Ali Fergani en 1990. Il fit son retour en 2000 pour remporter la Coupe de la Confédération CAF aux côtés de Nacer Sandjak.
Le défunt était reconnu pour sa rigueur et son grand sens de la discipline. Il n’hésitait pas à sacrifier des joueurs importants pour maintenir cette discipline, comme en témoigne son écartement du gardien Mehdi Serbah avant la finale de la Coupe d’Algérie 1977, pour des raisons disciplinaires, ou encore son attitude envers le duo Kherichi-Madjani à la veille de la Coupe du Monde 1982 en Espagne.
Il était également connu pour sa capacité à découvrir des talents de football. Pendant ses années à la tête de la Jeunesse sportive de Kabylie, il réussit à intégrer des joueurs inconnus, qui devinrent par la suite des stars du championnat algérien, tels que Daoudi, qu’il recruta de Chelghm El Aid, Rahmouni, découvert à l’Union de la Santé, Sayeb de la Jeunesse de Tiaret, et Djahnit du club de Miliana.
La carrière de Mohieddine Khalef à la tête de la sélection nationale a été contestée et mise en doute par certains anciens joueurs, comme Djamal Tlemçani et surtout Ali Bencheikh, qui l'accusèrent de privilégier des joueurs proches de lui, pendant la Coupe du Monde 1982 en Espagne, comme Fergani et Larbès. Il est important de noter que Khalef avait fait confiance à Bencheikh lors de sa première période à la tête de l’équipe nationale (1979-1980), avant de le réintégrer dans l’équipe à la veille de la Coupe d’Afrique des Nations 1982 en Libye, et de le sélectionner pour le Mondial espagnol, bien qu’il n’ait pas joué lors des qualifications.
Dans ses dernières années, Mahieddine Khalef souffrit de l'isolement et de la maladie (maladie d'Alzheimer). Après avoir vendu la villa qu’il possédait à proximité d’El Biar à Alger, il choisit de vivre seul dans son petit appartement situé à la cité Chaabani. La direction de la Jeunesse de Kabylie a tenté récemment de lui rendre hommage, mais cela n’a pas été possible en raison de la dégradation de sa santé.