Fort de ses longues expériences en tant que chercheur en IA au sein des Télécom, découvrez à travers cette interview, le parcours de Merouane Debbah et la vision qu’il a de l’IA d’aujourd’hui…
Bonjour Merouane et merci d’avoir pu nous accorder un peu de ton temps. Je commencerai par te proposer de te présenter.
Bonjour, je m’appelle Merouane Debbah, je travaille actuellement en tant que Chief Researcher au Technology Innovation Institute d’Abu Dhabi. Et je monte en ce moment un centre autour de l’IA et des télécoms, qui travaille sur tous les domaines transversaux où l’IA est omniprésente.
Il est vrai que j’ai été parmi les seuls, même s’ il y en a eu d’autres, à faire des vas et viens entre monde académique et monde industriel. Après ma thèse, j’ai travaillé pour Motorola, ensuite je suis parti travailler pour un centre de recherche à Vienne en télécommunication qui était financé par Siemens. Après cette expérience je suis revenu au monde académique en prenant un poste à Eurecom (Sophia Antipolis) pendant 4 ans.
Je me suis retrouvé de 2007 à 2014 professeur à Centrale Supélec, puis ensuite je suis devenu directeur de la R&D chez Huawei France de 2014 à 2021 en montant plusieurs centres dont le centre en mathématiques et algorithmiques à Boulogne-Billancourt et le centre Lagrange au centre de Paris.
C’est une bonne question ! L’IA est quelque chose de formidable dans le sens où tu peux y arriver par différents chemins. Tu as des gens qui viennent avec un background mathématique, d’autres avec un background computer science, d’autres electrical engineering et d’autres avec un parcours plus physicien. Dans mon cas, j’étais un ancien élève de l’École Normal Supérieure de Cachan, qu’on appelle maintenant Paris Saclay. Globalement, j’ai évolué rapidement en ayant fait des études entre la physique et les mathématiques.
Par la suite je me suis retrouvé dans la bulle télécom en train d’appliquer des mathématiques pour le dimensionnement des réseaux. J’ai passé la plus grande partie de ma vie, en tout cas au début, à faire le dimensionnement des réseaux 3G, 4G et 5G avec beaucoup de succès d’ailleurs. Je suis considéré aujourd’hui comme un spécialiste de la 5G ! Mais progressivement à partir de 2015, les méthodes mathématiques que j’avais développées, en particulier les matrices aléatoires, avaient eu un impact assez important sur tous les outils qu’on développe aujourd’hui pour la compréhension des outils autour du machine learning.
En même temps, de 2014 à 2021, j’étais responsable d’un grand laboratoire de Huawei que j’avais fondé et sur lequel suite à des développements sur la 5G qu’on avait faits, on m’avait demandé à partir de 2016 de mettre des gens et particulièrement un certain nombre de ressources autour du développement du machine learning dans différents domaines applicatifs pour Huawei.
Le deuxième axe sur lequel j’ai passé beaucoup de temps, c’est la partie computing. Il faut savoir qu’aujourd’hui le nerf de la guerre de l’IA tourne autour de tout ce qui est capacité de calcul. D’ailleurs si on retrace un peu le passé, on verra que l’IA n’est pas quelque chose de nouveau. Et je trouve qu’aujourd’hui, le plus gros progrès qu’on voit autour de l’IA est principalement autour du calcul et pas tant d’un point de vue algorithmique.
La majorité des algorithmes qu’on utilise aujourd’hui sont issus des papiers des années 90. Alors bien sûr il y a des petites améliorations epsilonesques en termes d’amélioration de convergence etc… Mais on n’utilise pas tant que cela les choses très sophistiquées.
Aujourd’hui, la majorité des gens utilisent des GPU et il se trouve que pour faire de l’IA on commence à développer des chipset très spécifiques à des calculs qui sont faits autour de l’IA. J’ai passé quelques années à travailler sur une gamme de chipset de Huawei qui travaillait sur des Neural processing Unit. Une partie de notre travail se focalisait sur l’optimisation des chipsets en particulier avec des problèmes de consommation et de complexité. Le but était de permettre le “Edge AI” et de porter l’intelligence vers les petits objets connectés.
Aujourd’hui, la recherche en IA est clairement un avantage compétitif parmi les différents acteurs. Il faut savoir qu’on est arrivé à un niveau où l’IA est devenue très plug and play avec des plateformes qui existent et des frameworks comme Apache ou MindSpore.
Il faut alors trouver les bons data scientists qui vont savoir ce qu’il faut mettre en entrée et en sortie d’une boîte noire. Une grosse partie de la R&D travaille aujourd’hui principalement à améliorer les algorithmes. On les améliore sur des approches un peu moins data « hungry ». Donc il faut trouver comment faire de l’apprentissage avec très peu de données et il y a une grosse partie des gens de la R&D qui travaille à ça.
Le deuxième axe sur lequel beaucoup de gens se sont lancés, ce sont toutes les techniques d’apprentissages supervisés, puisque pour l’ensemble des données que l’on a, il y a tout un travail de fouille à faire en amont qui est globalement du curage, du nettoyage et du classement des données pour ensuite les labelliser. C’est ce qui coûte le plus cher aux entreprises. Donc aujourd’hui, on essaye de trouver des méthodes assez efficaces de self-supervised ou unsupervised learning.
Le troisième axe sur lequel la R&D joue un rôle très important est la partie consommation. Plus globalement, on voit bien qu’il y a un gros problème au niveau de l’IA : le coût. Typiquement pour les gros modèles de langage qu’on fait aujourd’hui, on parle de millions de dollars pour les entraîner. Donc on imagine bien qu’il est aujourd’hui prohibitif, en termes de coût de faire entrainer des modèles de cette taille plusieurs fois par mois (comme en finance). Ici nous n’avons pas évoqué le coût énergétique de la phase d’entraînement.
Ainsi, un des enjeux de la R&D c’est de développer des modèles d’IA qui réalisent des objectifs utiles à la société sans que les coûts (financier et énergétique) ne soient prohibitifs.
C’est certainement sur les aspects algorithmiques et sur le contexte où on voudrait que l’IA fonctionne un peu plus comme un humain : un brain like computing. Et donc là c’est clair, ce sont toutes les avancées qui se font sur l’axe topologique. À savoir, essayer de mieux comprendre les structures. C’est ce que fait un peu aujourd’hui DeepMind après Alpha Fold. Ils ont commencé à investir beaucoup d’argent sur un domaine sur lequel j’avais, d’ailleurs, lancé beaucoup d’équipes à l’époque à Huawei : les Topos.
Aujourd’hui si tu fais du tir balistique avec de l’IA, tu pourras le faire sans comprendre la gravité, et l’IA ne va jamais te faire découvrir la gravité. La façon dont tu fais aujourd’hui du tir balistique, ce sont des abaques. Tu mets distance/angle et tu vas essayer de découvrir la fonction d’approximation.
Globalement ça marche bien et d’ailleurs les militaires avant Newton faisaient cela. Cependant cela n’a pas permis de comprendre ce qu’était la gravité qui est une “vérité”, invariante par translation ou rotation, cachés dans ces mêmes abaques. Je pense que le temps est venu pour développer des nouvelles méthodes d’apprentissages visant à trouver ces invariants. Il faudrait sortir de cette vision de l’IA comme problème d’optimisation.
Je pense que c’est sur cet axe-là que je passerais le plus de temps si c’est ça que tu me demandais avec bien sûr des impacts sur ce que tu peux faire en terme de calcul qui serait soit du neuromorphic computing ou d’autres axes comme ça.
Ça c’est une bonne question ! Je pense que les gens n’ont jamais compris aujourd’hui l’importance des mathématiques. Autant la physique était la matière phare du XXe siècle avec le nucléaire etc… Autant les mathématiques sont devenus la matière phare du XIe siècle à cause de la logique et de l’intelligence qui est associée à ça.
Bon, ce ne sont pas les mathématiques en elles-mêmes qui vont aboutir à ça, mais le socle mathématique est assez important. Et je pense que particulièrement les mathématiques fondamentales sont importantes. Aujourd’hui on n’a pas mis assez de focus sur ça d’autant plus que cette matière est de plus en plus délaissée. On ne peut pas demander des IA interprétables et éthiques et en même temps avoir moins de personnes qui comprennent les mathématiques derrière les boîtes noires qui s’installent.
Deuxième chose importante, la programmation. De nos jours, il est impossible d’avancer dans sa carrière en IA sans une bonne maîtrise des langages de base que sont le C, le C++ et le Python. Il ne s’agit pas seulement de savoir s’exprimer dans ces langues, mais de comprendre aussi la gestion de la mémoire associée. Ainsi, la bonne combinaison, selon moi, pour faire un bon chercheur en IA, c’est de former une personne avec un socle solide en science fondamentale et de combiner cela avec une formation en software engineering.
Ensuite, quelle est la filière avec laquelle il faut y aller ? Là, je serais un peu moins sectaire. Je pense que n’importe quelle filière qui te donne la possibilité de faire ces deux-là, que ce soit en computer science ou en maths fondamental.
Effectivement, j’ai eu la chance de voir à la fois différentes entreprises entre Alcatel qui est un peu français et Motorola qui est très américain, Siemens qui est européen et Huawei qui est chinois. Et j’ai eu l’occasion de voir les différents environnements dans lesquels la technologie évoluait.
Deuxièmement, j’ai également eu l’occasion de voir beaucoup de gens qui travaillaient avec des mentalités très différentes. Et donc aujourd’hui effectivement il y a à mon sens une grosse possibilité non négligeable d’une fragmentation technologique. La fragmentation technologique a lieu aujourd’hui dans la géopolitique qu’on voit entre un camp plutôt asiatique et un camp plutôt européen/américain en train de bifurquer sur les technologies clés.
La première bien sûr, c’est la 6G sur laquelle on voit aujourd’hui des consortiums qui se montent. On voit se développer des standards très différents sur des technologies clés. Ce n’est pas une bonne chose en termes de développement scientifique car cela divise les efforts des chercheurs. Un standard a un effet de levier important puisque cela facilite le développement technique dans le tissu des PME/ETI. Il est plus facile d’innover pour ces entreprises s’il y a le même standard pour tous les marchés.
Aujourd’hui on voit très nettement que c’est ce qui se passe pour la 6G, mais aussi pour le cas des plateformes d’IA en termes de framework (TensorFlow vs MindSpore). Cela va engendrer des problèmes RH car cela implique le fait de démultiplier les formations. Alors bien sûr, la communauté scientifique fait tout aujourd’hui pour essayer d’aligner les points de vue, pour éviter cette dislocation, mais globalement c’est une tendance de fond qui n’engendre que des perdants.
Suivez nous sur nos réseaux sociaux !
