Cette semaine, on plonge dans les méandres de l’intelligence artificielle avec Olivier Ezratty, expert en IA et en technologies quantiques, à l’occasion de la publication de son e-book sur les usages de l’IA. On vous résume 742 pages en quelques lignes pour tout savoir sur les dernières évolutions de technologies ou d’usages. Allez, c’est cadeau !
Un défi : pourriez-vous résumer votre e-book en quelques phrases ?
C’est un gros défi ! Mon procédé est souvent de mettre à jour mes livres. Cette année, j’ai ajouté environ une centaine de pages par rapport à la version précédente, qui font l’état des lieux des évolutions technologiques et d’usages autour de l’IA.
Pour vraiment résumer, les évolutions constatées dernièrement ont surtout concerné les technologies et les processeurs, mais on distingue également des progrès notables dans la maîtrise des projets, notamment au niveau de la préparation des données d’entraînement. Ils permettent d’accélérer les projets de machine learning.
Quelles évolutions de l’IA avez-vous pu constater depuis votre dernière publication en 2019 ?
J’ai constaté plusieurs types d’évolutions :
- Évolutions technologiques : En premier lieu, il y a eu des évolutions technologiques de l’intelligence artificielle avec une amélioration significative des outils de traitement de langage grâce, notamment, à la sortie du GPT3 en juillet 2020, les variantes de ces réseaux de neurones, qui ont étendu drastiquement le champ des possibles en matière de traitement et génération de texte. Il y a eu des évolutions équivalentes en termes de traitement de l’image.
- Évolutions de processeurs : J’ai également noté une évolution remarquable des processeurs dédiés aux applications de l’IA. Il y a eu beaucoup d’annonces en 2020 sur le marché des processeurs notamment sur Intel avec son acquisition d’Habana fin 2019, Nvidia avec ses nouveaux GPGPU A100 annoncés en mai 2020, ou encore Graphcore et ses processeurs MK2
- Évolutions d’usages : Les usages ont, quant à eux, peu changé. Les scénarios sont souvent les mêmes puisque nous sommes en phase de maturation du marché. Nous allons donc trouver les mêmes applications : Machine Learning, Deep Learning, traitement de langage, vision artificielle…
Actuellement, les acteurs de l’IA sont surtout en phase de déploiement de leurs solutions. En revanche, les problématiques sont plus opérationnelles et concernent surtout la manière de garantir la qualité des données, d’éviter les biais des données d’entraînement et de protéger la vie privée.
On peut également mentionner quelques nouveautés intéressantes de l’ebook :
- L’IA dans la mer : dans le cadre des transports maritimes, l’IA permet de faire des analyses plus fines des besoins et des délais de livraison, d’optimiser les trajets, et de détecter les anomalies. L’IA aide les navigateurs à mieux comprendre les dynamiques maritimes et océaniques. La robotisation également prend son essor dans le milieu maritime et rend certains navires complètement autonomes, sans la nécessité de faire appel à un équipage.
- L’IA dans le cadre de la covid : les bénéfices de l’IA ont été sporadiques sur de nombreux cas d’usage, il n’y a pas eu la grande révolution attendue de ce côté. Malgré tout, de nombreux outils à base d’IA ont permis de résoudre des problématiques très pragmatiques comme faire du reciblage thérapeutique de médicaments, d’aider à trouver les vaccins ou d’optimiser la logistique des systèmes hospitaliers dans certains pays.
Vous avez décelé deux grandes limites à l’IA, quelles sont-elles ? Comment résoudre ces biais ?
J’ai remarqué qu’un amalgame était fait en matière de biais de l’IA : nombreux sont ceux qui pensent que les biais de l’intelligence artificielle proviennent des algorithmes alors qu’en réalité, ces biais trouvent leurs principales racines dans les données d’entraînement elles-mêmes, qui reflètent tout simplement les biais de nos sociétés. Les règles des algorithmes sont somme-toutes assez neutres, en règle générale. En revanche, des algorithmes peuvent être utilisés pour débiaiser les données d’entraînement en augmentant la proportion des groupes sous-représentés. Par exemple, si nous avons une base de données qui reproduit les biais de la société (pas assez de femmes, pas assez de minorités, biais socio-démographiques divers, …), l’algorithme peut augmenter la part des catégories jugées trop faibles par souci d’équité.
L’enjeu, pour les sociétés qui utilisent des outils de classification et de prédiction, est de détecter le plus en amont possible les biais de la société pour résoudre les biais des données grâce à des algorithmes de rééquilibrage, ou bien en changeant l’échantillon de la base d’entraînement. C’est une question de social science.
C’est d’ailleurs pourquoi il est essentiel de porter ce type de réflexion sur les IA génératives. Ces dernières se trouvent dans les contenus visuels ou textuels, et sont capables de générer elles-mêmes des contenus (scénarios, films, poèmes, textes…). Elles n’inventent rien réellement puisqu’elles créent toujours une information qui est une reconstruction faite à partir de données existantes, principalement d’origine humaine. Elles font un mélange de données existantes, ni plus, ni moins.
En quoi c’est un problème ?
C’est un problème dans la mesure où l’IA va reproduire de manière automatique les biais sociétaux, qui seront perpétuellement reproduits. Tous les jours, les systèmes d’IA sont basés sur des données partielles ou des extrapolations, et donnent donc de mauvais résultats. C’est la bêtise de l’IA et cela peut avoir des conséquences désastreuses sur la vie des individus.
Si par exemple, on considère un système entraîné à proposer des filières d’études supérieures en fonction de l’existant. Un élève X vivant à Neuilly aurait plus de chances de réussir qu’un élève Y habitant dans le 93, indépendamment des résultats scolaires, uniquement parce que l’IA considère que le lieu d’habitation est déterminant dans la réussite scolaire. C’est la fameuse confusion entre corrélation et causalité.
Un exemple plus concret ayant eu lieu fin 2018 chez Amazon concerne les biais de genres. Amazon avait mis un système de Deep Learning permettant d’analyser les CVs des candidats, qui sélectionnait les profils ayant le plus de mots possible correspondant à la fiche de poste tout en tenant compte des caractéristiques socio-démographiques. Ce système avait été mis en place pour recruter des profils tech, et les femmes ne représentaient que 5% de la base de données d’entraînement, ce qui s’est automatiquement répercuté dans la réalité. En effet, l’algorithme avait tendance à défavoriser les femmes qui postulaient à ce type de postes bien qu’elles aient les mêmes compétences que les hommes. Il y avait donc un biais issu de la donnée d’entraînement. Cela peut être intégré et corrigé par les Data Scientists en tenant compte des mécanismes probabilistes mis en place par les systèmes de Machine Learning.
La solution pour ce genre de modèle réside en la surpondération de la catégorie sous-représentée, ou l’augmentation de la part en pourcentage de cette catégorie dans la base d’entraînement. Il s’agirait de faire de la discrimination positive.
Parmi toutes les formes d’IA que vous avez citées (algorithmes évolutionnaires, représentation des connaissances, IA affective, transfer learning), quelle est la forme la plus complexe, et donc la plus récente ? Comment celle-ci fonctionne-t-elle concrètement ?
J’ai encore du mal à bien comprendre le fonctionnement des algorithmes de traitement de langage les plus récents, les transformers. Il s’agit de systèmes de réseaux de neurones de Deep Learning capables de mettre en œuvre ce qu’on appelle la compositionnalité, c’est-à-dire, de traiter du texte avec une très bonne compréhension de son contexte. C’est une solution révolutionnaire pour la traduction, la classification ou la génération de texte à partir d’un existant. Même si ces systèmes restent dans une approche probabiliste du texte, les progrès sont significatifs. Toutefois, ces applications sont encore artisanales dans le sens où elles assemblent plusieurs briques interconnectées. Il est encore difficile d’expliquer les résultats. C’est donc assez difficile à appréhender d’autant plus que cela évolue très vite. En effet, chaque année, il y a plus de cinquante nouveaux réseaux de neurones – de type Deep Learning – qui apparaissent.
Ces systèmes ont cependant encore de grosses limites. Par exemple, le service de traduction en ligne DeepL d’origine allemande, produit de belles traductions grammaticalement correctes, du français en anglais. Mais l’anglais résultant n’est pas idiomatique. On voit à dix kilomètres que c’est du français traduit en anglais et pas un phrasé un english-native.
Le Machine Learning de base travaillant sur des données structurées n’a pas cette composante de mystère : il est plus codé, plus segmenté, il repose sur des modèles mathématiques plus connus et plus anciens, ce qui permet de mieux le comprendre et d’en expliquer les résultats.
Quelles évolutions du deep learning allons-nous vivre dans les prochaines années ?
À mon sens, deux vagues de l’IA se préparent : l’une vise à corriger les défauts des IA actuelles, l’autre reposera sur des IA fonctionnellement améliorées.
Cette première vague d’IA corrective est déjà en marche. On y retrouvera la notion d’IA frugale, car nous savons que l’IA consomme beaucoup d’énergie, tout particulièrement dans les objets. Beaucoup de travaux de recherche sont en cours visant ainsi à réduire la taille des jeux d’entraînement et faire en sorte d’utiliser moins de données pour le même résultat. D’autres travaux reposent sur le mécanisme de quantisation permettant de réduire le temps de calcul lorsque nous utilisons une IA entraînée. Ce mécanisme est basé sur la manipulation de nombres entiers plutôt que de nombres flottants. Enfin, l’amélioration des processeurs permettra également d’optimiser la consommation d’énergie.
Le deuxième élément de l’IA corrigée est lié au biais des données qu’il reste à résoudre. Le troisième élément, quant à lui, concerne la protection de la vie privée. Une technique promue par Google en 2017 s’est largement répandue en 2019 et 2020, appelée Federated Learning, et consiste à faire en sorte qu’une IA réagisse aux situations liées aux données personnelles pour entraîner une IA centrale, mais sans que ces données personnelles soient envoyées à Google. Un exemple concret très répandu est fourni par Google avec sa fonction de pré-remplissage des mails à la place des utilisateurs.
La deuxième vague sera une vague d’IA améliorée, par opposition à l’IA corrigée. Dans ce cadre, beaucoup de startups et de développeurs travaillent sur l’IA mythique dite AGI (artificial general intelligence). C’est une intelligence artificielle qui raisonnerait de manière générale comme l’Homme, et serait donc capable de résoudre n’importe quel problème de la même manière, voire mieux. Cela relève du mythe car je ne suis pas sûr que l’on puisse reproduire cela techniquement. Par ailleurs, les experts travaillant sur le sujet ne définissent pas vraiment les usages que l’on pourrait en faire.
Cependant, nous serons surpris dans les prochaines années sur les sujets de traitement de l’image et du langage, car en effet, les innovateurs n’ont pas encore donné le meilleur d’eux-mêmes. Beaucoup d’innovations sont à prévoir surtout en termes d’usage : l’idée n’est pas tant de révolutionner les techniques, mais surtout de savoir comment assembler celles-ci pour améliorer les usages existants. C’est pourquoi les IA d’analyse d’images vont pouvoir particulièrement nous aider dans le secteur de la recherche ou encore les IA qui nous aident sur le partage de la connaissance. En effet, de nombreux outils n’utilisent pas encore l’IA dans le partage de connaissances. Par exemple, aujourd’hui, quand nous posons une question à Google, celui-ci répond avec des URLs, mais il serait judicieux que l’outil agrège les informations en une seule page. Cela permettrait de gagner du temps. Aujourd’hui cette solution n’existe pas, et ce décalage est fortement lié à la manière dont l’innovation fonctionne : d’un côté se trouvent les technologies, et de l’autre les usages, mais il est parfois difficile de mixer les deux. S’il n’y a pas de logique économique à le faire, dans ce cas, il n’y a pas vraiment d’intérêt à trouver de nouvelles solutions.
En m’intéressant à l’histoire de l’informatique, j’ai été fasciné par la manière dont les chercheurs ont travaillé sur la création des premiers ordinateurs graphiques et de la souris que nous utilisons aujourd’hui. Ces chercheurs ont conceptualisé les choses dans les années soixante et ce n’est que vingt ans plus tard que le matériel a vu le jour. Il a fallu onze ans de travail entre le premier ordinateur graphique créé par Xerox en 1973 (le Alto) et les premiers Macintosh d’Apple. Les cycles de création sont très longs, mais les chercheurs et innovateurs ont fait preuve d’une créativité phénoménale. C’est pourquoi je pense qu’il en va de même pour l’intelligence artificielle : les innovateurs trouveront des solutions astucieuses qui révolutionneront les usages de cette technologie.
À quoi va ressembler l’IA de 2030 ? Faut-il envisager de nouvelles législations ? De nouvelles formes d’IA ?
Oui, il y aura des législations. Pour le reste, nous n’en savons rien ! Comment peut-on prédire ce que les individus feront dans 10 ans ?
Une chose est sûre, il y aura toujours plus de données. Mais il est très difficile de prévoir comment vont évoluer les algorithmes. Elon Musk disait “On attendait des voitures volantes, et on a eu Twitter”. Il y a toujours un décalage entre les attentes et la réalité. Il est très probable que beaucoup d’innovations seront dans ce cas de figure et plutôt inattendues et pas forcément si sophistiquées que cela d’un point de vue technologique.
J’aimerais citer l’exemple de GPT3, il s’agit d’un moteur de deep learning de traitement de langage créé par la société américaine OpenAI, au départ lancé par Elon Musk et largement financée par Microsoft plus récemment. Ce GPT3 est principalement entraîné par de l’intelligence humaine puisqu’on y retrouve toutes les données de Wikipédia, de la Bibliothèque du Congrès, et de nombreuses données provenant de sites web. On compte environ 175 milliards de paramètres dans le réseau de neurones. GPT3 permet de générer du texte et du code. C’est une technologie vraiment incroyable, mais elle n’est pas encore incarnée sous la forme d’innovation pratique !
En parallèle, nous avons des logiciels de visioconférence totalement stupides qui ne détectent même pas les micros ouverts ou caméras actives lorsqu’on se connecte à une réunion en ligne. C’est avant tout une question d’humain derrière les technologies. Certains font preuve de créativité tandis que certains vont chercher la facilité. Les différents soucis que nous pouvons rencontrer proviennent tout simplement d’un manque d’anticipation de certains développeurs.
Le paradoxe est que l’IA évolue de manière très sophistiquée pour répondre à des problèmes toujours plus complexes, mais certains problèmes basiques ne sont toujours pas résolus. Cela montre bien le gouffre qu’il y a entre la science et les usages de tous les jours. J’aimerais que les deux se rapprochent.
J’espère aussi que le monde de demain sera un monde où nous pourrons voir des gens ! La technologie nous permet bien évidemment de rester en contact malgré le contexte, mais parfois trop de numérique tue le numérique.
Olivier Ezratty conseille les entreprises pour l’adoption des deep techs dans leurs stratégies d’innovation, notamment autour de l’intelligence artificielle et de l’informatique quantique.
Auteur, conférencier et formateur, il est notamment l’auteur de l’ebook « Les usages de l’intelligence artificielle » (éditions en 2016, 2017, 2018, 2019 et 2021) ainsi que “Comprendre l’informatique quantique” (éditions en 2018, 2019 et 2020). Il est formateur sur l’intelligence artificielle et l’informatique quantique chez Cap Gemini Institut, membre du Conseil Scientifique de l’ARCEP ainsi qu’intervenant et expert référent à l’IHEDN (promotion 2019/2020).
Olivier Ezratty a démarré en 1985 comme ingénieur logiciel et responsable de R&D dans l’informatique éditoriale chez Sogitec, une filiale du groupe Dassault, puis fait ses armes dans le marketing chez Microsoft France pour en devenir le Directeur Marketing et Communication et le Directeur des Relations Développeurs (1990-2005). Il est ingénieur Centrale Paris (CentraleSupelec depuis 2015).
