Jean-Jacques URBAN-GALINDO  –  septembre 2024

Les prouesses des outils d’analyse des langages LLM 

Depuis quelques trimestres nous sommes témoins d’une vague enthousiaste pour les résultats fournis par des outils d’IA à base de réseaux de neurones d’analyse des textes. 

Ils sont regroupés sous l’acronyme LLM (Large Langage Models) et proposent, à partir d’un apprentissage s’appuyant sur les contenus d’internet, des mécanismes permettant de proposer des compléments de mots, de phrases à partir des probabilités conditionnelles telles qu’elles ont été extraites des documents sources. 

ChatGPT, lancé par la statup OpenAI a été mis à disposition et a fourni des résultats spectaculaires de phrases remarquablement rédigées donnant l’impression d’un vrai dialogue. D’autres éditeurs se sont lancés dans l’aventure et ils se livrent une compétition farouche en comparant les résultats fournis.

Des investissements colossaux sont annoncés, il est question de dizaines de milliards de $, dans des centres de traitement mettant en œuvre des centaines de milliers de processeurs du fabricant NVIDIA. 

Celui-ci a un quasi monopole sur ces puces initialement conçues pour les processeurs graphiques qui se trouvent être particulièrement adaptées aux calculs massifs permettant de calculer les centaines de millions, les milliards de paramètres mis en jeu par les algorithmes d’apprentissage. 

Le fabricant de puces utilisées pour « apprendre » des multitudes de textes disponibles sur internet a été propulsé comme une valeur majeure, comme les autres « grands » de la Tech. Son cours de bourse a bondi.

Des interrogations sur l’approche 

Alors que certains imaginent développer une Intelligence Artificielle Générale pouvant remplacer l’intelligence humaine et même la dépasser, avec des conséquences massives sur l’emploi et, peut-être, l’équilibre de nos sociétés, d’autres sont plus modérés et interrogent. 

L’approche probabiliste à partir de « morceaux de mots », les « tokens » est-elle pertinente ? 

Il semble bien que ces applications se comportent comme des « perroquets stochastiques » et que la compréhension du « sens » des mots, des phrases ne soit pas encore à leur portée.

Les mécanismes d’enchainement de propositions logiques, même assez élémentaires, se heurtent aussi à des obstacles qui semblent très difficiles à surmonter. Les quelques succès se ramènent souvent à des imitations de cas déjà résolus. 

Des réponses aberrantes sont fréquentes, il arrive qu’elles soient «fausses », des citations sont inventées, on parle parfois d’hallucinations difficiles à détecter par celui qui n’a pas une bonne idée du plausible. 

Le montage « économique » est-il viable ?

Des dépenses considérables sont envisagées, des espoirs de gains sont avancés, notamment par des organisations qui tireront avantage d’investissements dans ce domaine.

Des bilans de réalisations ne sont pas à la hauteur des dépenses engagées et envisagées. Dès lors il est légitime de s’interroger sur une éventuelle « bulle », nous en avons connu.

Après des montées spectaculaires des actions dont NVIDIA qui a crevé les plafonds un repli des big techs a été observé après plusieurs articles qui commencent à mettre en doute les perspectives florissantes propagées par les médias

D’autre part les consommations électriques considérables soulèvent de vraies questions

Conclusion

Il est de plus en plus probable que les moteurs neuronaux ne permettront pas le développement d’une IA « générale » et qu’un couplage avec l’IA « symbolique » sera  nécessaire.

La messe n’est pas dite et l’école française avec ce qui lui reste de mathématiciens brillants a, peut-être une carte originale à jouer

On ne peut que recommander lucidité et prudence, prendre connaissance de cet article 

https://www.linkedin.com/posts/georgzoeller_the-irony-is-biting-it-appears-a-random-ugcPost-7238544841243029504-WKq9?

dont j’extrais cette recommandation : 

« The ONE thing EVERYONE can and should do Stop and reflect »