Conférence réalisée par Alain CAPPY
Mardi 14 janvier 2025
I ORIGINES
- En 1950, Alan Turing, mathématicien cryptologue britannique, publie un article dans Mind, revue philosophique, où il pose la question : est ce que les machines peuvent penser ? Concepteur de l’ordinateur, il explore le problème de l’Intelligence Artificielle et propose une expérience connue sous le nom de test de Turing.
Ce test, inspiré du jeu de l’imitation, consiste à mettre un humain en confrontation avec un ordinateur et un autre humain. Un interrogateur humain pose des questions à deux entités. Les communications se font par écrit. L’objectif est d’évaluer si un ordinateur a la capacité d’imiter un humain.
Pour Turing, si une machine peut reproduire les questions, c’est qu’elle peut penser.
Le film Imitation Game sorti en 2014 est inspiré de la vie du mathématicien.
- Depuis 1950, qu’est-ce que l’on sait de l’IA, comment peut-elle être créée par des systèmes artificiels comme les ordinateurs ?
La grande difficulté, quand on parle de l’IA est de savoir de quoi on parle.
Deux références :
- 2004 : On Intelligence, co-écrit par Jeff Hawkins, homme d’affaires américain, informaticien, neuroscientifique et ingénieur
- 2023 : Intelligence artificielle, intelligence humaine : la double énigme, par Daniel Andler.
Ces ouvrages abordent la question : comment une nouvelle compréhension du cerveau conduira à la création de machines réellement intelligentes ?
II APPROCHES
1ère approche : elle cherche des algorithmes. C’est la voie de l’IA symbolique
2ème approche : elle essaie de reproduire le fonctionnement de la cognition humaine. C’est la voie anthropique, celle qui domine actuellement.
- L’intelligence Artificielle générale.
Dans les années 1950/1970, le but était de faire une Intelligence Artificielle Générale : comprendre le monde, savoir raisonner, avoir des émotions et une conscience de soi.
L’IAG reste un objet de science-fiction.
Les films : –2001 l’Odyssée de l’espace, réalisé par Stanley Kubrick en 1968 et
-Her, film d’anticipation américain réalisé par Spike Jonze en 2013.
Dans le premier film, l’ordinateur change les objectifs de la mission. L’ordinateur parle comme un robot. Dans le second film, la voix de Samantha est une voix de femme, sensuelle.
Or pour pouvoir donner une intonation, il faut comprendre ce que l’on dit. On ne peut pas donner de voix à ChatGPT.
On ne parle plus d’IAG, ce n’est plus un sujet d’étude important.
- La spécialisation
Les chercheurs vont prendre les tâches une à une et construire des logiciels spécialisés pour ces fonctions.
Exemples :
- Deep Blue: super ordinateur conçu par un ingénieur IBM dans les années 1990, est programmé pour jouer aux échecs. Il affronta une première fois Garry Kasparov en 1996, et perdit contre le champion du monde. Il le bat lors du match revanche en 1997.
- Alpha GO, programme informatique capable de jouer au jeu de Go développé par une entreprise britannique. En 2016, il bat l’un des meilleurs joueurs de go de la planète et terrasse en 2017 le champion du monde chinois.
Les échecs étaient de l’IA symbolique, tandis qu’alpha go, est de l’IA anthropique.
III ChatGPT
Le Traitement du Langage Naturel : TLN permet plusieurs actions : reconnaissance de l’écriture manuscrite, de la parole, possibilité de générer du texte : questions, réponses, traduction analyse de texte…C’est une branche de l’IA.
ChatGPT s’inscrit dans ce sous-ensemble de l’IA.
Que veut dire cet acronyme ?
Chat : conversation, essentiellement utilisé en ligne.
Chatbot : robot conversationnel, qui peut répondre à vos questions.
ChatGPT est un chatbot
GPT : Générative Pretrained Transformers en anglais ou Transformers è réseau de neurones, Génératifs è génératif de texte, Pré entraînésè optimisés en apprentissage
Chat GPT utilise la technologie GPT 3 mise au point par OpenAI .
Il est lancé en 2022 dans une version gratuite, ce qui en a fait son succès (100 millions de comptes enregistrés en 2023).
OpenAI est fondé en 2015 par Sam Altman, homme d’affaires américain et Elon Musk, en tant qu’association à but non lucratif.
En 2019, l’association crée une entreprise à but lucratif. Microsoft investit 1 milliard de dollars.
En 2020 : OpenAI lance GPT 3 entraîné sur des textes d’ordinateurs.
En 2022, il atteint une renommée mondiale.
En janvier 2023, Microsoft investit 10 milliards de dollars.
Entre temps, un débat a lieu sur les objectifs de l’entreprise. Elon Musk l’avait quitté car il était opposé au filtrage, effectué par une API de modération, qui rejetait les sujets classifiés comme racistes, sexuels ou sexistes . . .
Sam Altman est évincé, puis réintégré, soulignant la victoire des tenants des objectifs lucratifs pour OpenAI.
Les capacités de GPT3 sont diverses : inventer une histoire, traduire des textes, tenir le rôle de robot…
C’est l’approche anthropique qui repose sur le fonctionnement du cerveau qui est dominante. Elle repose sur les réseaux de neurones biologiques
IV FONCTIONNEMENT
a) Il y a 100 milliards de neurones dans le cerveau humain. Ces neurones se trouvent essentiellement dans le cortex, partie extérieure de cerveau (matière grise).
Le cortex contient 15 à 20 milliards de neurones. Il est uniforme en anatomie, en fonctionnalité. Sur cette surface, il y a 100 millions de colonnes corticales. Il y a 100 neurones par colonne, ce sont des calculateurs (processeurs) élémentaires du cerveau.
En biologie, les connexions de toutes les colonnes sont organisées de façon identique.
Sur l’aspect fonctionnel, les connexions sont hiérarchiques. C’est-à-dire qu’on va des choses les plus basiques à celles les plus abstraites. Exemple : le cerveau reconnait des segments, ceux-ci constituent des lettres, l’adjonction de lettres crée des mots, ces mots sont les éléments d’une phrase. L’étape supérieure est la conceptualisation.
D’autre part, le cerveau en permanence fait des prédictions. Exemple : un joueur de tennis prédit la position de la balle dans le futur. La prédiction est fonction du modèle qu’on a du monde, ce modèle résulte de l’éducation, de l’apprentissage.
La fonction des neurones est toujours la même. Elle est fixe et n’évolue pas dans le temps.
Notre intelligence résulte des connexions entre les neurones, reliés entre eux par des synapses, point de jonction entre l’axone d’un pré neurone et les dendrites d’un post neurone. Il y a environ 10000 synapses par neurone. Ils filtrent les échanges entre neurones.
En 1949, dans sa théorie, Donald Hebb, psychologue et neuropsychologue canadien, postule que les synapses peuvent être considérés comme la mémoire du cerveau. Elle décrit les changements dans le cerveau ou dans un réseau de neurones pendant un processus d’apprentissage.
On va essayer de reproduire ce schéma dans le fonctionnement de l’ordinateur.
Frank Rosenblatt, psychologue américain qui travaille sur l’intelligence artificielle, définit mathématiquement ce qu’est un neurone. Dans les années 50, il simule sur un ordinateur les capacités d’apprentissage d’une machine.
Ce modèle est toujours utilisé. Ainsi les réseaux de neurones artificiels constituent la base de l’Intelligence Artificielle.
Combien de neurones dans le réseau doivent être connectés ?
Les réseaux de topologie quelconque ne peuvent apprendre une tâche. Il faut des réseaux multicouches. Les réseaux feedforward ou perceptrons multicouches, sont les seuls réseaux qui apprennent.
Il n’y a qu’une quinzaine d’années que l’on a pu faire reconnaître les chiffres.
La version GPT 3 contient 175 milliards de synapses. 12288 est le nombre de couches cachées. La version 1 comportait 117 millions de synapses et 768 couches cachées.
On a essayé jusqu’à ce que ça marche, pour aboutir au nombre de 175 milliards de synapses.
b) Les caractéristiques
L’apprentissage de ChatGPT se fait sur la recherche du mot qui suit ou du mot manquant. Exemples : le ciel est …le chat dort sur…. Pour que les réponses soient pertinentes, il faut des éléments de contexte. Pour que le ciel soit bleu, il faut qu’il fasse beau. Où le chat a le plus de chance de dormir : sur le canapé, le radiateur ?
Pour que le logiciel fournisse des réponses adaptées, il a fallu procéder par 3 étapes :
- La tokénisation.
Les tokens sont des signes, marques, qui sont des mots, des parties de mots, des signes de ponctuation, des chiffres. La langue n’a pas d’importance.
La version de base a une limite de longueur de tokens d’environ 2048. Le texte d’entrée ne peut dépasser ce nombre.
- Les transformeurs.
Il a fallu trouver un système qui évite l’intervention humaine pour l’apprentissage (sinon, ça risque de couter cher). Aussi on a utilisé les transformeurs proposés par google en 2017. On va encoder chaque phrase par un mécanisme dit de « self attention ». On va rechercher les liens statistiques entre les différents tokens, en faisant des lectures de quantités incroyables de phrases.
- L’apprentissage de ChatGPT.
Il y a le pré entraînement. ChatGPT a lu 3 milliards de pages web, toutes celles qui existent dans le monde.
OpenAI, l’éditeur de ChatGPT a utilisé la base de Common Crawl, mais pas dans son intégralité. Common crawl est le nom d’une ONG qui crawle comme Google, Des robots (appelés Crawlers) comme les robots de Google cliquent sur les nouveaux liens qu’ils trouvent sur internet, copient le contenu des pages qui se trouvent derrière les liens et rebondissent sur d’autres sites web s’ils trouvent de nouveaux liens. En avril 2023, cette base contenait 3,15 milliards de pages, issu de 43 millions de sites.
Ensuite il y a le réglage fin, fastidieux, opéré par des humains. Des milliers d’humains ont été nécessaires. Un article du Monde d’octobre 2023 fait état qu’au Kenya, des « entraîneurs » de ChatGPT se sont plaints de leurs conditions de travail. Ils ont déposé une requête devant le parlement pour tenter de réguler ce secteur.
V AVANTAGES ET LIMITES
- Pour bénéficier de ChatGPT, il suffit d’aller sur OpenAI, de créer un compte, puis de « jouer » avec : créer une poésie, résumer un texte, traduire un texte, créer du code, résoudre une équation mathématique…sont autant de fonctions que l’on peut utiliser.
Cependant il faut se méfier des réponses qui peuvent avoir été établies avec des erreurs, voire des absurdités. Exemple : profil du conférencier, les « œufs » de moule…
Il y a un problème parfois avec le filtrage d’entrée (qui interdit les stéréotypes négatifs, le sexisme, le racisme, la violence) qui empêche certaines requêtes d’aboutir. Il faut savoir surmonter les interdits, procéder par étapes ou contournements.
- Impacts énergétiques.
ChatGPT est un logiciel qui a nécessité une débauche de moyens pour l’alimenter et le faire fonctionner.
Il y a eu le cluster de quelques milliers de machines pendant un mois. Il a couté 100 millions de dollars et a utilisé en énergie 500MWK/jour.
3500 m3 d’eau ont servi au refroidissement de l’ordinateur, qui a dégagé 550 tonnes de CO2.
L’impact énergétique et écologique est énorme et ne peut être négligé dans l’évaluation de l’incidence de L’IA. Seuls quelques fortunés, comme Microsoft, peuvent développer ce type d’outil.
Son accès gratuit est une petite révolution dans le domaine de l’Intelligence Artificielle.
Avec 175 milliards de paramètres il a une capacité énorme. Mais il ne peut référencer les textes générés, et peut créer des fakenews. Certains « pompent » les textes des journalistes et se les approprient. Pour savoir si un texte est généré par IA, il faut vérifier si la source peut être mentionnée… l’IA est incapable d’indiquer ses sources.
Il y a un problème dans la formation : les élèves peuvent copier les textes générés par ChatGPT ; même problème pour les métiers qui génèrent du texte.
C’est aussi un modèle économique qui pose question : OpenAI s’attend à 5 milliards de dollars de perte.
La conclusion revient à Albert Einstein : « Le signe de l’intelligence n’est pas la connaissance, mais l’imagination. »
Marie Pierre Fourdinier,le 14 janvier 2025
UTL Pévèle Carembault
