Suite à ces tests, nous constatons, comme de nombreux experts, que si l’outil est bluffant en ce qui concerne la forme, le fond est loin, très loin d’être qualitatif. L’outil n’est pas intelligent et n’est pas un moteur de recherche. Les modèles de langage (LLM pour Large Language Model) sont des outils statistiques, qui ne font que deviner une suite de mots… Inventant parfois (souvent ?) des informations.
I. Un peu d’histoire et d’architecture
Dans un premier temps, nous avons demandé à ChatGPT de nous informer sur la reconstruction de Lisieux. Ci-dessous une copie d’écran de la réponse fournie.
C’est une réalité virtuelle qui nous est exposée.
C’est bien écrit ! Malheureusement, ces informations sont fausses. N’importe quelle personne ayant des connaissances en la matière, ou la volonté de chercher l’information (cela prend 2 minutes à vérifier) pourra vous indiquer que Raymond Loewy n’a pas travaillé sur le projet de reconstruction de la gare de Lisieux. D’ailleurs, quelques minutes plus tard, ChatGPT change d’avis :
Bref, si vous lui avez fait confiance et avez utilisé l’information fournie, vous avez tout faux et risquez d’être fortement pénalisé.
Dommage ! Sandra, notre spécialiste en architecture urbaine, aurait pu vous renseigner et vous fournir des sources fiables pour la rédaction d’une dissertation ou d’un mémoire de qualité sur le sujet…
II. Un exposé tout simple niveau collège/lycée ?
Comme l’histoire de la reconstruction de Lisieux après la Seconde Guerre mondiale était de toute évidence trop compliquée pour l’IA, nous lui avons demandé de l’aide pour un court exposé sur Renaut Ecalle. Simple, non ? Il suffit de réunir quelques données et de les réécrire.
L’outil reconnait le nom et nous rédige une très belle présentation. Pas de faute, bien écrit… L’accent est mis sur les performances du pilote en 2018. Malheureusement, Renaut est décédé en 2010... C’est donc une nouvelle réalité qui est inventée ici !