Dans une étude récente publiée dans la revue Rapports scientifiquesles chercheurs ont comparé le récit d’histoires entre humains et le grand modèle de langage (LLM), le transformateur pré-entraîné génératif de chat (ChatGPT).
Les humains peuvent se communiquer des événements passés, projetés, fictifs ou lointains à travers de courts récits et histoires. La communication narrative permet aux personnes absentes de l’événement de ressentir ce que ressentirait l’événement. Raconter des événements et des histoires est intrinsèquement lié à la civilisation et à la culture humaines.
Notamment, une caractéristique spécifique de la communication de récits est que le public fait d’abord l’expérience de l’histoire et du flux émotionnel avant toute narration ou rappel ultérieur. Cela signifie que l’ordre temporel vécu est similaire à l’expérience individuelle dans un processus par étapes. En racontant ou en remémorant l’histoire, les gens se souviennent des mots originaux et de leurs expériences personnelles. Cet aspect du récit humain peut différer des LLM comme ChatGPT.
Étude : Les humains créent plus de nouveauté que ChatGPT lorsqu’on leur demande de raconter une histoire. Crédit d’image : Rob Hyrons/Shutterstock
À propos de l’étude
Dans la présente étude, les chercheurs ont comparé les récits racontés par des humains et ChatGPT. Les participants humains de l’Amazon Mechanical Turk ont été invités à écrire une histoire triste, légèrement triste, heureuse ou légèrement heureuse, en évitant les mots émotionnels explicites (par exemple, triste ou heureux). Par la suite, 348 personnes ont été invitées à les raconter à nouveau.
Ils avaient au moins 40 secondes pour lire et devaient raconter l’histoire comportant ≥ 60 caractères en au moins 30 secondes. Notamment, il n’y avait aucune instruction explicite de se concentrer sur l’affect, les émotions et d’autres aspects de l’histoire. De plus, l’équipe a utilisé des histoires de départ identiques pour ChatGPT et lui a demandé de les raconter. ChatGPT a reçu des instructions pour raconter des histoires similaires à celles des participants humains.
Les récits ont été produits à l’aide de différents comptes d’utilisateurs pour garantir que l’histoire originale et les autres versions étaient inaccessibles à ChatGPT. De plus, des participants supplémentaires de Prolific ont été recrutés pour évaluer les histoires d’une itération de récit. L’équipe a analysé le nombre de mots, les parties du discours, l’âge d’acquisition, l’affect et les concepts.
Résultats
Les récits de Human et ChatGPT étaient plus courts que l’histoire originale, mais des éléments clés ont été conservés dans les récits. Néanmoins, les récits humains et ChatGPT ont suivi des schémas différents. Il convient de noter que les récits ChatGPT étaient nettement similaires, alors que les récits humains se sont transformés au fil des itérations. Chaque récit humain offrait une interprétation nouvelle et différente du précédent.
Alors que les humains et le chatbot ont produit des histoires considérablement raccourcies, le premier récit de ChatGPT était nettement plus court que le premier récit humain. Les analyses de régression ont indiqué que les humains et ChatGPT réduisaient considérablement le nombre de mots au fil des itérations. La variabilité du nombre de mots était significativement plus grande pour les humains que pour ChatGPT. La réduction du nombre de mots était nettement moindre dans les récits pour ChatGPT.
Concernant les parties du discours, même si des changements mineurs étaient évidents au fil des itérations, les différences entre les humains et ChatGPT étaient évidentes. Plus précisément, les humains ont utilisé plus de verbes, de pronoms et d’adverbes que ChatGPT et deux fois plus de négations que le chatbot. En revanche, ChatGPT utilisait plus d’adjectifs et de noms que les humains. L’utilisation relativement plus élevée des adverbes et des verbes par les humains suggère que les gens se concentrent sur les émotions et les actions.
En revanche, l’utilisation accrue d’adjectifs et de noms par le chatbot indique qu’il se concentre sur les objets et les entités. Les récits humains avaient un taux de négations plus élevé que les récits ChatGPT malgré les négations nécessitant plus d’effort cognitif. ChatGPT a utilisé moins de synsets que les humains lors du premier récit. Il avait une densité de synsets plus élevée que celle des humains, et les synsets étaient plus susceptibles de persister lors des récits dans ChatGPT. En revanche, les humains ont créé davantage de nouveaux synsets que le chatbot.
Conclusions
Les humains et ChatGPT présentaient des caractéristiques distinctes dans le récit. Les récits humains étaient plus créatifs et moins préservés au fil des itérations que ChatGPT. Bien que le chatbot ait produit une version considérablement raccourcie et concise de l’histoire originale, il a apporté peu de changements au cours des itérations suivantes, conservant ainsi le cœur du récit précédent.
De plus, ChatGPT a utilisé moins de négations que les humains. Les différences de préférence pour les parties du discours suggèrent que les textes narratifs et non narratifs pourraient être distincts pour les humains, mais pas pour ChatGPT. Notamment, ChatGPT a fait preuve d’une stabilité émotionnelle remarquable, mettant l’accent sur la situation centrale, et après le premier récit, il a principalement remplacé les synonymes dans les itérations suivantes.
Pendant ce temps, les humains ont accumulé des changements au fil des récits successifs, et les histoires des récits humains ont changé entre les itérations avec des omissions, des inventions et des adaptations. Néanmoins, le noyau émotionnel des histoires a également été préservé par les humains. Dans l’ensemble, les résultats révèlent que le récit humain implique une créativité ancrée dans les émotions, au-delà de la formulation probabiliste par défaut de ChatGPT.
