Dans une étude récente publiée dans la revue Rapports scientifiquesles chercheurs ont comparé la créativité des chatbots de l’intelligence humaine et artificielle (IA) à l’aide de la tâche d’utilisation alternative (AUT) pour comprendre les limites et le potentiel actuels de la créativité générée par la machine.
Étude : Les meilleurs humains surpassent toujours l’intelligence artificielle dans une tâche de pensée créative divergente. Crédit d’image : girafchik/Shutterstock
Arrière-plan
Les outils d’IA générative, tels que Chat Generative Pre-Trained Transformer (ChatGPT) et MidJourney, ont suscité des débats concernant leur impact sur l’emploi, l’éducation et la protection juridique du contenu généré par l’IA. Historiquement, la créativité était considérée comme spécifiquement humaine et traditionnellement liée à l’originalité et à l’utilité, mais les capacités émergentes de l’IA remettent aujourd’hui en question et redéfinissent cette croyance. Cependant, il existe un besoin urgent de recherches plus approfondies pour comprendre en profondeur les mécanismes sous-jacents de la créativité humaine et de l’IA et leurs implications pour la société, l’emploi, l’éthique et la définition changeante de l’identité humaine à l’ère de l’IA.
À propos de l’étude
Dans la présente étude, les données AUT provenant d’humains provenaient d’un projet de recherche précédent et, à l’aide de la plateforme en ligne Prolific, des anglophones natifs ont été engagés. Sur les 310 participants qui ont commencé l’étude, 279 l’ont terminée. Après avoir évalué leur attention à travers des tâches visuelles, 256 ont été jugés diligents et inclus dans l’analyse, avec une moyenne d’âge de 30,4 ans. La plupart des participants étaient des employés ou des étudiants à temps plein, originaires principalement des États-Unis d’Amérique (USA), du Royaume-Uni (Royaume-Uni), du Canada et de l’Irlande.
En 2023, trois chatbots IA, ChatGPT3.5 (appelé plus tard ChatGPT3), ChatGPT4 et Copy.Ai, ont été testés à des dates spécifiques, subissant un examen 11 fois à l’aide de quatre invites d’objets différentes au cours de sessions distinctes. Cette méthode garantissait un échantillon important permettant de discerner les différences, en particulier par rapport aux nombreuses données humaines.
Pour la procédure AUT, les participants ont utilisé quatre objets : une corde, une boîte, un crayon et une bougie, et il leur a été conseillé de donner la priorité à l’originalité de leurs réponses plutôt qu’au simple volume. Alors que les humains ont été testés une fois par session, les IA ont subi 11 sessions distinctes avec des instructions légèrement modifiées pour s’adapter à leur conception. La principale préoccupation était de maintenir les réponses de l’IA comparables aux réponses humaines, notamment en termes de longueur.
Avant analyse, les réponses ont été soumises à une vérification orthographique et toutes les réponses courtes et ambiguës ont été écartées. L’essence de la pensée divergente a été évaluée à l’aide de la distance sémantique entre un objet et sa réponse AUT, à l’aide de la plateforme SemDis. Tout biais potentiel dans les réponses, en particulier de la part des IA utilisant un jargon tel que « Do It Yourself » (DIY), a été abordé par souci de cohérence.
L’originalité des réponses a été évaluée par six évaluateurs humains qui, ignorant les réponses générées par l’IA, ont évalué l’originalité de chaque réponse sur une échelle de 1 à 5. La méthodologie d’évaluation comportait des directives claires pour garantir l’objectivité, et leurs évaluations collectives ont démontré une grande inter- fiabilité de l’évaluateur.
Enfin, les données ont fait l’objet d’analyses statistiques rigoureuses dans le but de tirer des conclusions significatives des données amassées. Divers modèles ont été utilisés pour évaluer les scores, en tenant compte des effets fixes tels que le groupe et l’objet et des covariables potentielles.
Résultats de l’étude
La présente étude a analysé la pensée créative divergente chez les humains et les chatbots IA, en se concentrant sur leurs réponses à différents objets, et a observé une corrélation modérée entre la distance sémantique et les évaluations subjectives des humains. Cela suggère que même si les deux méthodes de notation mesuraient des qualités similaires, elles n’étaient pas de nature identique. Par conséquent, il a été jugé approprié d’évaluer les données en utilisant à la fois la distance sémantique et les évaluations subjectives.
En utilisant des modèles linéaires à effets mixtes pour une large comparaison entre les humains et l’IA, un modèle cohérent est apparu : les chatbots IA ont non seulement généralement surpassé les humains, mais ont également eu des scores moyens et maximum plus élevés en termes de distance sémantique. Lorsque la maîtrise de l’anglais était considérée comme une covariable, on a constaté qu’elle diminuait les scores moyens mais augmentait les scores maximaux. Cette tendance s’est également reflétée dans les évaluations subjectives humaines de la créativité, où l’IA a encore une fois obtenu des scores plus élevés en termes de scores moyen et maximum. Une observation intéressante était que, même si certains participants humains répondaient par des utilisations typiques, voire illogiques des objets, les chatbots IA proposaient systématiquement des utilisations atypiques et logiques, sans jamais dépasser un certain seuil.
L’étude a approfondi la comparaison des réponses des humains et des chatbots IA individuels à des objets spécifiques, à savoir une corde, une boîte, un crayon et une bougie. Les analyses ont montré que ChatGPT3 et ChatGPT4, deux des modèles d’IA, ont surpassé les humains en termes de scores moyens de distance sémantique. Cependant, en considérant les scores maximum, il n’y avait aucune différence statistiquement significative entre les participants humains et les chatbots IA. Il a également été observé que les réponses à la corde étaient généralement moins bien notées en termes de distance sémantique que les autres objets.
Les évaluations subjectives humaines évaluant la créativité ont révélé que ChatGPT4 recevait systématiquement des notes plus élevées que les humains et les autres chatbots, démontrant ainsi son avantage évident. Cependant, cet avantage n’a pas été observé lorsque les chatbots étaient chargés de l’objet « crayon ». Un modèle intéressant est apparu avec la bougie, car les réponses qui y sont liées ont généralement reçu des notes inférieures à celles d’autres objets. Une observation marquante était que deux sessions d’IA, l’une de ChatGPT3 et l’autre de ChatGPT4, ont enregistré des scores maximum supérieurs à ceux de n’importe quel humain pour l’objet « boîte ».
Les données ont souligné les performances impressionnantes des chatbots IA, en particulier ChatGPT4, dans les tâches de pensée créative divergente par rapport aux humains. Cependant, il convient de noter que l’IA n’a pas devancé les humains de manière uniforme dans tous les paramètres ou objets, soulignant la complexité de la créativité et les domaines dans lesquels les humains détiennent toujours un avantage.
