Les chercheurs développent un moyen d’intégrer l’une des caractéristiques les plus humaines – l’incertitude – dans les systèmes d’apprentissage automatique.
L’erreur humaine et l’incertitude sont des concepts que de nombreux systèmes d’intelligence artificielle ne parviennent pas à saisir, en particulier dans les systèmes où un humain fournit une rétroaction à un modèle d’apprentissage automatique. Beaucoup de ces systèmes sont programmés pour supposer que les humains sont toujours certains et corrects, mais la prise de décision dans le monde réel comprend des erreurs et des incertitudes occasionnelles.
Des chercheurs de l’Université de Cambridge, ainsi que de l’Institut Alan Turing de Princeton et de Google DeepMind, ont tenté de combler le fossé entre le comportement humain et l’apprentissage automatique, afin que l’incertitude puisse être mieux prise en compte dans les applications d’IA où les humains et les machines travaillent ensemble. Cela pourrait aider à réduire les risques et à améliorer la confiance et la fiabilité de ces applications, en particulier lorsque la sécurité est essentielle, comme le diagnostic médical.
L’équipe a adapté un ensemble de données de classification d’images bien connu afin que les humains puissent fournir des commentaires et indiquer leur niveau d’incertitude lors de l’étiquetage d’une image particulière. Les chercheurs ont découvert que l’entraînement avec des étiquettes incertaines peut améliorer les performances de ces systèmes dans la gestion des retours incertains, bien que les humains provoquent également une baisse des performances globales de ces systèmes hybrides. Leurs résultats seront communiqués au Conférence AAAI/ACM sur l’intelligence artificielle, l’éthique et la société (AIES 2023) à Montreal.
Les systèmes d’apprentissage automatique «humains dans la boucle» – un type de système d’IA qui permet une rétroaction humaine – sont souvent présentés comme un moyen prometteur de réduire les risques dans des contextes où les modèles automatisés ne peuvent pas être utilisés pour prendre des décisions seuls. Mais que se passe-t-il si les humains ne sont pas sûrs ?
L’incertitude est au cœur de la façon dont les humains raisonnent sur le monde, mais de nombreux modèles d’IA n’en tiennent pas compte. De nombreux développeurs travaillent pour résoudre l’incertitude du modèle, mais moins de travail a été fait pour traiter l’incertitude du point de vue de la personne. »
Katherine Collins, première auteure, Département d’ingénierie de Cambridge
Nous prenons constamment des décisions basées sur la prépondérance des probabilités, souvent sans vraiment y penser. La plupart du temps – par exemple, si nous faisons signe à quelqu’un qui ressemble à un ami mais qui s’avère être un parfait inconnu – il n’y a pas de mal si nous nous trompons. Cependant, dans certaines applications, l’incertitude s’accompagne de risques réels pour la sécurité.
« De nombreux systèmes d’IA humaine supposent que les humains sont toujours certains de leurs décisions, ce qui n’est pas la façon dont les humains fonctionnent – nous faisons tous des erreurs », a déclaré Collins. « Nous voulions examiner ce qui se passe lorsque les gens expriment une incertitude, ce qui est particulièrement important dans les environnements critiques pour la sécurité, comme un clinicien travaillant avec un système d’IA médicale. »
« Nous avons besoin de meilleurs outils pour recalibrer ces modèles, afin que les personnes qui travaillent avec eux soient habilitées à dire quand ils sont incertains », a déclaré le co-auteur Matthew Barker, qui a récemment obtenu son diplôme MEng au Gonville and Caius College, Cambridge. « Bien que les machines puissent être entraînées en toute confiance, les humains ne peuvent souvent pas le fournir, et les modèles d’apprentissage automatique sont confrontés à cette incertitude. »
Pour leur étude, les chercheurs ont utilisé certains des ensembles de données d’apprentissage automatique de référence : l’un était pour la classification des chiffres, un autre pour la classification des radiographies pulmonaires et un pour la classification des images d’oiseaux. Pour les deux premiers ensembles de données, les chercheurs ont simulé l’incertitude, mais pour l’ensemble de données sur les oiseaux, ils ont demandé aux participants humains d’indiquer dans quelle mesure ils étaient certains des images qu’ils regardaient : si un oiseau était rouge ou orange, par exemple. Ces «étiquettes souples» annotées fournies par les participants humains ont permis aux chercheurs de déterminer comment le résultat final a été modifié. Cependant, ils ont constaté que les performances se dégradaient rapidement lorsque les machines étaient remplacées par des humains.
« Nous savons, grâce à des décennies de recherche comportementale, que les humains ne sont presque jamais sûrs à 100%, mais c’est un défi d’intégrer cela dans l’apprentissage automatique », a déclaré Barker. « Nous essayons de relier les deux domaines, afin que l’apprentissage automatique puisse commencer à faire face à l’incertitude humaine là où les humains font partie du système. »
Les chercheurs affirment que leurs résultats ont identifié plusieurs défis ouverts lors de l’intégration d’humains dans des modèles d’apprentissage automatique. Ils publient leurs ensembles de données afin que d’autres recherches puissent être menées et que l’incertitude puisse être intégrée dans les systèmes d’apprentissage automatique.
« Comme certains de nos collègues l’ont si brillamment dit, l’incertitude est une forme de transparence, et c’est extrêmement important », a déclaré Collins. « Nous devons déterminer quand nous pouvons faire confiance à un modèle et quand faire confiance à un humain et pourquoi. Dans certaines applications, nous examinons une probabilité plutôt que des possibilités. Surtout avec l’essor des chatbots par exemple, nous avons besoin de modèles qui intègrent mieux le langage de la possibilité, qui peut conduire à une expérience plus naturelle et plus sûre. »
« D’une certaine manière, ce travail a soulevé plus de questions qu’il n’a répondu », a déclaré Barker. « Mais même si les humains peuvent être mal calibrés dans leur incertitude, nous pouvons améliorer la fiabilité et la fiabilité de ces systèmes humains dans la boucle en tenant compte du comportement humain. »
La recherche a été financée en partie par le Cambridge Trust, la Commission Marshall, le Leverhulme Trust, le Gates Cambridge Trust et le Engineering and Physical Sciences Research Council (EPSRC), qui fait partie de UK Research and Innovation (UKRI).
