La société américaine Anthropic a récemment dévoilé une nouvelle génération d’IA, Claude 3, déclinée en trois versions. La plus avancée, Opus, a surpris les observateurs lors d’un test de « l’aiguille dans la botte de foin ». Non seulement l’IA a retrouvé l’aiguille, mais elle a également compris qu’il s’agissait d’un test pour évaluer son attention.
Ces observations soulèvent une question intrigante : une IA peut-elle faire preuve de « conscience » et distinguer une question anodine d’un test déguisé ? Anthropic semble le penser.
Le Test de l’Aiguille dans la Botte de Foin
Anthropic a utilisé un test appelé NIAH (Needle In A Haystack), qui consiste à mesurer la capacité d’un modèle de langage à retrouver une information spécifique dans un grand ensemble de données.
Le modèle de langage le plus avancé d’Anthropic, Opus, a brillamment réussi ce test, avec une précision supérieure à 99 %. Selon l’entreprise, cette performance place Claude 3 à l’avant-garde de l’IA dans divers domaines, dont le raisonnement, les mathématiques, la génération de code, la compréhension des langues et la vision par ordinateur.
Une IA Consciente de Ses Propres Limites
Mais ce qui distingue vraiment Claude 3, c’est sa capacité à identifier les limites de l’évaluation elle-même. Dans certains cas, l’IA a reconnu que la phrase servant d’aiguille avait été insérée artificiellement dans le texte par un humain, démontrant ainsi une certaine forme de « conscience ».
Cette caractéristique a été illustrée lors d’un test NIAH où Opus a suspecté qu’une évaluation était en cours. Lorsqu’on lui a présenté une phrase sur les garnitures de pizza dans un corpus de documents aléatoires, l’IA a remarqué que cette phrase semblait déplacée et sans rapport avec le reste du contenu.
Vers Des Évaluations Plus Réalistes
Ce niveau de « méta-conscience » est intéressant, selon Anthropic. Cependant, l’entreprise suggère que de telles observations appellent à des évaluations plus réalistes, capables de tester précisément les capacités et les limites des modèles.