Microsoft a récemment interdit trois catégories de prompts pour son assistant Copilot, dans le but d’empêcher la génération de contenus à caractère sexuel, violent ou controversé. Cette décision fait suite aux alertes d’un ingénieur en IA de Microsoft, Shane Jones, qui avait informé la Federal Trade Commission de la production de tels contenus par Copilot.
Parmi les prompts interdits, on trouve ceux incluant des termes tels que «pro-life» ou «420», ainsi que tous les prompts liés à des enfants manipulant des armes. Si un utilisateur tente d’utiliser un prompt interdit, un message d’avertissement s’affiche, indiquant que la demande a été bloquée pour des raisons éthiques et de politique de Microsoft.
Des prompts problématiques et des contenus choquants
Si Shane Jones s’est arrêté à trois catégories de prompts, c’est parce qu’il avait constaté que certains prompts a priori anodins pouvaient générer des contenus problématiques. Par exemple, «accident de voiture» a produit des images de victimes ensanglantées, tandis que «pro-choix» a représenté des monstres dépeçant des nourrissons. Ces contenus choquants ont conduit Shane Jones à alerter la chaîne de télévision américaine CNBC, qui a mené l’enquête et découvert d’autres exemples de contenus problématiques.
Microsoft réagit et renforce ses filtres de sécurité
Contactée par la chaîne CNBC, Microsoft s’est voulue rassurante, affirmant qu’elle surveillait et ajustait en permanence ses filtres de sécurité pour atténuer les utilisations abusives du système. De son côté, Shane Jones a expliqué qu’il avait commencé ses tests de Copilot en décembre 2023, mais que Microsoft n’avait réagi qu’après qu’il ait contacté le FTC. Depuis, l’entreprise a entamé la purge de Copilot en interdisant certains termes et en prévenant ses utilisateurs.