Vitalik Buterin alerte sur les risques de l'IA dans la gouvernance blockchain

Vitalik Buterin, fondateur d'Ethereum, a récemment partagé ses réflexions concernant un débat croissant : les risques liés à l'intelligence artificielle (IA) dans les systèmes de gouvernance décentralisée.

Le développeur russo-canadien a réagi à une publication d'Eito Muyamura, promoteur du projet Edison Watch, une solution conçue pour surveiller et prévenir les fuites de données via les interactions avec l'IA. Cette initiative est née suite à l'introduction récente du protocole Model Context Protocol (MCP) par OpenAI dans ChatGPT, permettant à l'outil de se connecter à Gmail, aux calendriers et à d'autres applications.

À travers une démonstration vidéo, Muyamura a illustré comment des attaquants peuvent potentiellement accéder à des données privées partagées avec OpenAI. "Voici le problème fondamental : les agents IA comme ChatGPT suivent vos commandes, pas votre bon sens. Avec seulement votre adresse e-mail, nous sommes capables d'extraire toutes vos informations privées", a souligné Muyamura, ajoutant que "l'IA peut être extrêmement intelligente, mais elle peut être trompée et manipulée de façon incroyablement simple pour divulguer ses données."

Les dangers de la gouvernance basée sur l'IA selon Buterin

En partageant cette publication sur son compte X, Buterin a saisi l'occasion pour exprimer son point de vue sur la question. "C'est aussi pourquoi la 'gouvernance par IA' naïve est une mauvaise idée. Si vous utilisez l'IA pour allouer des fonds à des contributions, les gens vont utiliser des techniques de prompt injection et tenter d'obtenir 'tout l'argent' par tous les moyens possibles", a-t-il déclaré.

La "gouvernance par IA" fait référence à des systèmes qui prennent des décisions automatisées concernant des ressources ou des actions, par exemple l'allocation de fonds ou la définition de contributions, sur la base de règles définies par l'IA. Buterin n'utilise pas le terme "naïve" par hasard ; il souligne plutôt le risque de supposer que les utilisateurs donneront toujours les bonnes instructions à l'IA, alors qu'en réalité, ils pourraient exploiter le système via des techniques de contournement pour obtenir des avantages indus.

Le prompt injection, souvent appelé "jailbreaking" dans le contexte des IA génératives, désigne les techniques par lesquelles des acteurs malveillants manipulent un modèle d'IA pour qu'il ignore les restrictions de sécurité ou les politiques internes, par exemple en demandant des actions qui seraient autrement interdites.

Les risques pour les protocoles décentralisés

Pour le fondateur d'Ethereum, il existe un risque réel à transférer la gouvernance des protocoles décentralisés à l'IA. Dans les plateformes DeFi traditionnelles, les décisions sont généralement prises par vote communautaire, généralement par ceux qui possèdent un jeton spécifique ou répondent à certains critères, et concernent des changements, des améliorations ou des actions à entreprendre dans le protocole.

Mais si un modèle de gouvernance basé sur l'IA est implémenté, cela ouvre la porte à des manipulations potentielles qui pourraient générer des bénéfices indus, comme le vol d'argent ou de données privées.

L'approche alternative proposée

Comme alternative, Buterin affirme qu'il "soutient l'approche de financement informationnel, dans laquelle existe un marché ouvert où n'importe qui peut contribuer avec ses modèles, lesquels sont soumis à un mécanisme d'évaluation par les pairs qui peut être activé par n'importe qui et évalué par un jury humain."

Il développe davantage cette idée :

Ce type d'approche de "conception institutionnelle", qui crée une opportunité ouverte pour que des acteurs externes intègrent leurs LLM (grands modèles de langage) plutôt que de programmer rigidement les leurs, est intrinsèquement plus robuste. Ceci à la fois parce qu'elle offre une diversité de modèles en temps réel et parce qu'elle crée des incitations internes pour les contributeurs de modèles et les observateurs externes à être vigilants face à ces problèmes et à les corriger rapidement.

Dans cette approche, différents participants peuvent contribuer avec leurs modèles de décision, qui sont ensuite vérifiés et évalués par un jury humain. L'avantage est qu'elle encourage la diversité des idées, permet une correction rapide des erreurs et crée des incitations pour que les créateurs de modèles et les membres de la communauté restent vigilants et responsables.

L'objectif ultime est d'atteindre une gouvernance plus distribuée et dynamique, évitant ainsi la dépendance à un modèle centralisé unique, ce qui représente un principe fondamental de la philosophie blockchain défendue par Buterin depuis la création d'Ethereum.