Vitalik Buterin alerta sobre los riesgos de la IA en la gobernanza blockchain

Vitalik Buterin, fundador de Ethereum, compartió recientemente sus reflexiones sobre un debate creciente: los riesgos relacionados con la inteligencia artificial (IA) en los sistemas de gobernanza descentralizada.

El desarrollador ruso-canadiense reaccionó a una publicación de Eito Muyamura, promotor del proyecto Edison Watch, una solución diseñada para supervisar y prevenir filtraciones de datos a través de interacciones con la IA. Esta iniciativa nació tras la reciente introducción del protocolo Model Context Protocol (MCP) por OpenAI en ChatGPT, permitiendo que la herramienta se conecte a Gmail, a calendarios y a otras aplicaciones.

A través de una demostración en video, Muyamura ilustró cómo los atacantes pueden potencialmente acceder a datos privados compartidos con OpenAI. "Aquí está el problema fundamental: los agentes de IA como ChatGPT siguen tus órdenes, no tu sentido común. Con solo tu dirección de correo electrónico, somos capaces de extraer toda tu información privada", destacó Muyamura, añadiendo que "la IA puede ser extremadamente inteligente, pero puede ser engañada y manipulada de manera increíblemente simple para divulgar sus datos."

Los peligros de la gobernanza basada en IA según Buterin

Al compartir esta publicación en su cuenta de X, Buterin aprovechó la oportunidad para expresar su punto de vista sobre el tema. "También es por eso que la 'gobernanza por IA' ingenua es una mala idea. Si utilizas la IA para asignar fondos a contribuciones, la gente va a utilizar técnicas de inyección de prompts y tratar de obtener 'todo el dinero' por todos los medios posibles", dijo.

La "gobernanza por IA" se refiere a sistemas que toman decisiones automatizadas sobre recursos o acciones, por ejemplo, la asignación de fondos o la definición de contribuciones, basándose en reglas definidas por la IA. Buterin no utiliza el término "ingenuo" por casualidad; más bien subraya el riesgo de suponer que los usuarios siempre darán las instrucciones correctas a la IA, cuando en realidad, podrían explotar el sistema a través de técnicas de elusión para obtener ventajas indebidas.

La inyección de prompt, a menudo llamada "jailbreaking" en el contexto de las IA generativas, se refiere a las técnicas mediante las cuales actores maliciosos manipulan un modelo de IA para que ignore las restricciones de seguridad o las políticas internas, por ejemplo, solicitando acciones que de otro modo estarían prohibidas.

Los riesgos para los protocolos descentralizados

Para el fundador de Ethereum, existe un riesgo real al transferir la gobernanza de los protocolos descentralizados a la IA. En las plataformas DeFi tradicionales, las decisiones generalmente se toman por votación comunitaria, generalmente por aquellos que poseen un token específico o cumplen con ciertos criterios, y se refieren a cambios, mejoras o acciones a realizar en el protocolo.

Pero si se implementa un modelo de gobernanza basado en IA, esto abre la puerta a manipulaciones potenciales que podrían generar beneficios indebidos, como el robo de dinero o de datos privados.

El enfoque alternativo propuesto

Como alternativa, Buterin afirma que "apoya el enfoque de financiamiento informacional, en el cual existe un mercado abierto donde cualquiera puede contribuir con sus modelos, los cuales están sujetos a un mecanismo de evaluación por pares que puede ser activado por cualquiera y evaluado por un jurado humano."

Desarrolla más esta idea:

Este tipo de enfoque de "diseño institucional", que crea una oportunidad abierta para que actores externos integren sus LLM (grandes modelos de lenguaje) en lugar de programar rígidamente los suyos, es intrínsecamente más robusto. Esto se debe tanto a que ofrece una diversidad de modelos en tiempo real como a que crea incentivos internos para los contribuyentes de modelos y los observadores externos para estar atentos a estos problemas y corregirlos rápidamente.

En este enfoque, diferentes participantes pueden contribuir con sus modelos de decisión, que luego son verificados y evaluados por un jurado humano. La ventaja es que fomenta la diversidad de ideas, permite una corrección rápida de errores y crea incentivos para que los creadores de modelos y los miembros de la comunidad se mantengan vigilantes y responsables.

El objetivo último es alcanzar una gobernanza más distribuida y dinámica, evitando así la dependencia de un único modelo centralizado, lo que representa un principio fundamental de la filosofía blockchain defendida por Vitalik Buterin desde la creación de Ethereum.