Виталик Бутерин alerta о рисках ИИ в управлении блокчейном

Виталик Бутерин, основатель Ethereum, недавно поделился своими размышлениями по поводу растущих дебатов: риски, связанные с искусственным интеллектом (IA) в системах децентрализованного управления.

Русско-канадский разработчик отреагировал на публикацию Эйто Муйамуры, промоутера проекта Edison Watch, решения, разработанного для мониторинга и предотвращения утечек данных через взаимодействия с ИИ. Эта инициатива возникла в результате недавнего введения протокола Model Context Protocol (MCP) от OpenAI в ChatGPT, позволяющего инструменту подключаться к Gmail, календарям и другим приложениям.

В видео демонстрации Муямура показал, как злоумышленники могут потенциально получить доступ к личным данным, которые были переданы OpenAI. "Вот в чем основная проблема: ИИ-агенты, такие как ChatGPT, следуют вашим командам, а не вашему здравому смыслу. С помощью только вашего электронного адреса мы способны извлечь всю вашу личную информацию", - подчеркнул Муямура, добавив, что "ИИ может быть чрезвычайно умным, но его можно обмануть и манипулировать им невероятно просто, чтобы раскрыть свои данные."

Опасности управления на основе ИИ по мнению Бутерина

Делая публикацию в своем аккаунте X, Бутерин воспользовался возможностью выразить свою точку зрения по этому вопросу. "Вот почему наивное 'управление с помощью ИИ' — плохая идея. Если вы используете ИИ для распределения средств на вклады, люди будут использовать техники внедрения подсказок и пытаться получить 'все деньги' любыми возможными способами", — сказал он.

«Государственное управление с помощью ИИ» относится к системам, которые принимают автоматизированные решения относительно ресурсов или действий, например, распределение средств или определение взносов, на основе правил, установленных ИИ. Бутерин не использует термин «наивный» случайно; он подчеркивает риск предположения, что пользователи всегда будут давать правильные инструкции ИИ, в то время как на практике они могут использовать систему с помощью обходных техник для получения неправомерных преимуществ.

Инъекция подсказки, часто называемая "взломом" в контексте генеративных ИИ, обозначает техники, с помощью которых злонамеренные акторы манипулируют моделью ИИ, чтобы она игнорировала ограничения безопасности или внутренние политики, например, запрашивая действия, которые в противном случае были бы запрещены.

Риски для децентрализованных протоколов

Для основателя Ethereum существует реальный риск передачи управления децентрализованными протоколами ИИ. На традиционных DeFi платформах решения обычно принимаются путем голосования сообщества, как правило, теми, кто владеет определенным токеном или соответствует определенным критериям, и касаются изменений, улучшений или действий, которые необходимо предпринять в протоколе.

Но если будет реализована модель управления на основе ИИ, это откроет дверь для потенциальных манипуляций, которые могут привести к незаконной выгоде, такой как кража денег или личных данных.

Предложенный альтернативный подход

В качестве альтернативы, Бутерин утверждает, что он "поддерживает подход к информационному финансированию, в котором существует открытый рынок, где любой может внести свой вклад со своими моделями, которые подлежат механизму оценки со стороны равных, который может быть активирован любым и оценен человеческим жюри."

Он дальше развивает эту идею :

Этот тип подхода "институционального проектирования", который создает открытую возможность для внешних участников интегрировать свои LLM (большие языковые модели), а не жестко программировать свои собственные, по своей сути более устойчив. Это как потому, что он предлагает разнообразие моделей в реальном времени, так и потому, что создает внутренние стимулы для участников моделей и внешних наблюдателей быть бдительными к этим проблемам и быстро их исправлять.

В этом подходе различные участники могут вносить свои модели принятия решений, которые затем проверяются и оцениваются человеческим жюри. Преимущество заключается в том, что это способствует разнообразию идей, позволяет быстро исправлять ошибки и создает стимулы для того, чтобы создатели моделей и члены сообщества оставались бдительными и ответственными.

Конечная цель заключается в достижении более распределенного и динамичного управления, избегая зависимости от единственной централизованной модели, что является основным принципом философии блокчейн, защищаемой Виталиком Бутериным с момента создания Ethereum.