Віталік Бутерін, засновник Ethereum, нещодавно поділився своїми роздумами щодо зростаючої дискусії: ризики, пов'язані з штучним інтелектом (IA) в системах децентралізованого управління.
Російсько-канадський розробник відреагував на публікацію Еіто Муямуру, промоутера проєкту Edison Watch, рішення, створеного для моніторингу та запобігання витокам даних через взаємодії з ШІ. Ця ініціатива виникла після недавнього впровадження протоколу Model Context Protocol (MCP) компанією OpenAI в ChatGPT, що дозволяє інструменту підключатися до Gmail, календарів та інших застосунків.
Через відео-презентацію Муйамура проілюстрував, як зловмисники можуть потенційно отримати доступ до приватних даних, які обмінюються з OpenAI. "Ось основна проблема: агентам ШІ, таким як ChatGPT, важливо виконувати ваші команди, а не ваш здоровий глузд. Лише за допомогою вашої електронної адреси ми можемо витягти всю вашу приватну інформацію", підкреслив Муйамура, додавши, що "ШІ може бути надзвичайно розумним, але його можна обманути та маніпулювати надзвичайно просто, щоб розкрити свої дані."
Небезпеки управління на основі ШІ за словами Бутеріна
Д sharing цю публікацію на своєму акаунті X, Бутерін скористався можливістю, щоб висловити свою точку зору з цього питання. "Ось чому 'управління за допомогою ШІ' є наївною поганою ідеєю. Якщо ви використовуєте ШІ для розподілу коштів на внески, люди будуть використовувати техніки prompt injection і намагатися отримати 'всі гроші' будь-якими можливими способами", - сказав він.
"Губернаторство за допомогою ІА" відноситься до систем, які приймають автоматизовані рішення щодо ресурсів або дій, наприклад, розподіл фондів або визначення внесків, на основі правил, визначених ІА. Бутерін не використовує термін "наївний" випадково; він скоріше підкреслює ризик припускати, що користувачі завжди даватимуть правильні інструкції ІА, тоді як насправді вони можуть експлуатувати систему через техніки обходу, щоб отримати неправомірні переваги.
Prompt injection, часто називають "jailbreaking" в контексті генеративних ШІ, позначає техніки, за допомогою яких зловмисники маніпулюють моделлю ШІ, щоб вона ігнорувала обмеження безпеки або внутрішні політики, наприклад, запитуючи дії, які в іншому випадку були б заборонені.
Ризики для децентралізованих протоколів
Для засновника Ethereum існує реальний ризик передати управління децентралізованими протоколами штучному інтелекту. На традиційних платформах DeFi рішення зазвичай приймаються шляхом голосування громади, зазвичай тими, хто володіє певним токеном або відповідає певним критеріям, і стосуються змін, покращень або дій, які потрібно здійснити в протоколі.
Але якщо буде реалізована модель управління на основі ШІ, це відкриває двері для потенційних маніпуляцій, які можуть призвести до неправомірних вигод, таких як крадіжка грошей або приватних даних.
Альтернативний підхід, що пропонується
Як альтернатива, Бутерін стверджує, що він "підтримує підхід до фінансування інформацією, в якому існує відкритий ринок, де будь-хто може внести свій внесок зі своїми моделями, які підлягають механізму оцінки колегами, що може бути активовано будь-ким і оцінено людським журі."
Він далі розвиває цю ідею :
Цей тип підходу до "інституційного дизайну", який створює відкриту можливість для зовнішніх учасників інтегрувати свої LLM (великі мовні моделі), а не жорстко програмувати свої, є внутрішньо більш надійним. Це як тому, що він пропонує різноманітність моделей в реальному часі, так і тому, що він створює внутрішні стимули для учасників моделей та зовнішніх спостерігачів бути пильними щодо цих проблем і швидко їх виправляти.
У цьому підході різні учасники можуть вносити свій внесок зі своїми моделями прийняття рішень, які потім перевіряються та оцінюються людським журі. Перевага полягає в тому, що це заохочує різноманітність ідей, дозволяє швидко виправляти помилки та створює стимули для того, щоб творці моделей та члени спільноти залишалися пильними та відповідальними.
Кінцева мета полягає в досягненні більш розподіленого та динамічного управління, уникаючи таким чином залежності від єдиної централізованої моделі, що є основним принципом блокчейн-філософії, яку захищає Віталік Бутерін з моменту створення Ethereum.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Віталік Бутерін попереджає про ризики ШІ в управлінні блокчейном
Віталік Бутерін, засновник Ethereum, нещодавно поділився своїми роздумами щодо зростаючої дискусії: ризики, пов'язані з штучним інтелектом (IA) в системах децентралізованого управління.
Російсько-канадський розробник відреагував на публікацію Еіто Муямуру, промоутера проєкту Edison Watch, рішення, створеного для моніторингу та запобігання витокам даних через взаємодії з ШІ. Ця ініціатива виникла після недавнього впровадження протоколу Model Context Protocol (MCP) компанією OpenAI в ChatGPT, що дозволяє інструменту підключатися до Gmail, календарів та інших застосунків.
Через відео-презентацію Муйамура проілюстрував, як зловмисники можуть потенційно отримати доступ до приватних даних, які обмінюються з OpenAI. "Ось основна проблема: агентам ШІ, таким як ChatGPT, важливо виконувати ваші команди, а не ваш здоровий глузд. Лише за допомогою вашої електронної адреси ми можемо витягти всю вашу приватну інформацію", підкреслив Муйамура, додавши, що "ШІ може бути надзвичайно розумним, але його можна обманути та маніпулювати надзвичайно просто, щоб розкрити свої дані."
Небезпеки управління на основі ШІ за словами Бутеріна
Д sharing цю публікацію на своєму акаунті X, Бутерін скористався можливістю, щоб висловити свою точку зору з цього питання. "Ось чому 'управління за допомогою ШІ' є наївною поганою ідеєю. Якщо ви використовуєте ШІ для розподілу коштів на внески, люди будуть використовувати техніки prompt injection і намагатися отримати 'всі гроші' будь-якими можливими способами", - сказав він.
"Губернаторство за допомогою ІА" відноситься до систем, які приймають автоматизовані рішення щодо ресурсів або дій, наприклад, розподіл фондів або визначення внесків, на основі правил, визначених ІА. Бутерін не використовує термін "наївний" випадково; він скоріше підкреслює ризик припускати, що користувачі завжди даватимуть правильні інструкції ІА, тоді як насправді вони можуть експлуатувати систему через техніки обходу, щоб отримати неправомірні переваги.
Prompt injection, часто називають "jailbreaking" в контексті генеративних ШІ, позначає техніки, за допомогою яких зловмисники маніпулюють моделлю ШІ, щоб вона ігнорувала обмеження безпеки або внутрішні політики, наприклад, запитуючи дії, які в іншому випадку були б заборонені.
Ризики для децентралізованих протоколів
Для засновника Ethereum існує реальний ризик передати управління децентралізованими протоколами штучному інтелекту. На традиційних платформах DeFi рішення зазвичай приймаються шляхом голосування громади, зазвичай тими, хто володіє певним токеном або відповідає певним критеріям, і стосуються змін, покращень або дій, які потрібно здійснити в протоколі.
Але якщо буде реалізована модель управління на основі ШІ, це відкриває двері для потенційних маніпуляцій, які можуть призвести до неправомірних вигод, таких як крадіжка грошей або приватних даних.
Альтернативний підхід, що пропонується
Як альтернатива, Бутерін стверджує, що він "підтримує підхід до фінансування інформацією, в якому існує відкритий ринок, де будь-хто може внести свій внесок зі своїми моделями, які підлягають механізму оцінки колегами, що може бути активовано будь-ким і оцінено людським журі."
Він далі розвиває цю ідею :
У цьому підході різні учасники можуть вносити свій внесок зі своїми моделями прийняття рішень, які потім перевіряються та оцінюються людським журі. Перевага полягає в тому, що це заохочує різноманітність ідей, дозволяє швидко виправляти помилки та створює стимули для того, щоб творці моделей та члени спільноти залишалися пильними та відповідальними.
Кінцева мета полягає в досягненні більш розподіленого та динамічного управління, уникаючи таким чином залежності від єдиної централізованої моделі, що є основним принципом блокчейн-філософії, яку захищає Віталік Бутерін з моменту створення Ethereum.