Священный Грааль Crypto AI: передовые исследования децентрализованного обучения

В полной цепочке создания ценности ИИ модельное обучение является этапом с наибольшим потреблением ресурсов и самым высоким техническим порогом, что напрямую определяет предельные возможности модели и фактическую эффективность применения. В отличие от легковесного вызова на этапе вывода, процесс обучения требует постоянного масштабного投入 вычислительных ресурсов, сложных процессов обработки данных и поддержки высокоинтенсивных алгоритмов оптимизации, что делает его настоящей "тяжелой промышленностью" в построении систем ИИ. С точки зрения архитектурных парадигм, способы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое будет обсуждено в данной статье.

Централизованное обучение является наиболее распространенным традиционным способом, при котором все процессы обучения выполняются одной организацией на локальном высокопроизводительном кластере, от аппаратного обеспечения, программного обеспечения нижнего уровня, системы управления кластерами до всех компонентов обучающего фреймворка, которые координируются единым контролирующим системой. Эта глубокая совместная архитектура позволяет оптимизировать эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее очень подходящей для обучения крупных моделей, таких как GPT и Gemini, обладая высокими показателями эффективности и контролируемыми ресурсами, но одновременно имея такие проблемы, как монополия на данные, барьеры для ресурсов, потребление энергии и риски единой точки отказа.

Распределенная тренировка является основным способом тренировки больших моделей в настоящее время, ее суть заключается в разбиении задачи тренировки модели и распределении ее на несколько машин для совместного выполнения, чтобы преодолеть узкие места вычислений и хранения на одной машине. Несмотря на физическое наличие "распределенных" характеристик, в целом все еще контролируется централизованными организациями, которые управляют и синхронизируют, часто работая в средах с высокоскоростными локальными сетями, с использованием технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует все подзадачи. Основные методы включают:

• Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
• Модельное параллелизм: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
• Параллелизм трубопроводов: поэтапное последовательное выполнение, повышение пропускной способности
• Тензорное параллельное вычисление: детальная сегментация матричных вычислений, повышение параллельной гранулярности

Распределенное обучение является комбинацией "централизованного контроля + распределенного исполнения", аналогично тому, как один и тот же босс удаленно координирует сотрудников нескольких "офисов" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким образом.

Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевыми особенностями являются: несколько недоверяющих узлов совместно выполняют задачу тренировки без центрального координатора, обычно через протокол, управляющий распределением задач и сотрудничеством, и с помощью криптографического механизма стимулов обеспечивают честность вкладов. Основные вызовы, с которыми сталкивается эта модель, включают:

• Гетерогенность устройств и трудности разделения: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
• Узкие места в эффективности связи: нестабильная сетевая связь, очевидные узкие места в синхронизации градиентов
• Отсутствие доверенной среды исполнения: отсутствие доверенной среды исполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
• Недостаток единой координации: отсутствие центрального диспетчера, сложное распределение задач и механизмы отката ошибок

Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "действительно осуществимая масштабная децентрализация тренировки" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, проверку моделей и другие аспекты, но вопрос о том, может ли это быть "совместно эффективно + стимулирование честности + правильный результат", все еще находится на ранней стадии прототипирования.

Федеративное обучение, как переходная форма между распределенными и Децентрализация, подчеркивает локальное сохранение данных и централизованную агрегацию параметров модели, что делает его подходящим для сцен, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и способностью к локальному сотрудничеству, одновременно обладая преимуществами распределенных данных в Децентрализация, но по-прежнему зависит от надежной координирующей стороны и не обладает полностью открытыми и антицензурными характеристиками. Это можно рассматривать как "контролируемую Децентрализация" в контексте соблюдения конфиденциальности, с относительно умеренными задачами обучения, структурами доверия и механизмами связи, что делает его более подходящим для переходной архитектуры развертывания в промышленности.

Децентрализация тренировки: границы, возможности и реальные пути

С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задач, высоких потребностей в ресурсах или большой сложности сотрудничества, она естественно не подходит для эффективного выполнения между гетерогенными, недоверенными узлами. Например, обучение больших моделей часто зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разбиение и синхронизацию в открытой сети; задачи с сильными ограничениями по конфиденциальности данных и суверенитету ограничены юридическими нормами и этическими ограничениями, что делает невозможным открытое共享; а задачи, не имеющие оснований для кооперативного стимулирования, лишены внешних мотиваций для участия. Эти границы совместно составляют реальные ограничения текущего Децентрализованного обучения.

Но это не означает, что децентрализованное обучение является ложной концепцией. На самом деле, в задачах с легкой структурой, которые легко параллелизуются и имеют возможность стимулирования, децентрализованное обучение демонстрирует явные перспективы применения. Включая, но не ограничиваясь: LoRA дообучение, задачи дообучения с выравниванием поведения, задачи обучения и аннотирования с использованием краудсорсинга, обучение малых базовых моделей с контролируемыми ресурсами, а также сценарии совместного обучения с участием периферийных устройств. Эти задачи в целом обладают высокой параллельностью, низкой связанностью и способностью к терпимости к гетерогенной вычислительной мощности, что делает их очень подходящими для совместного обучения через P2P сети, протоколы Swarm, распределенные оптимизаторы и т.д.

Децентрализация тренировки классических проектов

В настоящее время в области Децентрализация обучения и федеративного обучения представительные блокчейн-проекты включают Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности инженерной реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и проектирования алгоритмов, представляя передовые направления теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и уже можно увидеть первые шаги к инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также дополнительно исследованы их различия и взаимодополняющие отношения в системе Децентрализация AI-обучения.

Prime Intellect: тренируемая траектория проверяемой усиленной обучающей кооперативной сети пионера

Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, позволяя каждому участвовать в обучении и получать заслуженные награды за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с возможностью верификации, открытостью и полноценным механизмом стимулов, используя три ключевых модуля: PRIME-RL, TOPLOC и SHARDCAST.

01、Структура стеков протокола Prime Intellect и ценность ключевых модулей

02、Подробное объяснение ключевых механизмов тренировки Prime Intellect

PRIME-RL: Архитектура задач асинхронного усиленного обучения с декомпозицией

PRIME-RL является рамочной моделью задач и выполнения, разработанной Prime Intellect для децентрализованных сценариев обучения, специально созданной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разделяя процесс обучения, вывода и загрузки весов, позволяя каждому обучающему узлу независимо выполнять цикл задач локально и сотрудничать с механизмами валидации и агрегации через стандартизированные интерфейсы. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в среде без централизованного управления, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.

TOPLOC: легкий механизм проверки поведения обучения

TOPLOC — это механизм проверки обучаемости, предложенный Prime Intellect, который используется для определения, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не зависит от повторного вычисления всей модели, а завершает верификацию легковесной структуры, анализируя локальные согласованные траектории между "наблюдательной последовательностью ↔ обновлением стратегии". Он впервые превращает поведенческие траектории в процессе обучения в проверяемые объекты, что является ключевым нововведением для реализации распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализация协作训练网络.

SHARDCAST: Асинхронная агрегация весов и протокол распространения

SHARDCAST — это протокол распространения и агрегирования весов, разработанный Prime Intellect, оптимизированный для реальных сетевых условий с асинхронной работой, ограниченной пропускной способностью и изменчивым состоянием узлов. Он сочетает в себе механизмы распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в условиях несинхронизированного состояния, обеспечивая постепенное сходимость весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и устойчивость к сбоям децентрализованного обучения, являясь核心基础 для построения стабильного консенсуса по весам и непрерывной итерации обучения.

OpenDiLoCo:Разреженная асинхронная коммуникационная рамка

OpenDiLoCo — это независимая реализация и открытая платформа для оптимизации связи, основанная на концепции DiLoCo, предложенной командой Prime Intellect и DeepMind. Она разработана специально для решения таких задач, как ограниченная пропускная способность, гетерогенные устройства и нестабильные узлы, которые часто встречаются в процессе децентрализованного обучения. Архитектура основана на параллелизме данных и использует разреженные топологические структуры, такие как кольцо, расширитель и малый мир, что позволяет избежать высоких затрат на связь, связанных с глобальной синхронизацией, и завершать совместное обучение модели, полагаясь только на локальных соседних узлов. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно увеличивая доступность глобального совместного обучения и становясь одной из ключевых коммуникационных инфраструктур для построения сети децентрализованного обучения.

PCCL:Библиотека совместной связи

PCCL - это легковесная коммуникационная библиотека, созданная Prime Intellect для Децентрализация AI тренировочной среды, предназначенная для решения проблем адаптации традиционных коммуникационных библиотек в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженную топологию, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, является основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает толерантность к пропускной способности сети для обучения и совместимость устройств, открывая "последнюю милю" коммуникационной инфраструктуры для создания действительно открытой, бездоверительной сети совместного обучения.

03、Сеть стимулов Prime Intellect и распределение ролей

Prime Intellect создал сеть обучения, не требующую разрешения, проверяемую и обладающую экономическими стимулами, что позволяет каждому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол работает на основе трех основных ролей:

• Инициатор задачи: определяет тренировочную среду, начальную модель, функцию вознаграждения и стандарт проверки
• Узел обучения: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
• Узлы проверки: использование механизма TOPLOC для проверки подлинности тренировочного поведения и участия в расчете вознаграждений и агрегации стратегий.

Основные процессы соглашения включают публикацию задач, обучение узлов, проверку траекторий, агрегацию весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реальных тренировочных действий".

04, INTELLECT-2: первое верифицируемое Децентрализация обучающее моделирование

Prime Intellect выпустил INTELLECT-2 в мае 2025 года, это первая в мире большая модель глубокого обучения, обученная с помощью асинхронных, доверительных децентрализованных узлов. Объем параметров составляет 32B. Модель INTELLECT-2 была обучена с помощью более чем 100 гетерогенных узлов GPU, расположенных на трех континентах, с использованием полностью асинхронной архитектуры, продолжительность обучения составила более 400 часов, что продемонстрировало жизнеспособность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и первой системной реализацией парадигмы "обучение равно консенсус" от Prime Intellect. INTELLECT-2 интегрирует ключевые протоколы, такие как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первую реализацию децентрализованной сети обучения.