Crypto AI'nin Kutsal Kâsesi: Merkeziyetsizlikte Eğitimdeki Sınırları Zorlamak
AI'nin tüm değer zincirinde, model eğitimi kaynak tüketiminin en yüksek olduğu ve teknik eşiğin en fazla olduğu aşamadır ve doğrudan modelin yetenek sınırını ve gerçek uygulama etkisini belirler. Çıkarım aşamasındaki hafif çağrılara kıyasla, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunlukta optimizasyon algoritması desteği gerektirir; bu, AI sisteminin inşasının gerçek "ağır sanayi"sidir. Mimari paradigmalar açısından, eğitim yöntemleri dört kategoriye ayrılabilir: merkezi eğitim, dağıtık eğitim, federatif öğrenme ve bu makalede odaklanılan Merkeziyetsizlik eğitimi.
Merkeziyetsiz eğitim, genellikle tek bir kuruluşun yerel yüksek performanslı kümeler içinde tüm eğitim süreçlerini tamamladığı en yaygın geleneksel yöntemdir. Donanım, alt yazılım, küme zamanlama sistemi ve eğitim çerçevesindeki tüm bileşenler, tek bir kontrol sistemi tarafından koordine edilerek çalıştırılır. Bu derin işbirliğine dayalı mimari, bellek paylaşımı, gradyan senkronizasyonu ve hata toleransı mekanizmalarının verimliliğini en üst düzeye çıkararak, GPT, Gemini gibi büyük ölçekli modellerin eğitimi için son derece uygundur; yüksek verimlilik ve kontrol edilebilir kaynaklar gibi avantajlara sahiptir, ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunları da barındırmaktadır.
Dağıtık eğitim, günümüz büyük model eğitiminde ana akım yöntemdir; bunun temelinde model eğitim görevlerinin parçalanarak birden fazla makineye dağıtılması ve birlikte yürütülmesi vardır. Bu, tek bir makinenin hesaplama ve depolama darboğazlarını aşmak için gereklidir. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kurum tarafından kontrol edilen planlama ve senkronizasyonla yönetilmektedir. Genellikle yüksek hızlı yerel alan ağları ortamında çalışır ve NVLink yüksek hızlı bağlantı teknolojisi kullanarak ana düğüm, alt görevlerin koordinasyonunu sağlar. Ana akım yöntemler şunları içerir:
Veri paralelliği: Her düğüm farklı veri parametreleri eğitiyor, model ağırlıklarının eşleşmesi gerekiyor.
Model paralelliği: Modelin farklı kısımlarını farklı düğümlerde dağıtarak güçlü ölçeklenebilirlik sağlama
Boru hattı paralel: Aşamalı sıralı yürütme, verimliliği artırır
Tensör paralelliği: Matris hesaplamasını ince ince bölerek, paralel ayrımını artırma
Dağıtık eğitim, "merkezî kontrol + dağıtık yürütme" kombinasyonudur, aynı patronun uzaktan birçok "ofis" çalışanını işbirliği yaparak görevi tamamlamasıyla karşılaştırılabilir. Şu anda neredeyse tüm ana akım büyük modeller bu yöntemle eğitilmektedir.
Merkeziyetsizlik eğitimi, daha açık ve sansüre karşı dayanıklı bir geleceği temsil eder. Temel özellikleri şunlardır: Birbirine güvenmeyen birden fazla düğüm, merkezi bir koordinator olmaksızın eğitim görevini işbirliği içinde tamamlar; genellikle görev dağıtımı ve işbirliği için protokollerle yönlendirilir ve katkının dürüstlüğünü sağlamak için kripto teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı başlıca zorluklar şunlardır:
Cihaz heterojenliği ve parçalama zorluğu: Heterojen cihazların koordinasyonu zor, görev parçalama verimliliği düşük
İletişim verimliliği darboğazı: Ağ iletişimi kararsız, gradyan senkronizasyonu darboğazı belirgin.
Güvenilir yürütme eksikliği: Güvenilir bir yürütme ortamının olmaması, düğümlerin gerçekten hesaplamaya katılıp katılmadığını doğrulamayı zorlaştırır.
Birlikte koordine eksikliği: Merkezi bir kontrol cihazı yok, görev dağıtımı, istisna geri alma mekanizması karmaşık
Merkeziyetsizlik eğitimi, dünya genelinde bir grup gönüllünün, kendi hesaplama güçlerini katkıda bulunarak model eğitimi yaptığı şekilde anlaşılabilir; ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala bir sistemsel mühendislik zorluğu olarak kalmaktadır. Bu, sistem mimarisi, iletişim protokolleri, şifre güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok yönü içermektedir. Ancak "iş birliği etkili + dürüstlüğü teşvik etme + sonuç doğru" olup olmayacağı hala erken prototip keşif aşamasındadır.
Federated learning, bir dağıtık ve Merkeziyetsizlik arasında geçiş biçimi olarak, verilerin yerel olarak saklanmasını ve model parametrelerinin merkezi olarak toplanmasını vurgular, gizlilik uyumuna önem veren senaryolar için uygundur. Federated learning, dağıtık eğitim mühendislik yapısına ve yerel işbirliği yeteneğine sahiptir; aynı zamanda Merkeziyetsizlik eğitimindeki verilerin dağınık avantajlarını da taşır, ancak hala güvenilir bir koordinatöre bağımlıdır ve tam anlamıyla açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyumu senaryolarında "kontrollü merkeziyetsizlik" çözümü olarak düşünülebilir, eğitim görevleri, güven yapısı ve iletişim mekanizmaları açısından oldukça ılımlıdır, bu nedenle sanayi geçişi dağıtım yapısı olarak daha uygundur.
Merkeziyetsizlik eğitiminin sınırları, fırsatları ve gerçek yolları
Eğitim paradigmaları açısından, merkeziyetsiz eğitim tüm görev türleri için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin çok yüksek olması veya işbirliği zorluğu nedeniyle, doğal olarak heterojen, güvene dayalı olmayan düğümler arasında verimli bir şekilde tamamlanması zorlaşır. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliğine dayanır, bu nedenle açık ağda etkin bir şekilde bölünmesi ve senkronize edilmesi zordur; veri gizliliği ve egemenlik kısıtlamaları olan görevler, yasal uyumluluk ve etik kısıtlamalar nedeniyle açıkça paylaşılamaz; işbirliği teşvikleri olmayan görevler ise dış katılım motivasyonundan yoksundur. Bu sınırlamalar, mevcut merkeziyetsiz eğitimin gerçek sınırlamalarını oluşturmaktadır.
Ancak bu, merkeziyetsizlik eğitiminin sahte bir kavram olduğu anlamına gelmez. Aslında, yapı olarak hafif, kolay paralelleştirilebilen ve teşvik edici görev türlerinde, merkeziyetsizlik eğitimi belirgin uygulama potansiyeli göstermektedir. Bunlar arasında ancak bunlarla sınırlı olmamak üzere: LoRA ince ayar, davranış hizalama sonrası eğitim görevleri, veri kalabalık eğitim ve etiketleme görevleri, kaynak kontrolüne dayalı küçük temel model eğitimi ve kenar cihazların katıldığı işbirlikçi eğitim senaryoları bulunmaktadır. Bu görevler genel olarak yüksek paralellik, düşük bağlılık ve heterojen hesap gücüne tolerans gibi özelliklere sahiptir ve P2P ağları, Swarm protokolleri, dağıtık optimizatörler gibi yöntemlerle işbirlikçi eğitim için oldukça uygundur.
Merkeziyetsizlik Eğitim Klasik Proje Analizi
Şu anda Merkeziyetsizlik eğitim ve federated öğrenme öncü alanında, temsilci blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik gerçekleştirme zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai sistem mimarisi ve algoritma tasarımı konusunda birçok özgün keşif önerdi ve mevcut teorik araştırmanın öncü yönlerini temsil ediyor; Gensyn ve Flock.io'nun gerçekleştirme yolları ise nispeten net olup, ilk mühendislik ilerlemelerini görebiliyoruz. Bu makalede, bu beş projenin arkasındaki temel teknolojileri ve mühendislik mimarilerini sırasıyla analiz edeceğiz ve Merkeziyetsizlik AI eğitim sistemi içindeki farklılıkları ve tamamlayıcı ilişkilerini daha fazla tartışacağız.
Prime Intellect: Eğitim izleri doğrulanabilir güçlendirilmiş öğrenme iş birliği ağı öncüsü
Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeye kararlıdır; böylece herkes eğitim sürecine katılabilir ve yaptığı hesap katkıları için güvenilir ödüller alabilir. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST üç ana modülü aracılığıyla, doğrulanabilir, açık ve teşvik mekanizmaları tam olan merkeziyetsiz bir AI eğitim sistemi oluşturmayı hedeflemektedir.
01, Prime Intellect protokol yığını yapısı ve ana modül değeri
02, Prime Intellect eğitimi anahtar mekanizmalarının detaylı açıklaması
PRIME-RL:Ayrık Asenkron Pekiştirme Öğrenme Görev Mimarisi
PRIME-RL, Prime Intellect'in Merkeziyetsizlik eğitim senaryoları için özelleştirilmiş görev modelleme ve yürütme çerçevesidir, heterojen ağlar ve eşzamanlı katılımcılar için özel olarak tasarlanmıştır. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırır, böylece her eğitim düğümü yerel olarak bağımsız olarak görev döngüsünü tamamlayabilir ve standart arayüzler aracılığıyla doğrulama ve toplama mekanizmalarıyla iş birliği yapabilir. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL, merkezi bir planlama ortamında esnek eğitimi gerçekleştirmek için daha uygundur, hem sistem karmaşıklığını azaltmakta hem de çoklu görev paralelliği ve strateji evrimi için bir temel oluşturmaktadır.
TOPLOC:Ağırlıksız Eğitim Davranış Doğrulama Mekanizması
TOPLOC, Prime Intellect tarafından önerilen, bir düğümün gerçekten gözlem verilerine dayalı olarak etkili bir strateji öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılan bir eğitim doğrulama çekirdek mekanizmasıdır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tam model yeniden hesaplamasına dayanmaz, bunun yerine "gözlem dizisi↔strateji güncelleme" arasındaki yerel tutarlılık izlerini analiz ederek hafif yapı doğrulamasını tamamlar. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren ilk sistemdir, güvenmeye gerek kalmadan eğitim ödül dağıtımını sağlamanın anahtar yeniliğidir ve denetlenebilir, teşvik edici merkeziyetsiz işbirlikçi eğitim ağlarının inşası için uygulanabilir bir yol sunar.
SHARDCAST: Asenkron Ağırlık Toplama ve Yayılma Protokolü
SHARDCAST, Prime Intellect tarafından tasarlanan ağırlık yayılımı ve birleştirme protokolüdür, asenkron, bant genişliği kısıtlı ve düğüm durumu sürekli değişen gerçek ağ ortamı için optimize edilmiştir. Gossip yayılım mekanizması ve yerel senkronizasyon stratejisinin bir kombinasyonunu içerir, birden fazla düğümün senkronize olmayan durumlarda sürekli kısmi güncellemeler göndermesine izin verir, ağırlıkların kademeli yakınsamasını ve çoklu sürüm evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST merkeziyetsizlik eğitiminde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır, kararlı ağırlık konsensüsü ve sürekli eğitim iterasyonlarının inşası için temel bir temeldir.
OpenDiLoCo: Seyrek Asenkron İletişim Çerçevesi
OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo fikrini bağımsız olarak uygulayıp açık kaynak haline getirdiği bir iletişim optimizasyon çerçevesidir. Bu çerçeve, merkeziyetsiz eğitimde sıkça karşılaşılan bant genişliği kısıtlamaları, heterojen cihazlar ve düzensiz düğümler gibi zorluklar için özel olarak tasarlanmıştır. Mimarisi veri paralelliğine dayanmaktadır ve Ring, Expander, Small-World gibi seyrek topoloji yapıları inşa ederek, küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmakta, yalnızca yerel komşu düğümlere dayanarak model işbirliği eğitimini tamamlamaktadır. Asenkron güncellemeler ve kesinti tolerans mekanizması ile birleştiğinde, OpenDiLoCo, tüketici sınıfı GPU'ların ve kenar cihazların eğitim görevlerine kararlı bir şekilde katılabilmesini sağlamakta, küresel işbirliği eğitimine katılımı önemli ölçüde artırmakta ve merkeziyetsiz eğitim ağlarının inşasında kritik bir iletişim altyapılarından biri olmaktadır.
PCCL: İşbirliği İletişim Kütüphanesi
PCCL, Prime Intellect tarafından merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir ve geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyetli senkronizasyonu ve kesinti kurtarmayı destekler, tüketici sınıfı GPU'lar ve istikrarsız düğümler üzerinde çalışabilir ve OpenDiLoCo protokolünün asenkron iletişim yeteneğinin temel bileşenidir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçek anlamda açık ve güvene ihtiyaç duymayan işbirlikçi eğitim ağını oluşturmanın "son bir mil" iletişim temelini sağlamaktadır.
03, Prime Intellect teşvik ağı ve rol dağılımı
Prime Intellect, herhangi birinin görevlere katılmasını ve gerçek katkılara dayalı olarak ödüller kazanmasını sağlayan, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizmasına sahip bir eğitim ağı inşa etti. Protokol, üç temel rol üzerine çalışmaktadır:
Görev başlatıcısı: eğitim ortamını, başlangıç modelini, ödül fonksiyonunu ve doğrulama standartlarını tanımlar.
Eğitim düğümü: Yerel eğitimi yürütme, ağırlık güncellemelerini gönderme ve gözlem izlerini sağlama
Doğrulama Düğümleri: Eğitim davranışının gerçekliğini doğrulamak için TOPLOC mekanizmasını kullanır ve ödül hesaplaması ile strateji birleştirmesine katılır.
Protokolün ana süreçleri görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme ve ödül dağıtımını içerir ve "gerçek eğitim davranışı" etrafında bir teşvik kapalı döngü oluşturur.
04, INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayınlanması
Prime Intellect, 2025 yılının Mayıs ayında INTELLECT-2'yi piyasaya sürdü. Bu, dünya çapında asenkron, güvene dayanmayan Merkeziyetsizlik düğümleri ile işbirliği içinde eğitilen ilk büyük ölçekli pekiştirmeli öğrenim modelidir ve 32B parametre büyüklüğüne sahiptir. INTELLECT-2 modeli, üç kıtaya yayılmış 100'den fazla GPU heterojen düğüm tarafından işbirliği ile eğitilmiştir. Tamamen asenkron bir mimari kullanarak, eğitim süresi 400 saati aşmış ve asenkron işbirliği ağının uygulanabilirliğini ve istikrarını göstermiştir. Bu model sadece bir performans sıçraması değil, aynı zamanda Prime Intellect'in "eğitim, uzlaşmadır" paradigmasının ilk sistematik uygulanmasıdır. INTELLECT-2, PRIME-RL, TOPLOC ve SHARDCAST gibi temel protokol modüllerini entegre ederek, Merkeziyetsiz eğitim ağının ilk kez eğitim gerçekleştirmesini simgeliyor.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
17 Likes
Reward
17
9
Share
Comment
0/400
GasFeeCrying
· 07-09 05:26
Hangi ağır sanayi, hala ekran kartı yığmak değil mi?
View OriginalReply0
WagmiWarrior
· 07-08 05:48
Bu, AI versiyonunun pow'u değil mi?
View OriginalReply0
MEVSandwichVictim
· 07-07 10:38
Yine kavramları gündeme getirmek ne işe yarıyor?
View OriginalReply0
TradFiRefugee
· 07-06 14:34
Dönmüş olmalı.
View OriginalReply0
DefiSecurityGuard
· 07-06 14:33
kırmızı bayrak: merkezi eğitim = tek hata noktası. bu güvenlik risklerine şaşırıyorum...
View OriginalReply0
RooftopReserver
· 07-06 14:28
Veri Mining Maden Faciası ile ilgili bilgi alınız~
Merkeziyetsizlik AI eğitiminin öncü keşifleri: merkeziyetten Prime Intellect'e yenilikçi atılımlar
Crypto AI'nin Kutsal Kâsesi: Merkeziyetsizlikte Eğitimdeki Sınırları Zorlamak
AI'nin tüm değer zincirinde, model eğitimi kaynak tüketiminin en yüksek olduğu ve teknik eşiğin en fazla olduğu aşamadır ve doğrudan modelin yetenek sınırını ve gerçek uygulama etkisini belirler. Çıkarım aşamasındaki hafif çağrılara kıyasla, eğitim süreci sürekli büyük ölçekli hesaplama gücü yatırımı, karmaşık veri işleme süreçleri ve yüksek yoğunlukta optimizasyon algoritması desteği gerektirir; bu, AI sisteminin inşasının gerçek "ağır sanayi"sidir. Mimari paradigmalar açısından, eğitim yöntemleri dört kategoriye ayrılabilir: merkezi eğitim, dağıtık eğitim, federatif öğrenme ve bu makalede odaklanılan Merkeziyetsizlik eğitimi.
Merkeziyetsiz eğitim, genellikle tek bir kuruluşun yerel yüksek performanslı kümeler içinde tüm eğitim süreçlerini tamamladığı en yaygın geleneksel yöntemdir. Donanım, alt yazılım, küme zamanlama sistemi ve eğitim çerçevesindeki tüm bileşenler, tek bir kontrol sistemi tarafından koordine edilerek çalıştırılır. Bu derin işbirliğine dayalı mimari, bellek paylaşımı, gradyan senkronizasyonu ve hata toleransı mekanizmalarının verimliliğini en üst düzeye çıkararak, GPT, Gemini gibi büyük ölçekli modellerin eğitimi için son derece uygundur; yüksek verimlilik ve kontrol edilebilir kaynaklar gibi avantajlara sahiptir, ancak aynı zamanda veri tekelciliği, kaynak engelleri, enerji tüketimi ve tek nokta riski gibi sorunları da barındırmaktadır.
Dağıtık eğitim, günümüz büyük model eğitiminde ana akım yöntemdir; bunun temelinde model eğitim görevlerinin parçalanarak birden fazla makineye dağıtılması ve birlikte yürütülmesi vardır. Bu, tek bir makinenin hesaplama ve depolama darboğazlarını aşmak için gereklidir. Fiziksel olarak "dağıtık" özelliklere sahip olmasına rağmen, genel olarak merkezi bir kurum tarafından kontrol edilen planlama ve senkronizasyonla yönetilmektedir. Genellikle yüksek hızlı yerel alan ağları ortamında çalışır ve NVLink yüksek hızlı bağlantı teknolojisi kullanarak ana düğüm, alt görevlerin koordinasyonunu sağlar. Ana akım yöntemler şunları içerir:
Dağıtık eğitim, "merkezî kontrol + dağıtık yürütme" kombinasyonudur, aynı patronun uzaktan birçok "ofis" çalışanını işbirliği yaparak görevi tamamlamasıyla karşılaştırılabilir. Şu anda neredeyse tüm ana akım büyük modeller bu yöntemle eğitilmektedir.
Merkeziyetsizlik eğitimi, daha açık ve sansüre karşı dayanıklı bir geleceği temsil eder. Temel özellikleri şunlardır: Birbirine güvenmeyen birden fazla düğüm, merkezi bir koordinator olmaksızın eğitim görevini işbirliği içinde tamamlar; genellikle görev dağıtımı ve işbirliği için protokollerle yönlendirilir ve katkının dürüstlüğünü sağlamak için kripto teşvik mekanizmaları kullanılır. Bu modelin karşılaştığı başlıca zorluklar şunlardır:
Merkeziyetsizlik eğitimi, dünya genelinde bir grup gönüllünün, kendi hesaplama güçlerini katkıda bulunarak model eğitimi yaptığı şekilde anlaşılabilir; ancak "gerçekten uygulanabilir büyük ölçekli merkeziyetsizlik eğitimi" hala bir sistemsel mühendislik zorluğu olarak kalmaktadır. Bu, sistem mimarisi, iletişim protokolleri, şifre güvenliği, ekonomik mekanizmalar, model doğrulama gibi birçok yönü içermektedir. Ancak "iş birliği etkili + dürüstlüğü teşvik etme + sonuç doğru" olup olmayacağı hala erken prototip keşif aşamasındadır.
Federated learning, bir dağıtık ve Merkeziyetsizlik arasında geçiş biçimi olarak, verilerin yerel olarak saklanmasını ve model parametrelerinin merkezi olarak toplanmasını vurgular, gizlilik uyumuna önem veren senaryolar için uygundur. Federated learning, dağıtık eğitim mühendislik yapısına ve yerel işbirliği yeteneğine sahiptir; aynı zamanda Merkeziyetsizlik eğitimindeki verilerin dağınık avantajlarını da taşır, ancak hala güvenilir bir koordinatöre bağımlıdır ve tam anlamıyla açık ve sansüre dayanıklı özelliklere sahip değildir. Gizlilik uyumu senaryolarında "kontrollü merkeziyetsizlik" çözümü olarak düşünülebilir, eğitim görevleri, güven yapısı ve iletişim mekanizmaları açısından oldukça ılımlıdır, bu nedenle sanayi geçişi dağıtım yapısı olarak daha uygundur.
Merkeziyetsizlik eğitiminin sınırları, fırsatları ve gerçek yolları
Eğitim paradigmaları açısından, merkeziyetsiz eğitim tüm görev türleri için uygun değildir. Bazı senaryolarda, görev yapısının karmaşık olması, kaynak gereksinimlerinin çok yüksek olması veya işbirliği zorluğu nedeniyle, doğal olarak heterojen, güvene dayalı olmayan düğümler arasında verimli bir şekilde tamamlanması zorlaşır. Örneğin, büyük model eğitimi genellikle yüksek bellek, düşük gecikme ve yüksek bant genişliğine dayanır, bu nedenle açık ağda etkin bir şekilde bölünmesi ve senkronize edilmesi zordur; veri gizliliği ve egemenlik kısıtlamaları olan görevler, yasal uyumluluk ve etik kısıtlamalar nedeniyle açıkça paylaşılamaz; işbirliği teşvikleri olmayan görevler ise dış katılım motivasyonundan yoksundur. Bu sınırlamalar, mevcut merkeziyetsiz eğitimin gerçek sınırlamalarını oluşturmaktadır.
Ancak bu, merkeziyetsizlik eğitiminin sahte bir kavram olduğu anlamına gelmez. Aslında, yapı olarak hafif, kolay paralelleştirilebilen ve teşvik edici görev türlerinde, merkeziyetsizlik eğitimi belirgin uygulama potansiyeli göstermektedir. Bunlar arasında ancak bunlarla sınırlı olmamak üzere: LoRA ince ayar, davranış hizalama sonrası eğitim görevleri, veri kalabalık eğitim ve etiketleme görevleri, kaynak kontrolüne dayalı küçük temel model eğitimi ve kenar cihazların katıldığı işbirlikçi eğitim senaryoları bulunmaktadır. Bu görevler genel olarak yüksek paralellik, düşük bağlılık ve heterojen hesap gücüne tolerans gibi özelliklere sahiptir ve P2P ağları, Swarm protokolleri, dağıtık optimizatörler gibi yöntemlerle işbirlikçi eğitim için oldukça uygundur.
Merkeziyetsizlik Eğitim Klasik Proje Analizi
Şu anda Merkeziyetsizlik eğitim ve federated öğrenme öncü alanında, temsilci blok zinciri projeleri arasında Prime Intellect, Pluralis.ai, Gensyn, Nous Research ve Flock.io bulunmaktadır. Teknik yenilikçilik ve mühendislik gerçekleştirme zorluğu açısından, Prime Intellect, Nous Research ve Pluralis.ai sistem mimarisi ve algoritma tasarımı konusunda birçok özgün keşif önerdi ve mevcut teorik araştırmanın öncü yönlerini temsil ediyor; Gensyn ve Flock.io'nun gerçekleştirme yolları ise nispeten net olup, ilk mühendislik ilerlemelerini görebiliyoruz. Bu makalede, bu beş projenin arkasındaki temel teknolojileri ve mühendislik mimarilerini sırasıyla analiz edeceğiz ve Merkeziyetsizlik AI eğitim sistemi içindeki farklılıkları ve tamamlayıcı ilişkilerini daha fazla tartışacağız.
Prime Intellect: Eğitim izleri doğrulanabilir güçlendirilmiş öğrenme iş birliği ağı öncüsü
Prime Intellect, güvene ihtiyaç duymayan bir AI eğitim ağı inşa etmeye kararlıdır; böylece herkes eğitim sürecine katılabilir ve yaptığı hesap katkıları için güvenilir ödüller alabilir. Prime Intellect, PRIME-RL + TOPLOC + SHARDCAST üç ana modülü aracılığıyla, doğrulanabilir, açık ve teşvik mekanizmaları tam olan merkeziyetsiz bir AI eğitim sistemi oluşturmayı hedeflemektedir.
01, Prime Intellect protokol yığını yapısı ve ana modül değeri
02, Prime Intellect eğitimi anahtar mekanizmalarının detaylı açıklaması
PRIME-RL:Ayrık Asenkron Pekiştirme Öğrenme Görev Mimarisi
PRIME-RL, Prime Intellect'in Merkeziyetsizlik eğitim senaryoları için özelleştirilmiş görev modelleme ve yürütme çerçevesidir, heterojen ağlar ve eşzamanlı katılımcılar için özel olarak tasarlanmıştır. Güçlendirilmiş öğrenmeyi öncelikli uyum nesnesi olarak kullanır, eğitim, çıkarım ve ağırlık yükleme süreçlerini yapısal olarak ayrıştırır, böylece her eğitim düğümü yerel olarak bağımsız olarak görev döngüsünü tamamlayabilir ve standart arayüzler aracılığıyla doğrulama ve toplama mekanizmalarıyla iş birliği yapabilir. Geleneksel denetimli öğrenme süreçlerine kıyasla, PRIME-RL, merkezi bir planlama ortamında esnek eğitimi gerçekleştirmek için daha uygundur, hem sistem karmaşıklığını azaltmakta hem de çoklu görev paralelliği ve strateji evrimi için bir temel oluşturmaktadır.
TOPLOC:Ağırlıksız Eğitim Davranış Doğrulama Mekanizması
TOPLOC, Prime Intellect tarafından önerilen, bir düğümün gerçekten gözlem verilerine dayalı olarak etkili bir strateji öğrenimi gerçekleştirip gerçekleştirmediğini belirlemek için kullanılan bir eğitim doğrulama çekirdek mekanizmasıdır. ZKML gibi ağır çözümlerden farklı olarak, TOPLOC tam model yeniden hesaplamasına dayanmaz, bunun yerine "gözlem dizisi↔strateji güncelleme" arasındaki yerel tutarlılık izlerini analiz ederek hafif yapı doğrulamasını tamamlar. Eğitim sürecindeki davranış izlerini doğrulanabilir nesnelere dönüştüren ilk sistemdir, güvenmeye gerek kalmadan eğitim ödül dağıtımını sağlamanın anahtar yeniliğidir ve denetlenebilir, teşvik edici merkeziyetsiz işbirlikçi eğitim ağlarının inşası için uygulanabilir bir yol sunar.
SHARDCAST: Asenkron Ağırlık Toplama ve Yayılma Protokolü
SHARDCAST, Prime Intellect tarafından tasarlanan ağırlık yayılımı ve birleştirme protokolüdür, asenkron, bant genişliği kısıtlı ve düğüm durumu sürekli değişen gerçek ağ ortamı için optimize edilmiştir. Gossip yayılım mekanizması ve yerel senkronizasyon stratejisinin bir kombinasyonunu içerir, birden fazla düğümün senkronize olmayan durumlarda sürekli kısmi güncellemeler göndermesine izin verir, ağırlıkların kademeli yakınsamasını ve çoklu sürüm evrimini gerçekleştirir. Merkezi veya senkronize AllReduce yöntemlerine kıyasla, SHARDCAST merkeziyetsizlik eğitiminde ölçeklenebilirliği ve hata toleransını önemli ölçüde artırır, kararlı ağırlık konsensüsü ve sürekli eğitim iterasyonlarının inşası için temel bir temeldir.
OpenDiLoCo: Seyrek Asenkron İletişim Çerçevesi
OpenDiLoCo, Prime Intellect ekibinin DeepMind tarafından önerilen DiLoCo fikrini bağımsız olarak uygulayıp açık kaynak haline getirdiği bir iletişim optimizasyon çerçevesidir. Bu çerçeve, merkeziyetsiz eğitimde sıkça karşılaşılan bant genişliği kısıtlamaları, heterojen cihazlar ve düzensiz düğümler gibi zorluklar için özel olarak tasarlanmıştır. Mimarisi veri paralelliğine dayanmaktadır ve Ring, Expander, Small-World gibi seyrek topoloji yapıları inşa ederek, küresel senkronizasyonun yüksek iletişim maliyetlerinden kaçınmakta, yalnızca yerel komşu düğümlere dayanarak model işbirliği eğitimini tamamlamaktadır. Asenkron güncellemeler ve kesinti tolerans mekanizması ile birleştiğinde, OpenDiLoCo, tüketici sınıfı GPU'ların ve kenar cihazların eğitim görevlerine kararlı bir şekilde katılabilmesini sağlamakta, küresel işbirliği eğitimine katılımı önemli ölçüde artırmakta ve merkeziyetsiz eğitim ağlarının inşasında kritik bir iletişim altyapılarından biri olmaktadır.
PCCL: İşbirliği İletişim Kütüphanesi
PCCL, Prime Intellect tarafından merkeziyetsizlik AI eğitim ortamı için özel olarak tasarlanmış hafif bir iletişim kütüphanesidir ve geleneksel iletişim kütüphanelerinin heterojen cihazlar ve düşük bant genişliği ağlarındaki uyum sorunlarını çözmeyi amaçlamaktadır. PCCL, seyrek topolojiyi, gradyan sıkıştırmayı, düşük hassasiyetli senkronizasyonu ve kesinti kurtarmayı destekler, tüketici sınıfı GPU'lar ve istikrarsız düğümler üzerinde çalışabilir ve OpenDiLoCo protokolünün asenkron iletişim yeteneğinin temel bileşenidir. Eğitim ağının bant genişliği toleransını ve cihaz uyumluluğunu önemli ölçüde artırarak, gerçek anlamda açık ve güvene ihtiyaç duymayan işbirlikçi eğitim ağını oluşturmanın "son bir mil" iletişim temelini sağlamaktadır.
03, Prime Intellect teşvik ağı ve rol dağılımı
Prime Intellect, herhangi birinin görevlere katılmasını ve gerçek katkılara dayalı olarak ödüller kazanmasını sağlayan, izin gerektirmeyen, doğrulanabilir ve ekonomik teşvik mekanizmasına sahip bir eğitim ağı inşa etti. Protokol, üç temel rol üzerine çalışmaktadır:
Protokolün ana süreçleri görev yayınlama, düğüm eğitimi, iz doğrulama, ağırlık birleştirme ve ödül dağıtımını içerir ve "gerçek eğitim davranışı" etrafında bir teşvik kapalı döngü oluşturur.
04, INTELLECT-2: İlk doğrulanabilir Merkeziyetsizlik eğitim modelinin yayınlanması
Prime Intellect, 2025 yılının Mayıs ayında INTELLECT-2'yi piyasaya sürdü. Bu, dünya çapında asenkron, güvene dayanmayan Merkeziyetsizlik düğümleri ile işbirliği içinde eğitilen ilk büyük ölçekli pekiştirmeli öğrenim modelidir ve 32B parametre büyüklüğüne sahiptir. INTELLECT-2 modeli, üç kıtaya yayılmış 100'den fazla GPU heterojen düğüm tarafından işbirliği ile eğitilmiştir. Tamamen asenkron bir mimari kullanarak, eğitim süresi 400 saati aşmış ve asenkron işbirliği ağının uygulanabilirliğini ve istikrarını göstermiştir. Bu model sadece bir performans sıçraması değil, aynı zamanda Prime Intellect'in "eğitim, uzlaşmadır" paradigmasının ilk sistematik uygulanmasıdır. INTELLECT-2, PRIME-RL, TOPLOC ve SHARDCAST gibi temel protokol modüllerini entegre ederek, Merkeziyetsiz eğitim ağının ilk kez eğitim gerçekleştirmesini simgeliyor.