大模型作爲人類歷史上普及速度最快的高科技吸引了所有人的注意力，昨日黃花的web3在法律上越來越受到了挑戰。但是作爲完全不同的技術，兩者之間不存在任何的替代關係。萬物島“AI+Crypto Studio”主理人—田鴻飛老師，將與大家共同探討大模型發展中遇到的問題，以及web3領域中的企業如何致力於解決這些問題。

大模型行業問題以及如何結合Web3來解決問題

衆所周知，2015年之後互聯網行業進入了寡頭壟斷階段，全球各國都對平台公司進行了反壟斷審查。大模型的產生進一步加劇了寡頭的壟斷地位。大模型包括算法、算力和數據：

• 在算法領域，雖然存在一定程度的壟斷，但是由於開源力量和研究大學的對抗，以及人們對於寡頭的不信任，所以算法在很大程度上可以保持開放；
• 在算力方面，由於大模型的訓練成本極高，算力只有大企業才能負擔，所以這本質上導致了算法的生產完全被大企業控制；
• 在數據方面，雖然大模型的訓練依靠的是公開數據，但是根據大模型的參數增長，公開數據很快將會耗盡，因此大模型的繼續增長依賴於私有數據。雖然數量衆多的小企業擁有的絕對數據量巨大，但是孤立存在難以利用，因此大企業仍然對數據具有壟斷優勢。

因此，大模型時代的中心化控制比以前更強，未來的世界很可能會被少數幾臺甚至一臺計算機控制。（即便在去中心化的Web3世界，Vitalik建議的以太坊的End Game將會由一臺巨大的出塊機來運行。）

另外，開發ChatGPT的OpenAI公司的核心人員僅僅20餘人。基於各種原因，ChatGPT的算法至今沒有開源，原來基於非盈利的企業性質變更爲有限盈利。隨着依賴於ChatGPT的各種應用改變了人類生活，ChatGPT模型的一些修改將會極大的影響人類，相對於Google的不作惡原則，ChatGPT對人們的影響更加深入。

因此，模型的計算可信性將會成爲重要議題。雖然OpenAI可以作爲非盈利，但是權力被少數人控制仍然會產生很多不利後果。（對比之下，Vitalik建議的以太坊End Game雖然由一臺機器出塊，但是將通過公衆非常容易的驗證來維持透明性。）

同時對於大模型行業現在還存在：算力短缺，可用的訓練數據即將消耗完，以及模型的共享等問題。根據統計，在2021年之前，人工智能行業的問題是缺乏數據，所有深度學習公司都在尋找垂直行業的數據；而在大模型之後，缺乏算力成爲障礙。

大模型開發分爲幾個階段：收集數據、數據預處理、模型訓練、模型微調、部署查詢推理。從這幾個階段，先簡述下區塊鏈對大模型的貢獻，以及如何對抗大模型集中度過高的危害。

• 在數據方面，由於公開數據在2030年之後將被消耗完，更有價值更大數量的私有數據需要通過區塊鏈技術保護隱私的前提下被利用；
• 在數據標注方面，可以通過代幣激勵更大規模的標注和核查數據；
• 在模型訓練階段，通過模型分享，協作訓練來實現算力共享；
• 在模型微調階段，可以通過代幣激勵社區的參與；
• 在用戶查詢推理計算階段，區塊鏈可以保護用戶數據隱私。

1）稀缺的算力

算力是大模型的必要生產要素，而且是如今最貴的生產要素，以至於剛剛融資的創業公司不得不將80%的資金轉手就交給NVIDIA購買GPU。自己生產大模型的公司不得不至少花費5000萬美金自建數據中心，而小型創業公司不得不購買昂貴的雲計算服務。

但是，短時間的大模型熱度以及大模型本身對於計算資源的巨量消耗，已經大幅度超過了NVIDIA的供應能力。據統計，大模型對算力的需求每幾個月就翻番，2012到2018年期間，算力需求增加了30萬倍，大模型計算的成本每年就增加31倍。

對於中國的互聯網企業，還不得不面對美國對於高端GPU的禁運。可以說，巨額的訓練成本是大模型技術被少數人控制的核心原因。

那麼如何通過區塊鏈化解大模型算力問題？

考慮大模型的生產主要分爲大模型訓練、微調訓練（fine tuning）和用戶查詢推理計算。雖然大模型以訓練費用昂貴著稱，但是大模型一個版本只需要生成一次。大多數時間，對於大模型服務用戶，只需要推理計算。根據AWS的統計也證實了這一點，80%的算力實際消耗在了推理計算。

雖然大模型的訓練需要GPU之間的高速通信能力，無法在網路上完成（除非選擇用時間延長換取低成本）。但是推理計算可以在單個GPU上完成。微調訓練（fine tuning）是因爲基於已經生成的大模型，賦予專業數據，因此需要的計算資源相對於大模型訓練也要少很多。

在圖形渲染方面，顯然消費者GPU的性能要好於企業GPU，而且大多數時間在空閒。自從1999年加州伯克利大學發起尋找外星人的SETI，以及2000年流行的Grid Computing就已開始，有一些技術架構是利用空閒的計算資源協作共同完成一些巨量計算任務。在區塊鏈產生之前，這些協作通常集中於科學任務，依賴參與者的熱情和公益參與，限制了影響範圍。現在利用區塊鏈技術，可以通過代幣激勵其大範圍的應用。

正如去中心化的雲計算項目Akash，建立了一個通用計算網路，使用者可以部署機器學習模型用來推理計算以及渲染圖片。還有Bittensor、Modulus Lab、Giza、ChainML等區塊鏈結合AI的項目都針對查詢推理計算。

而區塊鏈 AI 計算協議Gensyn和開源生成式AI平台Together立志建立一個爲大模型訓練服務的去中心化計算網路。

挑戰：對於去中心化的計算網路，難處不僅僅在於低速不可靠的通信網路，計算狀態無法同步，處理多種類型的GPU類型計算環境，還要處理經濟激勵，參與者作弊，工作量證明，安全，隱私保護，以及反垃圾攻擊等問題。

2）稀缺的數據以及數據校正

大模型的核心算法Reinforcement Learning from Human Feedback(RLHF)需要人的參與微調訓練，糾正錯誤、消除偏見和有害信息。OpenAI利用RLHF微調GPT3生成了ChatGPT，這個過程中OpenAI從Facebook的Group中尋找專家，支付每小時2美元給肯尼亞勞工。優化訓練通常需要人類專家參與專業領域的數據，而其實現完全可以與通過代幣激勵社區參與的方式來結合。

Decentralized Physical Infrastructure Networks (DePINs) 行業通過代幣激勵人們按照感應器，共享來自物理世界的真實的、實時的數據，用以各種模型訓練。包括：React收集能源使用數據、DIMO收集車輛行駛數據、WeatherXM收集天氣數據，Hivemapper通過代幣激勵收集地圖數據，激勵人們對交通標志進行標注，幫助其RLHF的機器學習算法提高精確度。

同時隨着大模型參數的增加，現存的公開數據將在2030年耗盡，大模型的繼續進步將不得不依賴私有數據。私有數據的數量是公有數據的10倍，但是分散在企業和個人的手裏，並且具有隱私和保密性質，難以被利用。產生了雙難問題，一方面大模型需要數據，可有數據的一方雖然需要大模型，但是不希望將數據交給大模型使用。 這個雙難問題同樣可以通過區塊鏈領域的技術來解決。

對於開源的推理模型，因爲所需計算資源少，可以將模型下載到數據段來執行；對於不公開的模型或者大模型，需要將數據脫敏處理後上傳給模型端。脫敏處理的方法包括合成數據和零知識證明。

不管是模型下載到數據端，還是數據上傳到模型端，都需要解決權威性問題，防止模型或者數據作弊。

挑戰：雖然Web3的代幣激勵可以協助解決這個問題，但是需要解決作弊的問題。

3）模型協作

在全球最大的AI繪畫模型分享平台—Civitai社區，人們共享模型，可以輕鬆地拷貝一個模型並且加以修改後生成符合自己要求的模型。

開源AI 新秀、雙共識區塊鏈項目Bittensor設計了一套代幣激勵去中心化的模型，基於mixture of experts協作機制，共同產出一個解決問題的模型，並且支持knowledge distillation，模型之間可以分享信息，加速訓練，這爲衆多的創業公司提供了參與大模型的機會。

而作爲自動化、預言機與共有 AI 等鏈下服務的統一網路，Autonolas設計了Agent與Agent之間通過Tendermint來達成共識的協作框架。

挑戰：很多模型的訓練仍然需要大量的通信，分布式訓練的可靠性和時間效率仍然是個巨大障礙；

大模型和Web3的創新型

結合上面論述了如何利用Web3解決大模型行業中存在的一些問題。兩個重要力量的結合，將會產生一些創新性應用。

1）利用ChatGPT編寫智能合約

最近一個NFT的藝術家在沒有任何編程知識的前提下，利用prompt操作ChatGPT發布了自己的智能合約，發行了代幣Turboner，這位藝術家用YouTube記錄了自己一個星期的創造過程，激發了大家利用ChatGPT參與智能合約創作。

2）加密支付賦能智能管理

大模型的發展極大提高了智能助理的智能性，結合加密支付，智能助理將能夠在智能助理市場上協調更多的資源，協作完成更多的任務。AutoGPT展示了依賴於用戶提供的信用卡，他可以幫助用戶自動購買雲計算資源和訂機票，但是受限於自動登入或者其他安全認證，AutoGPT的能力受到了極大限制。包括Contract Net Protocol在內的Multi Agent System（MAS）設計包括了多個智能助理在開放市場上的協作，如果在代幣的支持下，這樣的協作就會突破基於信任的有限協作，成爲更大規模的基於市場經濟的協作，就像人類社會從原始社會進入貨幣社會。

3）zkML（Zero Knowledge Machine Learning）

zkp(Zero Knowledge Proof)技術在區塊鏈方面的應用分爲兩類，一類是解決區塊鏈的性能，通過將計算需求轉移到鏈下，然後通過zkp到鏈上認證；第二類是用來保護交易隱私。zkp在大模型方面的應用包括模型可信計算（證明模型計算的一致性和真實性）和訓練數據的隱私計算。在去中心化的環境中，模型的服務提供方需要向客戶證明銷售的模型是向客戶承諾的模型，沒有偷工減料；對於訓練數據的合作方，需要在保護自己隱私的前提下參與訓練或者使用模型。雖然zkp提供了一些可能性，但是仍然存在很多挑戰，同態計算和聯邦隱私計算等解決方案仍然不成熟。

基於BEC(Blockchain Edge Client)架構的解決方案

除了以上的流派之外，還有一個流派由於沒有代幣激勵以及採用極簡區塊鏈應用，因此沒有受到廣泛關注。

基於BEC的架構在很多方面和Jack Dorsey提到的Web5的概念，以及Tim Berners-Lee的Solid有很多相似之處。

他們都認爲：

• 每個人都有一個相對應的控制的邊緣節點；
• 絕大多數應用場景的計算和存儲都應該放在邊緣節點處理；
• 個人節點與個人節點之間的協作通過區塊鏈來完成；
• 節點與節點之間的通信通過P2P完成；
• 個人可以單獨完全控制自己的節點或者委托信任的人委托管理節點（在有些場景下被稱爲relay server）；
• 實現了最大可能的去中心化；

當這個與每個人對應的，由個人控制的節點存儲了個人數據，加載了大模型，就可以訓練出來完全個性化的，100%隱私保護的個人智能代理（Agent），SIG的中國創始合夥人龔挺博士浪漫的比喻未來的個人節點爲《冰雪奇緣》裏面雪寶頭頂那朵一直跟隨的個人雲。

這樣，現在元宇宙裏面的Avatar將不再是鍵盤控制的形象，而是擁有了靈魂的agent，他可以代替我們24小時不間斷的學習網路新聞，處理郵件，甚至可以自動回復你的社交聊天信息（絮絮叨叨的女朋友注意了，以後可能需要一種手段檢測自己的男朋友是不是在利用agent敷衍自己）。當你的agent需要新的技能的時候，就像手機安裝app一樣，你可以在自己的節點裏面安裝新的app。

總結

歷史上，伴隨着互聯網發展的不斷平台化，雖然誕生獨角獸企業的時間越來越短，但是本質上對於創業企業的發展卻越來越不利。

伴隨着Google和Facebook提供的高效內容分發平台，誕生於2005年的Youtube僅僅一年之後就被Google以16億美金收購；

伴隨着蘋果應用商店的高效應用程序分發平台，成立於2012年的Instagram僅僅由10多人組成，於2012年被Facebook以10億美金收購；

在ChatGPT大模型的支持下，僅僅有11人的Midjourney就一年賺了一億美金。而僅僅有不超過100人的OpenAI估值超過200億美金。

互聯網平台公司越來越強大，大模型的產生並沒有改變現有的互聯網被大型企業壟斷的格局。大模型的三要素，算法，數據和算力仍然被大企業壟斷，創業公司沒有能力創新大模型和沒有資金實力訓練大模型，只能集中在基於大模型對於垂直領域的應用。雖然大模型貌似促進了知識的普及，但是真正的力量被控制在全球不超過100人有生產模型能力的人手裏。

如果未來大模型滲透到人生活的各個方面，你詢問ChatGPT你的日常飲食，你的健康狀況，你的工作郵件，你的律師函，那麼理論上掌握大模型這些人只需要偷偷改動一些參數，就能極大的影響無數人的生活。大模型讓一部分失業也許可以通過UBI或者Worldcoin解決，但是大模型被少數人控制產生的作惡可能性的後果更加嚴重。這是OpenAI建立的初心，OpenAI雖然通過非盈利的辦法解決了盈利驅動的問題，但是如何解決權力驅動的問題呢？顯然，大模型利用人類數十年積累的免費分享在互聯網上面的知識快速訓練了知識模型，但是這個模型卻被控制在極少數人手裏。

1. 所以說，大模型和區塊鏈在價值觀方面有着巨大的衝突。區塊鏈從業人員需要參與到大模型創業，用區塊鏈技術解決大模型的問題。如果互聯網上免費可得的巨量數據是人類共同所有的知識，那麼依靠這些數據生成的大模型應該屬於整個人類。就像最近OpenAI開始對文獻數據庫支付費用一樣，OpenAI一樣需要對你我奉獻的個人博客支付費用。

聲明：

1. 本文轉載自ThreeDAO, Island of All Things],著作權歸屬原作者[36C]，如對轉載有異議，請聯系Gate Learn團隊，團隊會根據相關流程盡速處理。
2. 免責聲明：本文所表達的觀點和意見僅代表作者個人觀點，不構成任何投資建議。
3. 文章其他語言版本由Gate Learn團隊翻譯， 在未提及Gate.io的情況下不得復制、傳播或抄襲經翻譯文章。