在FileCoin冷存儲系統中打造高效數據可用性解決方案

中級5/5/2024, 2:52:31 PM
本文探討了如何利用現有的分布式存儲網路FIL來構建去中心化應用程式(DApps),包括考慮將去中心化應用程式需求作爲以太坊可擴展性基礎設施的重要組成部分,評估在FIL上構建去中心化應用程式的可行性,以及FIL解決方案將爲以太坊生態系統帶來的機遇。

數據可用性(DA)是以太坊擴展的核心技術,它允許節點有效地驗證數據是否在網路上可用,而無需在節點上托管這些數據。這對於有效地構建Rollups和其他形式的垂直擴展至關重要,使執行節點能夠在結算期間確保交易數據的可用性。對於以太坊網路的分片和其他形式的水平擴展也是至關重要的,這是計劃中的未來更新,因爲節點需要證明網路分片中存儲的交易數據(或數據塊)確實可供網路使用。最近討論和發布了幾種DA解決方案(例如Celestia、EigenDA、Avail),都旨在爲應用程序提供性能和安全的基礎設施來發布DA。與以太坊等一級鏈相比,外部DA解決方案的優勢在於提供了一個廉價且高效的鏈上數據載體。DA解決方案通常由其自己的公共鏈構成,旨在實現廉價且無需許可的存儲。即使經過修改,事實仍然是直接從區塊鏈上托管數據極爲低效。因此,我們認爲探索像FileCoin這樣的存儲優化解決方案作爲DA層的基礎是合乎邏輯的。FileCoin利用其區塊鏈協調客戶和存儲提供者之間的存儲交易,但允許數據在鏈外存儲。

在這篇文章中,我們將研究建立在分布式存儲網路(DSN)之上的 DA 解決方案的可行性。我們特別考慮了 FileCoin,因爲它是迄今爲止採用最多的 DSN。我們概述了這種解決方案將提供的機遇,以及構建這種解決方案需要克服的挑戰。

DA 層爲依賴於它的服務提供以下功能:

1.客戶端安全: 任何節點都不能確信不可用的數據是可用的。

2.全球安全: 除了極少數節點外,所有節點都同意數據的不可用/可用性。

  1. 高效的數據檢索能力。

所有這些都需要高效完成,以實現擴展。在上述三點中,DA 層以較低的成本提供更高的性能。例如,任何節點都可以請求一份完整的數據副本來證明其監護權,但這樣做的效率很低。通過提供上述三點的系統,我們實現了一個 DA 層,該層可提供 L2 與 L1 協調所需的安全性,並在存在惡意多數的情況下提供更強的下限。

數據保管

發布到DA解決方案的數據具有一定的有用壽命:足夠長,以解決爭議或驗證狀態轉換。交易數據只需要在驗證正確的狀態轉換或爲驗證者提供足夠的機會構建欺詐證明時可用。就目前而言,以太坊calldata是項目(Rollups)中最常用的數據可用性解決方案。

數據的高效核驗

數據的高效驗證

數據可用性取樣(DAS)是回答 DA 問題的標準方法。它還具有額外的安全優勢,可加強網路行爲者驗證來自其對等方的狀態信息的能力。但是,它依賴於節點來執行採樣: DAS 請求必須得到回應,以確保挖礦交易不會被拒絕,但節點請求採樣並沒有正面或負面的激勵。從請求採樣的節點的角度來看,不執行 DAS 不會受到負面懲罰。舉例來說,Celestia 提供了第一個也是唯一一個執行 DAS 的輕客戶端實現,爲用戶提供了更強的安全假設,並降低了數據驗證的成本。

高效的數據訪問

DA 需要爲使用它的項目提供高效的數據訪問。速度慢的 DA 可能會成爲依賴它的服務的瓶頸,輕則造成效率低下,重則導致系統故障。

去中心化存儲網路

去中心化存儲網路

去中心化存儲網路(DSN,在 FileCoin 白皮書¹ 中正式表述)是一個由存儲提供商組成的無許可網路,存儲提供商爲網路用戶提供存儲服務。非正式地講,它允許獨立的存儲提供商與需要存儲服務的客戶協調存儲交易,並爲尋求低價存儲服務的客戶提供廉價、彈性的數據存儲。這項工作通過區塊鏈進行協調,區塊鏈記錄存儲交易並支持智能合約的執行。

DSN 方案是三個協議的元組: 投入(Put)、獲取(Get)和管理(Manage)。這個元組具有容錯保證和參與激勵等屬性。

放(數據)→密鑰

客戶端執行 Put 以唯一密鑰存儲數據。要實現這一點,需要指定數據在網路上的存儲期限、爲冗餘而存儲的數據副本數量,以及與存儲提供商協商的價格。

獲取(鍵)→數據

客戶端執行 Get 命令來檢索存儲在某個密鑰下的數據。

管理()

管理協議由網路參與者調用,以協調提供商提供的存儲空間和服務,並修復故障。就 FileCoin 而言,這是通過區塊鏈進行管理的。該區塊鏈記錄客戶與數據提供商之間達成的數據交易,以及正確存儲數據的證明,以確保數據交易得到維護。存儲數據的正確性是通過數據提供商爲應對網路挑戰而發布的證明來證明的。當存儲提供商未能按照管理協議的要求及時生成復制證明或時空證明時,就會發生存儲故障,導致存儲提供商的賭注被削減。如果不止一個提供商在網路上托管數據副本,交易可以通過尋找新的存儲提供商來履行存儲交易,從而在存儲故障情況下自我修復。

去中心化存儲網路的機會

迄今爲止,DA 項目所做的工作一直是將區塊鏈轉化爲熱存儲平台。由於 DSN 對存儲進行了優化,因此與其將區塊鏈轉化爲存儲平台,我們只需將存儲平台轉化爲提供數據可用性的平台即可。存儲提供商以原生 FIL 令牌形式提供的抵押品可以提供加密經濟安全,保證數據的存儲。最後,存儲交易的可編程性可以爲數據可用性條款提供靈活性。

改造 DSN 功能以解決 DA 問題的最有力動機是降低 DA 解決方案下的數據存儲成本。正如我們在下文所討論的,在 FileCoin 上存儲數據的成本要比在以太坊上存儲數據便宜得多。考慮到當前的以太幣/美元價格,向以太坊寫入 1 GB 的 calldata 需要花費 300 多萬美元,而且還要在 21 天後進行剪枝。這筆 calldata 費用佔到基於以太坊的卷積交易成本的一半以上。然而,FileCoin 上 1 GB 的存儲空間每月花費不到 0.0002 美元。以這一價格或任何類似價格確保 DA 將降低用戶的交易成本,並有助於提高 Web3 的性能和可擴展性。

經濟安全

在 FileCoin 中,提供存儲空間需要抵押品。如果提供商未能履行其交易或堅持網路保證,抵押品就會被削減。未能提供服務的存儲提供商將面臨失去抵押品和本可從提供存儲空間中賺取的任何利潤。

激勵機制調整

FileCoin 的許多協議激勵措施與 DA 的目標一致。FileCoin 爲惡意或懶惰行爲提供了抑制措施:在共識期間,存儲提供商必須以復制證明和時空證明的形式積極提供存儲證明,不斷證明存儲的存在,而無需誠實的多數假設。如果存儲提供商未能提供證明,就會被削減賭注並從共識中除名,還會受到其他處罰。目前的 DA 解決方案缺乏激勵節點執行 DAS 的措施,只能依靠臨時性的利他行爲來證明 DA。

可編程性

定制數據交易的能力也使 DSN 成爲一個極具吸引力的 DA 平台。數據交易可以有不同的持續時間,從而使基於 DSN 的 DA 用戶只需支付他們所需的 DA 費用。容錯性也可以通過設置存儲在整個網路中的副本數量來調整。FileCoin 上的智能合約(稱爲 Actors)支持進一步的定制,這些合約在 FEVM 上執行。這導致 FileCoin 的 DApp 生態系統不斷壯大,從 Bacalhau 等計算存儲解決方案到 Glif 等 DeFi 和液體定標解決方案。Retriev 利用 FileCoin Actors 與經過許可的推薦人一起提供激勵對齊的檢索。

基於去中心化存儲網路(DSN)的數據可用性(DA)架構面臨的挑戰

在調查中,我們發現了在 DSN 上構建 DA 服務之前需要克服的重大挑戰。由於我們現在討論的是實施的可行性,因此我們將把 FileCoin 作爲討論的重點。

證明延遲

證明延遲

確保 FileCoin 上交易和存儲數據完整性的加密證明需要時間來證明。當數據提交到網路時,會被分割成 32 千兆字節的扇區並 “封存”。數據封存是復制證明(PoRep)和時空證明(PoST)的基礎,前者證明存儲提供商存儲了數據的一個或多個唯一副本,後者證明存儲提供商在整個存儲交易期間連續存儲了唯一副本。封存的計算成本必須很高,以確保存儲提供商不會按需封存數據,從而破壞所需的 PoReP。當協議向存儲提供商提出定期挑戰,要求其提供唯一和連續存儲的證明時,封存的安全時間必須長於響應窗口,這樣存儲提供商就無法臨時僞造證明或副本。因此,提供商封存一個數據扇區可能需要大約三個小時。

存儲閾值

由於密封操作的計算成本較高,密封數據的扇區大小必須具有經濟價值。存儲價格必須證明密封成本對存儲提供商來說是合理的,同樣,由此產生的數據存儲成本必須足夠低(在本例中,約 32GB 的數據塊),客戶才會願意在 FileCoin 上存儲數據。雖然可以封存較小的扇區,但這將推高存儲價格,以補償存儲提供商。爲了解決這個問題,數據聚合商從用戶那裏收集更小的數據塊,作爲接近 32GB 的數據塊提交給 FileCoin。數據聚合器通過Proof-of-Data-Segment-Inclusion(PoDSI)向用戶保證將用戶的數據包含在一個扇區中,並提供子片段CID(pCID),用戶可以使用它來從網路中檢索數據。

共識約束

FileCoin 的共識機制 “預期共識”(Expected Consensus)的分塊時間爲 30 秒,在數小時內完成,在不久的將來可能會有所改進(請參閱 FIP-0086 以了解 FileCoin 的快速完成)。這通常太慢,無法支持依賴 DA 獲取交易數據的第 2 層所需的交易吞吐量。FileCoin 的區塊時間受存儲提供商硬件的限制;區塊時間越短,存儲提供商生成和提供存儲證明的難度就越大,存儲提供商因錯過正確存儲數據的證明窗口而受到的錯誤懲罰就越多。爲了克服這一問題,可以利用星際共識(IPC)子網來縮短共識時間。IPC 使用類似於 Tendermint 的共識和 DRAND 的隨機性:在 DRAND 是瓶頸的情況下,我們可以通過 IPC 子網實現 3 秒的分塊時間。在 Tendermint 瓶頸的情況下,Narwhal 等 PoC 實現了數百毫秒的分塊時間。

檢索速度

最後一個障礙是檢索。從上述限制條件中,我們可以推斷出 FileCoin 適用於冷或溫存儲。然而,DA 數據是熱數據,需要支持性能良好的應用程序。激勵對齊檢索在 FileCoin 中很困難;數據在提供給客戶端之前需要解封,這會增加延遲。目前,快速檢索是通過 SLA 或將未封存數據與封存扇區一起存儲來實現的,而在 FileCoin 上的安全和無權限應用架構中,這兩種方式都不可靠。特別是隨着 Retriev 證明可以通過 FVM 保證檢索,在 FileCoin 上進行激勵對齊的快速檢索仍然是一個有待進一步探索的領域。

成本分析

在本節中,我們將考慮這些設計因素帶來的成本。我們展示了將 32GB 存儲爲以太坊 calldata、Celestia blobdata、EigenDA blobdata 和 FileCoin 上扇區的成本,並使用了接近當前的市場價格。

分析強調了以太坊 calldata 的價格: 32 GB 數據的價格爲 1 億美元。這一價格顯示了以太坊共識背後的安全成本,並受以太坊和天然氣價格波動的影響。Dencun 升級引入了 Proto-danksharding (EIP-4844),引入二進制大型對象(blob) 交易,目標是每個區塊 3 個 blob,每個大約 125 KB,以及可變的氣體 blob 定價,以保持每個區塊的目標 blob 數量。這一升級將以太坊 DA 的成本降低了⅕:32 GB blob 數據的成本爲 2000 萬美元。

Celestia 和 EigenDA 提供了顯著的改進: 32 GB 數據的成本分別爲 8,000 美元和 26,000 美元。兩者都受市場價格波動的影響,並在一定程度上反映了數據安全共識的成本: Celestia 使用原生 TIA 代幣,EigenDA 使用以太幣。

在上述所有情況下,存儲的數據都不是永久性的。以太坊 calldata 的存儲時間爲 3 周,blobs 的存儲時間爲 18 天。EigenDA 存儲Blob 的默認期限爲 14 天。在當前的 Celestia 實現中,存檔節點無限期地存儲 blob 數據,但光節點最多只能採樣 30 天。

最後兩個表格是 FileCoin 與當前 DA 解決方案的直接比較。成本等價首先列出了單個字節數據在給定平台上的成本。然後列出以相同成本可存儲相同時間的 FileCoin 字節數量。

這表明 FileCoin 比當前的 DA 解決方案便宜很多,只需幾分之一的成本就能在相同時間內存儲相同數量的數據。與以太坊節點和其他 DA 解決方案的節點不同,FileCoin 的節點經過優化,可以提供存儲服務,其證明系統允許節點證明存儲,而不是在網路中的每個節點上復制存儲。在不考慮存儲提供商的經濟效益(如封存數據的能源成本)的情況下,這表明 FileCoin 上存儲過程的基本開銷可以忽略不計。這表明,與以太坊相比,能夠在 FileCoin 上提供安全、高性能 DA 服務的系統的市場機會高達每千兆字節數百萬美元。

數據吞吐量

下面,我們將考慮 DA 解決方案的容量和主要第 2 層卷積產生的需求。

由於 FileCoin 的區塊鏈是以每個區塊高度的多個區塊組成的 Tipets 組織的,因此可以完成的交易數量不受共識或區塊大小的限制。FileCoin 的嚴格數據限制是其全網存儲容量,而不是共識允許的容量。

對於每日 DA 需求,我們從 Terry Chung 和 Wei Dai 的 Rollups DA 和 Execution 中獲取數據,其中包括 30 天的日平均值和單個採樣日。這讓我們在考慮平均需求量的同時,也不會忽略平均值的異常情況(例如,Optimism 在 2023 年 8 月 15 日的需求量約爲 261,000,000 字節,是其 30 天平均值 64,000,000 字節的 4 倍多)。

從這一選擇中,我們可以看出,盡管有機會降低 DA 成本,但我們需要大幅增加 DA 需求,才能有效利用 FileCoin 的 32 GB 扇區大小。雖然用小於 32 GB 的數據封存 32 GB 扇區會浪費資源,但我們可以這樣做,同時還能獲得成本優勢。

架構

在本節中,我們將考慮如果我們今天要構建這一系統,可以實現的技術架構。我們將在任意 L2 應用程序和 L2 服務的 L1 鏈的背景下考慮該架構。由於該解決方案是一種外部 DA 解決方案,就像 Celestia 和 EigenDA 的解決方案一樣,因此我們不將 FileCoin 視爲 L1 示例。

組件概述

即使在高層次上,FileCoin 上的 DA 也會使用 FileCoin 生態系統的許多不同功能。

交易: 下遊用戶在需要 DA 的平台上進行交易。這可能是一個 L2。

使用 DA 的平台:這些平台使用 DA 作爲服務。這可以是一個 L2,它將交易數據發布到 FileCoin DA,並向一個 L1(如以太坊)做出承諾。

第 1 層:這是任何包含指向 DA 解決方案數據的承諾的第 1 層。這可以是以太坊,支持利用 FileCoin DA 解決方案的 L2。

聚合器: 基於 FileCoin 的 DA 解決方案的前端是一個聚合器,它是一個集中式組件,用於接收來自 L2 和其他 DA 客戶端的交易數據,並將其聚合爲適合封存的 32 GB 扇區。雖然一個簡單的概念驗證將包括一個集中式聚合器,但使用 DA 解決方案的平台也可以運行自己的聚合器,例如作爲 L2 排序器的輔助設備。聚合器的集中化與 L2 排序器或 EigenDA 的分散器類似。一旦聚合器編譯出接近 32GB 的有效載荷,它就會與存儲提供商達成存儲協議,以存儲數據。客戶可以通過 PoDSI(數據段包含證明)和 pCID 的形式保證其數據將被包含在該部門中,一旦數據進入網路,還可以通過 pCID 來識別其數據。該 pCID 將包含在 L1 上的狀態承諾中,以參考支持交易的數據。

驗證器: 驗證者要求存儲提供商提供數據,以確保狀態承諾的完整性,並建立欺詐證明,在可證明欺詐的情況下,將欺詐證明提交給 L1。

存儲交易:一旦聚合器編譯了接近 32GB 的有效載荷,聚合器就會與存儲提供商達成存儲交易,以存儲數據。

發布 blob(投放): 爲了啓動投放,DA 客戶端將向聚合器提交包含交易數據的 blob。這可以通過鏈下方式完成,也可以通過鏈上聚合器甲骨文以鏈上方式完成。爲確認收到數據包,聚合器會向客戶端返回 PoDSI,以證明其數據包包含在將提交到子網絡的聚合扇區中。同時還會返回一個 pCID(子塊內容標識符)。一旦該 blob 在 FileCoin 上提供,客戶端和任何其他相關方將使用它來引用該 blob。

數據交易將在交易達成後幾分鍾內出現在鏈上。最大的延遲障礙是密封時間,可能需要 3 個小時。這意味着,雖然交易已經完成,而且客戶端可以確信數據將出現在網路中,但在密封過程完成之前,無法保證數據可以查詢。Lotus 客戶端具有快速檢索功能,在該功能中,數據的未密封副本與密封副本一起存儲,只要檢索交易不依賴於密封數據出現在網路上的證明,那麼在未密封數據傳輸到數據存儲提供商後,就可以立即提供服務。不過,這一功能由數據提供商自行決定,並不作爲協議的一部分提供加密保證。如果要提供快速檢索保證,就需要改變共識和懲罰/激勵機制來強制執行。

檢索 Blob(獲取): 檢索與投放操作類似。需要進行檢索交易,交易將在幾分鍾內出現在鏈上。檢索延遲取決於交易條款以及是否爲快速檢索存儲了未封存的數據副本。在快速檢索的情況下,延遲取決於網路條件。在沒有快速檢索的情況下,數據在提供給客戶端之前需要解封,這與封存所需的時間相同,大約需要 3 個小時。因此,在沒有優化的情況下,我們的最大往返時間爲 6 小時,在這成爲一個可行的 DA 或欺詐證明系統之前,需要對數據服務進行重大改進。

DA 證明:DA 證明可分兩步考慮:通過 PoDSI,即在交易時將數據提交給聚合器時給出的 PoDSI,以及存儲提供商通過 FileCoin 的共識機制提供的 PoRep 和 PoST 的持續承諾。如上所述,PoRep 和 PoST 爲數據保管和持久性提供了預定的、可證明的保證。

該解決方案將大量使用橋接,因爲任何依賴於 DA 的客戶端(無論是否構建了證明)都需要能夠與 FileCoin 進行交互。如果 pCID 包含在發布到 L1 的狀態轉換中,驗證者可以進行初步檢查,以確保沒有提交虛假的 pCID。有幾種方法可以做到這一點,例如,通過在 L1 上發布 FileCoin 數據的預言機Oracle,或通過驗證器來驗證是否存在與 pCID 相對應的數據交易或扇區。同樣,對發布到 L1 上的有效性或欺詐性證明的驗證可能也需要使用橋接器,以確信證明的有效性或欺詐性。目前可用的橋接器有 Axelar 和 Celer。

安全性分析

FileCoin 的完整性是通過削減抵押品來實現的。抵押品在兩種情況下會被削減:存儲故障或共識故障。存儲故障是指存儲提供商無法提供存儲數據的證明(PoRep 或 PoST),在我們的模型中,這與缺乏數據可用性相關聯。共識故障與共識中的惡意行爲相對應,共識是管理交易分類帳的協議,而 FEVM 則是從交易分類帳中抽象出來的。

  • 扇區故障是指因未能提供連續存儲證明而產生的處罰。存儲提供商有一天的寬限期,在此期間不會因存儲故障而受到處罰。扇區出現故障 42 天後,該扇區將被終止。產生的費用被燒毀。

BR(t) = 預計獎勵分數(t)*扇區質量調整功率

  • 扇區終止發生在扇區出現故障 42 天或存儲提供商故意終止交易之後。終止費用相當於一個扇區在終止前所賺取的最大金額,上限爲 90 天的收入。未支付的交易費將返還給客戶。已發生的費用被燒毀。

max(SP(t), BR(StartEpoch, 20d) + BR(StartEpoch, 1d) terminationRewardFactor min(SectorAgeInDays, 140))

  • 當交易終止時,會出現存儲市場代理削價。這是對存儲提供商在交易背後提供的抵押品的削減。

FileCoin 提供的安全性與其他區塊鏈截然不同。區塊鏈數據通常通過共識來確保安全,而 FileCoin 的共識只確保交易分類帳的安全,而不是交易引用的數據的安全。存儲在 FileCoin 上的數據只有足夠的安全性,才能激勵存儲提供商提供存儲。這意味着,存儲在 FileCoin 上的數據是通過故障懲罰和商業激勵(如在客戶中的聲譽)來確保安全的。換句話說,區塊鏈上的數據故障等同於違反共識,會破壞區塊鏈的安全性或其交易有效性概念。FileCoin 的設計在涉及數據存儲時具有容錯性,因此只使用其共識來確保交易帳簿和交易相關活動的安全。存儲礦工不履行其數據交易的代價是最多價值 90 天的存儲獎勵的罰款,以及礦工爲確保交易而提供的抵押物的損失。

因此,從 FileCoin 提供商處發起數據扣留攻擊的成本只是檢索交易的機會成本。FileCoin 上的數據檢索依賴於客戶支付的費用對存儲礦工的激勵。但是,不響應數據檢索請求不會對礦工造成負面影響。爲了降低單個存儲礦工忽略或拒絕數據檢索交易的風險,FileCoin 上的數據可由多個礦工存儲。

由於 FileCoin 上存儲的數據背後的經濟安全性大大低於基於區塊鏈的解決方案,因此還必須考慮防止數據被篡改。數據篡改通過 FileCoin 的證明系統得到保護。數據通過 CID 進行引用,通過 CID 可以立即檢測到數據損壞。因此,數據提供者不能提供損壞的數據,因爲很容易驗證獲取的數據是否與請求的 CID 匹配。數據提供商不能將損壞的數據存儲在未損壞數據的位置上。在收到客戶數據後,提供商必須提供正確密封數據扇區的證明,才能啓動數據交易(檢查此點)。因此,不能用損壞的數據啓動存儲交易。在存儲交易的有效期內,會提供 PoST 以證明保管情況(請注意,這既能證明密封數據扇區的保管情況,也能證明自上次 PoST 以來的保管情況)。由於 PoST 依賴於生成證明時的密封扇區,因此損壞的扇區會導致假 PoST,從而造成扇區故障。因此,存儲提供商既不能存儲損壞的數據,也不能爲損壞的數據提供服務,不能要求爲未損壞的數據提供服務的獎勵,也不能避免因篡改客戶數據而受到懲罰。

可以通過增加存儲提供商向存儲市場代理承諾的抵押品來加強安全性,抵押品目前由存儲提供商和客戶決定。

如果我們假定這個賭注足夠高(例如,與以太坊驗證器的賭注相同),足以激勵提供商不違約,那麼我們就能想到還有什麼需要確保的(盡管這將是極度低效的,因爲需要用這個賭注來確保每個交易 blob 或聚合 blob 扇區的安全)。現在,數據提供商可以選擇在存儲市場行爲者終止存儲交易之前,在最長 41 天的時間內讓數據不可用。假設數據交易的時間較短,我們可以假設數據在交易的最後一天之前都是不可用的。在沒有惡意行爲者協調的情況下,可以通過在多個存儲提供商上復制來緩解這種情況,這樣數據就能繼續得到服務。

我們可以考慮攻擊者爲接受虛假證明或重寫分類帳歷史以從訂單簿中刪除交易而推翻共識的成本,而不會對負責任的存儲提供商進行懲罰。但值得注意的是,在這種違反安全規定的情況下,攻擊者可以隨心所欲地操縱 FileCoin 的分類帳。爲了讓攻擊者實施此類攻擊,他們至少需要在 FileCoin 鏈中擁有多數股權。權益與向網路提供的存儲有關;目前 FileCoin 鏈的數據量爲 25 EiB(10¹⁶ 字節),惡意行爲者要提供自己的鏈,贏得分叉選擇規則,至少需要 12.5 EiB。與共識故障有關的削價進一步減輕了這一影響,對共識故障的懲罰是損失所有抵押品和區塊獎勵,並暫停參與共識。

題外話: 其他 DA 解決方案的扣留攻擊

盡管上述情況表明 FileCoin 在保護數據免受扣留攻擊方面存在不足,但它並不是唯一一個。

  • 以太坊 一般來說,保證以太坊網路請求得到回應的唯一方法是運行一個完整節點。全節點不需要滿足共識之外的數據檢索請求—因此。PeerDAS 等構造爲節點對數據檢索的響應引入了一個同行評分系統,在該系統中,分數足夠低(本質上是 DA 信譽)的節點可能會被隔離在網路之外。
  • Celestia 盡管與我們的 FileCoin 結構相比,Celestia 具有更強的每字節安全性,可以抵御扣留攻擊,但利用這種安全性的唯一方法是托管自己的完整節點。對 Celestia 基礎設施的請求,如果不屬於內部擁有和運營,則會被審查而不會受到懲罰。
  • EigenDA 與 Celestia 類似,任何服務都可以運行 EigenDA 操作員節點,以確保檢索自己的數據。因此,任何超出協議的數據檢索請求都會受到審查。還需注意的是,EigenDA 有一個集中可信的分發器,負責數據編碼、KZG 承諾和數據分發,與我們的聚合器類似。

檢索安全性

可回收性是數字資產評估的必要條件。在理想情況下,市場力量會促使經濟上理性的礦工接受檢索交易,並與其他礦工競爭,爲客戶壓低價格。我們假定這足以讓數據提供商提供檢索服務,但鑑於 DA 的重要性,要求更高的安全性也是合理的。

目前,檢索無法通過上述經濟安全性得到保證。這是因爲要以信任最小化的方式證明數據未被客戶端接收(在客戶端需要反駁存儲礦工發送數據的主張時),在密碼學上是很困難的。爲了通過 FileCoin 的經濟安全性確保檢索安全,需要一個協議本機檢索保證。在對協議進行最小改動的情況下,這意味着檢索需要與扇區故障或交易終止相關聯。Retriev 是一個概念驗證,它能夠通過使用受信任的 “裁判 “來調解數據檢索爭議,從而提供數據檢索保證。

另外 其他 DA 解決方案上的檢索

如上所述,FileCoin 缺乏必要的協議本機檢索保證,以防止存儲(或檢索提供商)採取自私行爲。就以太坊和 Celestia 而言,保證可以讀取協議中數據的唯一方法是自托管一個完整的節點,或者信任基礎設施提供商的 SLA。以 FileCoin 存儲提供商的身分保證檢索並非易事;在 FileCoin 中,類似的設置是成爲存儲提供商(需要大量基礎設施成本),並成功接受與以用戶身分發布的存儲提供商相同的存儲交易,此時,人們將向自己支付費用,爲自己提供存儲。

延遲分析

FileCoin 上的延遲由多個因素決定,如網路、拓撲結構、存儲挖掘客戶端配置和硬件能力。我們提供了一個理論分析,討論了這些因素以及我們的構建所能預期的性能。

由於 FileCoin 的證明系統的設計以及缺乏檢索激勵,FileCoin 並未優化爲提供從初始發布數據到初始檢索數據的高性能往返延遲。FileCoin 上的高性能檢索是一個活躍的研究領域,隨着存儲提供商能力的提高和 FileCoin 新功能的推出,該領域也在不斷變化。我們將 “往返 “定義爲從提交數據交易到最早可以下載提交到 FileCoin 的數據的時間。

區塊時間

在 FileCoin 的預期共識中,數據交易可包含在 30 秒的區塊時間內。1 小時是確認敏感鏈上數據(如硬幣轉移)的典型時間。

數據處理

不同存儲提供商和配置的數據處理時間差異很大。在使用標準存儲挖礦硬件的情況下,密封過程設計爲 3 小時。礦工通常會通過特殊的客戶端配置、並行化和投資性能更強的硬件來超過 3 小時的閾值。這種變化也會影響扇區解封的持續時間,而 FileCoin 客戶端(如 Lotus)中的快速檢索選項可以完全規避這一問題。快速檢索設置會在封存數據的同時存儲一份未封存的數據副本,從而大大加快檢索時間。在此基礎上,我們可以假設從接受數據交易到數據在鏈上可用的最壞情況延遲時間爲三小時。

總結與展望

本文探討了如何利用現有的 DSN(FileCoin)構建一個 DA。我們考慮了 DA 作爲以太坊中擴展基礎設施的關鍵元素的要求。我們考慮在 FileCoin 的基礎上構建 DSN 上的 DA 的可行性,並利用它來考慮 FileCoin 上的解決方案將爲以太坊生態系統提供的機會,或任何將受益於具有成本效益的 DA 層的機會。

FileCoin 證明,在基於區塊鏈的分布式系統中,DSN 可以顯著提高數據存儲的效率,按當前市場價格計算,每寫入 32 GB 的數據可節省 1 億美元。盡管對 DA 的需求還不足以填滿 32 GB 的扇區,但如果封存空扇區,DA 的成本優勢依然存在。雖然目前 FileCoin 上的存儲和檢索延遲不適合熱存儲需求,但特定於存儲礦工的實現可以提供合理的性能,在 3 小時內即可獲得數據。

對 FileCoin 存儲提供商增加的信任可通過可變抵押品進行調整,例如在 EigenDA 中。FileCoin 擴展了這種可調安全性,允許在整個網路中存儲多個副本,增加了可調的拜佔庭容忍度。需要解決有保證和高性能的數據檢索問題,以便有力地阻止扣留數據的攻擊,然而,與其他任何解決方案一樣,真正保證可檢索性的唯一方法是自行托管節點或信任基礎設施提供商。

我們在 PoDSI 的進一步發展中看到了 DA 的機會,它可以(與 FileCoin 目前的證明一起)用於替代 DAS,以保證數據包含在更大的密封部門中。這可能會使數據的緩慢周轉變得可以容忍,因爲欺詐證明可以在 1 天到 1 周的窗口內發布,而 DA 可以按需保證。PoDSI 仍是一個新技術,正在大力開發中,因此我們還不知道高效的 PoDSI 會是什麼樣子,也不知道圍繞它建立系統所需的機制。由於已有在 FileCoin 數據之上進行計算的解決方案,在封存或未封存數據上計算 PoDSI 的解決方案的想法在不久的將來也可能實現。

隨着 DA 和 FileCoin 領域的發展,新的解決方案和使能技術的組合可能會實現新的概念驗證。正如 Solana 與 FileCoin 網路的整合所顯示的,DSN 具有作爲擴展技術的潛力。FileCoin 上的數據存儲成本提供了一個開放的機會,有很大的優化空間。雖然本文所討論的挑戰是在支持 DA 的背景下提出的,但它們的最終解決方案將開啓大量新工具和系統,使其超越 DA。

聲明:

  1. 本文轉載自[Fenbushi Capital],著作權歸屬原作者[ Fenbushi Capital ],如對轉載有異議,請聯系Gate Learn團隊,團隊會根據相關流程盡速處理。
  2. 免責聲明:本文所表達的觀點和意見僅代表作者個人觀點,不構成任何投資建議。
  3. 文章其他語言版本由Gate Learn團隊翻譯, 在未提及Gate.io的情況下不得復制、傳播或抄襲經翻譯文章。

在FileCoin冷存儲系統中打造高效數據可用性解決方案

中級5/5/2024, 2:52:31 PM
本文探討了如何利用現有的分布式存儲網路FIL來構建去中心化應用程式(DApps),包括考慮將去中心化應用程式需求作爲以太坊可擴展性基礎設施的重要組成部分,評估在FIL上構建去中心化應用程式的可行性,以及FIL解決方案將爲以太坊生態系統帶來的機遇。

數據可用性(DA)是以太坊擴展的核心技術,它允許節點有效地驗證數據是否在網路上可用,而無需在節點上托管這些數據。這對於有效地構建Rollups和其他形式的垂直擴展至關重要,使執行節點能夠在結算期間確保交易數據的可用性。對於以太坊網路的分片和其他形式的水平擴展也是至關重要的,這是計劃中的未來更新,因爲節點需要證明網路分片中存儲的交易數據(或數據塊)確實可供網路使用。最近討論和發布了幾種DA解決方案(例如Celestia、EigenDA、Avail),都旨在爲應用程序提供性能和安全的基礎設施來發布DA。與以太坊等一級鏈相比,外部DA解決方案的優勢在於提供了一個廉價且高效的鏈上數據載體。DA解決方案通常由其自己的公共鏈構成,旨在實現廉價且無需許可的存儲。即使經過修改,事實仍然是直接從區塊鏈上托管數據極爲低效。因此,我們認爲探索像FileCoin這樣的存儲優化解決方案作爲DA層的基礎是合乎邏輯的。FileCoin利用其區塊鏈協調客戶和存儲提供者之間的存儲交易,但允許數據在鏈外存儲。

在這篇文章中,我們將研究建立在分布式存儲網路(DSN)之上的 DA 解決方案的可行性。我們特別考慮了 FileCoin,因爲它是迄今爲止採用最多的 DSN。我們概述了這種解決方案將提供的機遇,以及構建這種解決方案需要克服的挑戰。

DA 層爲依賴於它的服務提供以下功能:

1.客戶端安全: 任何節點都不能確信不可用的數據是可用的。

2.全球安全: 除了極少數節點外,所有節點都同意數據的不可用/可用性。

  1. 高效的數據檢索能力。

所有這些都需要高效完成,以實現擴展。在上述三點中,DA 層以較低的成本提供更高的性能。例如,任何節點都可以請求一份完整的數據副本來證明其監護權,但這樣做的效率很低。通過提供上述三點的系統,我們實現了一個 DA 層,該層可提供 L2 與 L1 協調所需的安全性,並在存在惡意多數的情況下提供更強的下限。

數據保管

發布到DA解決方案的數據具有一定的有用壽命:足夠長,以解決爭議或驗證狀態轉換。交易數據只需要在驗證正確的狀態轉換或爲驗證者提供足夠的機會構建欺詐證明時可用。就目前而言,以太坊calldata是項目(Rollups)中最常用的數據可用性解決方案。

數據的高效核驗

數據的高效驗證

數據可用性取樣(DAS)是回答 DA 問題的標準方法。它還具有額外的安全優勢,可加強網路行爲者驗證來自其對等方的狀態信息的能力。但是,它依賴於節點來執行採樣: DAS 請求必須得到回應,以確保挖礦交易不會被拒絕,但節點請求採樣並沒有正面或負面的激勵。從請求採樣的節點的角度來看,不執行 DAS 不會受到負面懲罰。舉例來說,Celestia 提供了第一個也是唯一一個執行 DAS 的輕客戶端實現,爲用戶提供了更強的安全假設,並降低了數據驗證的成本。

高效的數據訪問

DA 需要爲使用它的項目提供高效的數據訪問。速度慢的 DA 可能會成爲依賴它的服務的瓶頸,輕則造成效率低下,重則導致系統故障。

去中心化存儲網路

去中心化存儲網路

去中心化存儲網路(DSN,在 FileCoin 白皮書¹ 中正式表述)是一個由存儲提供商組成的無許可網路,存儲提供商爲網路用戶提供存儲服務。非正式地講,它允許獨立的存儲提供商與需要存儲服務的客戶協調存儲交易,並爲尋求低價存儲服務的客戶提供廉價、彈性的數據存儲。這項工作通過區塊鏈進行協調,區塊鏈記錄存儲交易並支持智能合約的執行。

DSN 方案是三個協議的元組: 投入(Put)、獲取(Get)和管理(Manage)。這個元組具有容錯保證和參與激勵等屬性。

放(數據)→密鑰

客戶端執行 Put 以唯一密鑰存儲數據。要實現這一點,需要指定數據在網路上的存儲期限、爲冗餘而存儲的數據副本數量,以及與存儲提供商協商的價格。

獲取(鍵)→數據

客戶端執行 Get 命令來檢索存儲在某個密鑰下的數據。

管理()

管理協議由網路參與者調用,以協調提供商提供的存儲空間和服務,並修復故障。就 FileCoin 而言,這是通過區塊鏈進行管理的。該區塊鏈記錄客戶與數據提供商之間達成的數據交易,以及正確存儲數據的證明,以確保數據交易得到維護。存儲數據的正確性是通過數據提供商爲應對網路挑戰而發布的證明來證明的。當存儲提供商未能按照管理協議的要求及時生成復制證明或時空證明時,就會發生存儲故障,導致存儲提供商的賭注被削減。如果不止一個提供商在網路上托管數據副本,交易可以通過尋找新的存儲提供商來履行存儲交易,從而在存儲故障情況下自我修復。

去中心化存儲網路的機會

迄今爲止,DA 項目所做的工作一直是將區塊鏈轉化爲熱存儲平台。由於 DSN 對存儲進行了優化,因此與其將區塊鏈轉化爲存儲平台,我們只需將存儲平台轉化爲提供數據可用性的平台即可。存儲提供商以原生 FIL 令牌形式提供的抵押品可以提供加密經濟安全,保證數據的存儲。最後,存儲交易的可編程性可以爲數據可用性條款提供靈活性。

改造 DSN 功能以解決 DA 問題的最有力動機是降低 DA 解決方案下的數據存儲成本。正如我們在下文所討論的,在 FileCoin 上存儲數據的成本要比在以太坊上存儲數據便宜得多。考慮到當前的以太幣/美元價格,向以太坊寫入 1 GB 的 calldata 需要花費 300 多萬美元,而且還要在 21 天後進行剪枝。這筆 calldata 費用佔到基於以太坊的卷積交易成本的一半以上。然而,FileCoin 上 1 GB 的存儲空間每月花費不到 0.0002 美元。以這一價格或任何類似價格確保 DA 將降低用戶的交易成本,並有助於提高 Web3 的性能和可擴展性。

經濟安全

在 FileCoin 中,提供存儲空間需要抵押品。如果提供商未能履行其交易或堅持網路保證,抵押品就會被削減。未能提供服務的存儲提供商將面臨失去抵押品和本可從提供存儲空間中賺取的任何利潤。

激勵機制調整

FileCoin 的許多協議激勵措施與 DA 的目標一致。FileCoin 爲惡意或懶惰行爲提供了抑制措施:在共識期間,存儲提供商必須以復制證明和時空證明的形式積極提供存儲證明,不斷證明存儲的存在,而無需誠實的多數假設。如果存儲提供商未能提供證明,就會被削減賭注並從共識中除名,還會受到其他處罰。目前的 DA 解決方案缺乏激勵節點執行 DAS 的措施,只能依靠臨時性的利他行爲來證明 DA。

可編程性

定制數據交易的能力也使 DSN 成爲一個極具吸引力的 DA 平台。數據交易可以有不同的持續時間,從而使基於 DSN 的 DA 用戶只需支付他們所需的 DA 費用。容錯性也可以通過設置存儲在整個網路中的副本數量來調整。FileCoin 上的智能合約(稱爲 Actors)支持進一步的定制,這些合約在 FEVM 上執行。這導致 FileCoin 的 DApp 生態系統不斷壯大,從 Bacalhau 等計算存儲解決方案到 Glif 等 DeFi 和液體定標解決方案。Retriev 利用 FileCoin Actors 與經過許可的推薦人一起提供激勵對齊的檢索。

基於去中心化存儲網路(DSN)的數據可用性(DA)架構面臨的挑戰

在調查中,我們發現了在 DSN 上構建 DA 服務之前需要克服的重大挑戰。由於我們現在討論的是實施的可行性,因此我們將把 FileCoin 作爲討論的重點。

證明延遲

證明延遲

確保 FileCoin 上交易和存儲數據完整性的加密證明需要時間來證明。當數據提交到網路時,會被分割成 32 千兆字節的扇區並 “封存”。數據封存是復制證明(PoRep)和時空證明(PoST)的基礎,前者證明存儲提供商存儲了數據的一個或多個唯一副本,後者證明存儲提供商在整個存儲交易期間連續存儲了唯一副本。封存的計算成本必須很高,以確保存儲提供商不會按需封存數據,從而破壞所需的 PoReP。當協議向存儲提供商提出定期挑戰,要求其提供唯一和連續存儲的證明時,封存的安全時間必須長於響應窗口,這樣存儲提供商就無法臨時僞造證明或副本。因此,提供商封存一個數據扇區可能需要大約三個小時。

存儲閾值

由於密封操作的計算成本較高,密封數據的扇區大小必須具有經濟價值。存儲價格必須證明密封成本對存儲提供商來說是合理的,同樣,由此產生的數據存儲成本必須足夠低(在本例中,約 32GB 的數據塊),客戶才會願意在 FileCoin 上存儲數據。雖然可以封存較小的扇區,但這將推高存儲價格,以補償存儲提供商。爲了解決這個問題,數據聚合商從用戶那裏收集更小的數據塊,作爲接近 32GB 的數據塊提交給 FileCoin。數據聚合器通過Proof-of-Data-Segment-Inclusion(PoDSI)向用戶保證將用戶的數據包含在一個扇區中,並提供子片段CID(pCID),用戶可以使用它來從網路中檢索數據。

共識約束

FileCoin 的共識機制 “預期共識”(Expected Consensus)的分塊時間爲 30 秒,在數小時內完成,在不久的將來可能會有所改進(請參閱 FIP-0086 以了解 FileCoin 的快速完成)。這通常太慢,無法支持依賴 DA 獲取交易數據的第 2 層所需的交易吞吐量。FileCoin 的區塊時間受存儲提供商硬件的限制;區塊時間越短,存儲提供商生成和提供存儲證明的難度就越大,存儲提供商因錯過正確存儲數據的證明窗口而受到的錯誤懲罰就越多。爲了克服這一問題,可以利用星際共識(IPC)子網來縮短共識時間。IPC 使用類似於 Tendermint 的共識和 DRAND 的隨機性:在 DRAND 是瓶頸的情況下,我們可以通過 IPC 子網實現 3 秒的分塊時間。在 Tendermint 瓶頸的情況下,Narwhal 等 PoC 實現了數百毫秒的分塊時間。

檢索速度

最後一個障礙是檢索。從上述限制條件中,我們可以推斷出 FileCoin 適用於冷或溫存儲。然而,DA 數據是熱數據,需要支持性能良好的應用程序。激勵對齊檢索在 FileCoin 中很困難;數據在提供給客戶端之前需要解封,這會增加延遲。目前,快速檢索是通過 SLA 或將未封存數據與封存扇區一起存儲來實現的,而在 FileCoin 上的安全和無權限應用架構中,這兩種方式都不可靠。特別是隨着 Retriev 證明可以通過 FVM 保證檢索,在 FileCoin 上進行激勵對齊的快速檢索仍然是一個有待進一步探索的領域。

成本分析

在本節中,我們將考慮這些設計因素帶來的成本。我們展示了將 32GB 存儲爲以太坊 calldata、Celestia blobdata、EigenDA blobdata 和 FileCoin 上扇區的成本,並使用了接近當前的市場價格。

分析強調了以太坊 calldata 的價格: 32 GB 數據的價格爲 1 億美元。這一價格顯示了以太坊共識背後的安全成本,並受以太坊和天然氣價格波動的影響。Dencun 升級引入了 Proto-danksharding (EIP-4844),引入二進制大型對象(blob) 交易,目標是每個區塊 3 個 blob,每個大約 125 KB,以及可變的氣體 blob 定價,以保持每個區塊的目標 blob 數量。這一升級將以太坊 DA 的成本降低了⅕:32 GB blob 數據的成本爲 2000 萬美元。

Celestia 和 EigenDA 提供了顯著的改進: 32 GB 數據的成本分別爲 8,000 美元和 26,000 美元。兩者都受市場價格波動的影響,並在一定程度上反映了數據安全共識的成本: Celestia 使用原生 TIA 代幣,EigenDA 使用以太幣。

在上述所有情況下,存儲的數據都不是永久性的。以太坊 calldata 的存儲時間爲 3 周,blobs 的存儲時間爲 18 天。EigenDA 存儲Blob 的默認期限爲 14 天。在當前的 Celestia 實現中,存檔節點無限期地存儲 blob 數據,但光節點最多只能採樣 30 天。

最後兩個表格是 FileCoin 與當前 DA 解決方案的直接比較。成本等價首先列出了單個字節數據在給定平台上的成本。然後列出以相同成本可存儲相同時間的 FileCoin 字節數量。

這表明 FileCoin 比當前的 DA 解決方案便宜很多,只需幾分之一的成本就能在相同時間內存儲相同數量的數據。與以太坊節點和其他 DA 解決方案的節點不同,FileCoin 的節點經過優化,可以提供存儲服務,其證明系統允許節點證明存儲,而不是在網路中的每個節點上復制存儲。在不考慮存儲提供商的經濟效益(如封存數據的能源成本)的情況下,這表明 FileCoin 上存儲過程的基本開銷可以忽略不計。這表明,與以太坊相比,能夠在 FileCoin 上提供安全、高性能 DA 服務的系統的市場機會高達每千兆字節數百萬美元。

數據吞吐量

下面,我們將考慮 DA 解決方案的容量和主要第 2 層卷積產生的需求。

由於 FileCoin 的區塊鏈是以每個區塊高度的多個區塊組成的 Tipets 組織的,因此可以完成的交易數量不受共識或區塊大小的限制。FileCoin 的嚴格數據限制是其全網存儲容量,而不是共識允許的容量。

對於每日 DA 需求,我們從 Terry Chung 和 Wei Dai 的 Rollups DA 和 Execution 中獲取數據,其中包括 30 天的日平均值和單個採樣日。這讓我們在考慮平均需求量的同時,也不會忽略平均值的異常情況(例如,Optimism 在 2023 年 8 月 15 日的需求量約爲 261,000,000 字節,是其 30 天平均值 64,000,000 字節的 4 倍多)。

從這一選擇中,我們可以看出,盡管有機會降低 DA 成本,但我們需要大幅增加 DA 需求,才能有效利用 FileCoin 的 32 GB 扇區大小。雖然用小於 32 GB 的數據封存 32 GB 扇區會浪費資源,但我們可以這樣做,同時還能獲得成本優勢。

架構

在本節中,我們將考慮如果我們今天要構建這一系統,可以實現的技術架構。我們將在任意 L2 應用程序和 L2 服務的 L1 鏈的背景下考慮該架構。由於該解決方案是一種外部 DA 解決方案,就像 Celestia 和 EigenDA 的解決方案一樣,因此我們不將 FileCoin 視爲 L1 示例。

組件概述

即使在高層次上,FileCoin 上的 DA 也會使用 FileCoin 生態系統的許多不同功能。

交易: 下遊用戶在需要 DA 的平台上進行交易。這可能是一個 L2。

使用 DA 的平台:這些平台使用 DA 作爲服務。這可以是一個 L2,它將交易數據發布到 FileCoin DA,並向一個 L1(如以太坊)做出承諾。

第 1 層:這是任何包含指向 DA 解決方案數據的承諾的第 1 層。這可以是以太坊,支持利用 FileCoin DA 解決方案的 L2。

聚合器: 基於 FileCoin 的 DA 解決方案的前端是一個聚合器,它是一個集中式組件,用於接收來自 L2 和其他 DA 客戶端的交易數據,並將其聚合爲適合封存的 32 GB 扇區。雖然一個簡單的概念驗證將包括一個集中式聚合器,但使用 DA 解決方案的平台也可以運行自己的聚合器,例如作爲 L2 排序器的輔助設備。聚合器的集中化與 L2 排序器或 EigenDA 的分散器類似。一旦聚合器編譯出接近 32GB 的有效載荷,它就會與存儲提供商達成存儲協議,以存儲數據。客戶可以通過 PoDSI(數據段包含證明)和 pCID 的形式保證其數據將被包含在該部門中,一旦數據進入網路,還可以通過 pCID 來識別其數據。該 pCID 將包含在 L1 上的狀態承諾中,以參考支持交易的數據。

驗證器: 驗證者要求存儲提供商提供數據,以確保狀態承諾的完整性,並建立欺詐證明,在可證明欺詐的情況下,將欺詐證明提交給 L1。

存儲交易:一旦聚合器編譯了接近 32GB 的有效載荷,聚合器就會與存儲提供商達成存儲交易,以存儲數據。

發布 blob(投放): 爲了啓動投放,DA 客戶端將向聚合器提交包含交易數據的 blob。這可以通過鏈下方式完成,也可以通過鏈上聚合器甲骨文以鏈上方式完成。爲確認收到數據包,聚合器會向客戶端返回 PoDSI,以證明其數據包包含在將提交到子網絡的聚合扇區中。同時還會返回一個 pCID(子塊內容標識符)。一旦該 blob 在 FileCoin 上提供,客戶端和任何其他相關方將使用它來引用該 blob。

數據交易將在交易達成後幾分鍾內出現在鏈上。最大的延遲障礙是密封時間,可能需要 3 個小時。這意味着,雖然交易已經完成,而且客戶端可以確信數據將出現在網路中,但在密封過程完成之前,無法保證數據可以查詢。Lotus 客戶端具有快速檢索功能,在該功能中,數據的未密封副本與密封副本一起存儲,只要檢索交易不依賴於密封數據出現在網路上的證明,那麼在未密封數據傳輸到數據存儲提供商後,就可以立即提供服務。不過,這一功能由數據提供商自行決定,並不作爲協議的一部分提供加密保證。如果要提供快速檢索保證,就需要改變共識和懲罰/激勵機制來強制執行。

檢索 Blob(獲取): 檢索與投放操作類似。需要進行檢索交易,交易將在幾分鍾內出現在鏈上。檢索延遲取決於交易條款以及是否爲快速檢索存儲了未封存的數據副本。在快速檢索的情況下,延遲取決於網路條件。在沒有快速檢索的情況下,數據在提供給客戶端之前需要解封,這與封存所需的時間相同,大約需要 3 個小時。因此,在沒有優化的情況下,我們的最大往返時間爲 6 小時,在這成爲一個可行的 DA 或欺詐證明系統之前,需要對數據服務進行重大改進。

DA 證明:DA 證明可分兩步考慮:通過 PoDSI,即在交易時將數據提交給聚合器時給出的 PoDSI,以及存儲提供商通過 FileCoin 的共識機制提供的 PoRep 和 PoST 的持續承諾。如上所述,PoRep 和 PoST 爲數據保管和持久性提供了預定的、可證明的保證。

該解決方案將大量使用橋接,因爲任何依賴於 DA 的客戶端(無論是否構建了證明)都需要能夠與 FileCoin 進行交互。如果 pCID 包含在發布到 L1 的狀態轉換中,驗證者可以進行初步檢查,以確保沒有提交虛假的 pCID。有幾種方法可以做到這一點,例如,通過在 L1 上發布 FileCoin 數據的預言機Oracle,或通過驗證器來驗證是否存在與 pCID 相對應的數據交易或扇區。同樣,對發布到 L1 上的有效性或欺詐性證明的驗證可能也需要使用橋接器,以確信證明的有效性或欺詐性。目前可用的橋接器有 Axelar 和 Celer。

安全性分析

FileCoin 的完整性是通過削減抵押品來實現的。抵押品在兩種情況下會被削減:存儲故障或共識故障。存儲故障是指存儲提供商無法提供存儲數據的證明(PoRep 或 PoST),在我們的模型中,這與缺乏數據可用性相關聯。共識故障與共識中的惡意行爲相對應,共識是管理交易分類帳的協議,而 FEVM 則是從交易分類帳中抽象出來的。

  • 扇區故障是指因未能提供連續存儲證明而產生的處罰。存儲提供商有一天的寬限期,在此期間不會因存儲故障而受到處罰。扇區出現故障 42 天後,該扇區將被終止。產生的費用被燒毀。

BR(t) = 預計獎勵分數(t)*扇區質量調整功率

  • 扇區終止發生在扇區出現故障 42 天或存儲提供商故意終止交易之後。終止費用相當於一個扇區在終止前所賺取的最大金額,上限爲 90 天的收入。未支付的交易費將返還給客戶。已發生的費用被燒毀。

max(SP(t), BR(StartEpoch, 20d) + BR(StartEpoch, 1d) terminationRewardFactor min(SectorAgeInDays, 140))

  • 當交易終止時,會出現存儲市場代理削價。這是對存儲提供商在交易背後提供的抵押品的削減。

FileCoin 提供的安全性與其他區塊鏈截然不同。區塊鏈數據通常通過共識來確保安全,而 FileCoin 的共識只確保交易分類帳的安全,而不是交易引用的數據的安全。存儲在 FileCoin 上的數據只有足夠的安全性,才能激勵存儲提供商提供存儲。這意味着,存儲在 FileCoin 上的數據是通過故障懲罰和商業激勵(如在客戶中的聲譽)來確保安全的。換句話說,區塊鏈上的數據故障等同於違反共識,會破壞區塊鏈的安全性或其交易有效性概念。FileCoin 的設計在涉及數據存儲時具有容錯性,因此只使用其共識來確保交易帳簿和交易相關活動的安全。存儲礦工不履行其數據交易的代價是最多價值 90 天的存儲獎勵的罰款,以及礦工爲確保交易而提供的抵押物的損失。

因此,從 FileCoin 提供商處發起數據扣留攻擊的成本只是檢索交易的機會成本。FileCoin 上的數據檢索依賴於客戶支付的費用對存儲礦工的激勵。但是,不響應數據檢索請求不會對礦工造成負面影響。爲了降低單個存儲礦工忽略或拒絕數據檢索交易的風險,FileCoin 上的數據可由多個礦工存儲。

由於 FileCoin 上存儲的數據背後的經濟安全性大大低於基於區塊鏈的解決方案,因此還必須考慮防止數據被篡改。數據篡改通過 FileCoin 的證明系統得到保護。數據通過 CID 進行引用,通過 CID 可以立即檢測到數據損壞。因此,數據提供者不能提供損壞的數據,因爲很容易驗證獲取的數據是否與請求的 CID 匹配。數據提供商不能將損壞的數據存儲在未損壞數據的位置上。在收到客戶數據後,提供商必須提供正確密封數據扇區的證明,才能啓動數據交易(檢查此點)。因此,不能用損壞的數據啓動存儲交易。在存儲交易的有效期內,會提供 PoST 以證明保管情況(請注意,這既能證明密封數據扇區的保管情況,也能證明自上次 PoST 以來的保管情況)。由於 PoST 依賴於生成證明時的密封扇區,因此損壞的扇區會導致假 PoST,從而造成扇區故障。因此,存儲提供商既不能存儲損壞的數據,也不能爲損壞的數據提供服務,不能要求爲未損壞的數據提供服務的獎勵,也不能避免因篡改客戶數據而受到懲罰。

可以通過增加存儲提供商向存儲市場代理承諾的抵押品來加強安全性,抵押品目前由存儲提供商和客戶決定。

如果我們假定這個賭注足夠高(例如,與以太坊驗證器的賭注相同),足以激勵提供商不違約,那麼我們就能想到還有什麼需要確保的(盡管這將是極度低效的,因爲需要用這個賭注來確保每個交易 blob 或聚合 blob 扇區的安全)。現在,數據提供商可以選擇在存儲市場行爲者終止存儲交易之前,在最長 41 天的時間內讓數據不可用。假設數據交易的時間較短,我們可以假設數據在交易的最後一天之前都是不可用的。在沒有惡意行爲者協調的情況下,可以通過在多個存儲提供商上復制來緩解這種情況,這樣數據就能繼續得到服務。

我們可以考慮攻擊者爲接受虛假證明或重寫分類帳歷史以從訂單簿中刪除交易而推翻共識的成本,而不會對負責任的存儲提供商進行懲罰。但值得注意的是,在這種違反安全規定的情況下,攻擊者可以隨心所欲地操縱 FileCoin 的分類帳。爲了讓攻擊者實施此類攻擊,他們至少需要在 FileCoin 鏈中擁有多數股權。權益與向網路提供的存儲有關;目前 FileCoin 鏈的數據量爲 25 EiB(10¹⁶ 字節),惡意行爲者要提供自己的鏈,贏得分叉選擇規則,至少需要 12.5 EiB。與共識故障有關的削價進一步減輕了這一影響,對共識故障的懲罰是損失所有抵押品和區塊獎勵,並暫停參與共識。

題外話: 其他 DA 解決方案的扣留攻擊

盡管上述情況表明 FileCoin 在保護數據免受扣留攻擊方面存在不足,但它並不是唯一一個。

  • 以太坊 一般來說,保證以太坊網路請求得到回應的唯一方法是運行一個完整節點。全節點不需要滿足共識之外的數據檢索請求—因此。PeerDAS 等構造爲節點對數據檢索的響應引入了一個同行評分系統,在該系統中,分數足夠低(本質上是 DA 信譽)的節點可能會被隔離在網路之外。
  • Celestia 盡管與我們的 FileCoin 結構相比,Celestia 具有更強的每字節安全性,可以抵御扣留攻擊,但利用這種安全性的唯一方法是托管自己的完整節點。對 Celestia 基礎設施的請求,如果不屬於內部擁有和運營,則會被審查而不會受到懲罰。
  • EigenDA 與 Celestia 類似,任何服務都可以運行 EigenDA 操作員節點,以確保檢索自己的數據。因此,任何超出協議的數據檢索請求都會受到審查。還需注意的是,EigenDA 有一個集中可信的分發器,負責數據編碼、KZG 承諾和數據分發,與我們的聚合器類似。

檢索安全性

可回收性是數字資產評估的必要條件。在理想情況下,市場力量會促使經濟上理性的礦工接受檢索交易,並與其他礦工競爭,爲客戶壓低價格。我們假定這足以讓數據提供商提供檢索服務,但鑑於 DA 的重要性,要求更高的安全性也是合理的。

目前,檢索無法通過上述經濟安全性得到保證。這是因爲要以信任最小化的方式證明數據未被客戶端接收(在客戶端需要反駁存儲礦工發送數據的主張時),在密碼學上是很困難的。爲了通過 FileCoin 的經濟安全性確保檢索安全,需要一個協議本機檢索保證。在對協議進行最小改動的情況下,這意味着檢索需要與扇區故障或交易終止相關聯。Retriev 是一個概念驗證,它能夠通過使用受信任的 “裁判 “來調解數據檢索爭議,從而提供數據檢索保證。

另外 其他 DA 解決方案上的檢索

如上所述,FileCoin 缺乏必要的協議本機檢索保證,以防止存儲(或檢索提供商)採取自私行爲。就以太坊和 Celestia 而言,保證可以讀取協議中數據的唯一方法是自托管一個完整的節點,或者信任基礎設施提供商的 SLA。以 FileCoin 存儲提供商的身分保證檢索並非易事;在 FileCoin 中,類似的設置是成爲存儲提供商(需要大量基礎設施成本),並成功接受與以用戶身分發布的存儲提供商相同的存儲交易,此時,人們將向自己支付費用,爲自己提供存儲。

延遲分析

FileCoin 上的延遲由多個因素決定,如網路、拓撲結構、存儲挖掘客戶端配置和硬件能力。我們提供了一個理論分析,討論了這些因素以及我們的構建所能預期的性能。

由於 FileCoin 的證明系統的設計以及缺乏檢索激勵,FileCoin 並未優化爲提供從初始發布數據到初始檢索數據的高性能往返延遲。FileCoin 上的高性能檢索是一個活躍的研究領域,隨着存儲提供商能力的提高和 FileCoin 新功能的推出,該領域也在不斷變化。我們將 “往返 “定義爲從提交數據交易到最早可以下載提交到 FileCoin 的數據的時間。

區塊時間

在 FileCoin 的預期共識中,數據交易可包含在 30 秒的區塊時間內。1 小時是確認敏感鏈上數據(如硬幣轉移)的典型時間。

數據處理

不同存儲提供商和配置的數據處理時間差異很大。在使用標準存儲挖礦硬件的情況下,密封過程設計爲 3 小時。礦工通常會通過特殊的客戶端配置、並行化和投資性能更強的硬件來超過 3 小時的閾值。這種變化也會影響扇區解封的持續時間,而 FileCoin 客戶端(如 Lotus)中的快速檢索選項可以完全規避這一問題。快速檢索設置會在封存數據的同時存儲一份未封存的數據副本,從而大大加快檢索時間。在此基礎上,我們可以假設從接受數據交易到數據在鏈上可用的最壞情況延遲時間爲三小時。

總結與展望

本文探討了如何利用現有的 DSN(FileCoin)構建一個 DA。我們考慮了 DA 作爲以太坊中擴展基礎設施的關鍵元素的要求。我們考慮在 FileCoin 的基礎上構建 DSN 上的 DA 的可行性,並利用它來考慮 FileCoin 上的解決方案將爲以太坊生態系統提供的機會,或任何將受益於具有成本效益的 DA 層的機會。

FileCoin 證明,在基於區塊鏈的分布式系統中,DSN 可以顯著提高數據存儲的效率,按當前市場價格計算,每寫入 32 GB 的數據可節省 1 億美元。盡管對 DA 的需求還不足以填滿 32 GB 的扇區,但如果封存空扇區,DA 的成本優勢依然存在。雖然目前 FileCoin 上的存儲和檢索延遲不適合熱存儲需求,但特定於存儲礦工的實現可以提供合理的性能,在 3 小時內即可獲得數據。

對 FileCoin 存儲提供商增加的信任可通過可變抵押品進行調整,例如在 EigenDA 中。FileCoin 擴展了這種可調安全性,允許在整個網路中存儲多個副本,增加了可調的拜佔庭容忍度。需要解決有保證和高性能的數據檢索問題,以便有力地阻止扣留數據的攻擊,然而,與其他任何解決方案一樣,真正保證可檢索性的唯一方法是自行托管節點或信任基礎設施提供商。

我們在 PoDSI 的進一步發展中看到了 DA 的機會,它可以(與 FileCoin 目前的證明一起)用於替代 DAS,以保證數據包含在更大的密封部門中。這可能會使數據的緩慢周轉變得可以容忍,因爲欺詐證明可以在 1 天到 1 周的窗口內發布,而 DA 可以按需保證。PoDSI 仍是一個新技術,正在大力開發中,因此我們還不知道高效的 PoDSI 會是什麼樣子,也不知道圍繞它建立系統所需的機制。由於已有在 FileCoin 數據之上進行計算的解決方案,在封存或未封存數據上計算 PoDSI 的解決方案的想法在不久的將來也可能實現。

隨着 DA 和 FileCoin 領域的發展,新的解決方案和使能技術的組合可能會實現新的概念驗證。正如 Solana 與 FileCoin 網路的整合所顯示的,DSN 具有作爲擴展技術的潛力。FileCoin 上的數據存儲成本提供了一個開放的機會,有很大的優化空間。雖然本文所討論的挑戰是在支持 DA 的背景下提出的,但它們的最終解決方案將開啓大量新工具和系統,使其超越 DA。

聲明:

  1. 本文轉載自[Fenbushi Capital],著作權歸屬原作者[ Fenbushi Capital ],如對轉載有異議,請聯系Gate Learn團隊,團隊會根據相關流程盡速處理。
  2. 免責聲明:本文所表達的觀點和意見僅代表作者個人觀點,不構成任何投資建議。
  3. 文章其他語言版本由Gate Learn團隊翻譯, 在未提及Gate.io的情況下不得復制、傳播或抄襲經翻譯文章。
即刻開始交易
註冊並交易即可獲得
$100
和價值
$5500
理財體驗金獎勵!
It seems that you are attempting to access our services from a Restricted Location where Gate is unable to provide services. We apologize for any inconvenience this may cause. Currently, the Restricted Locations include but not limited to: the United States of America, Canada, Cambodia, Thailand, Cuba, Iran, North Korea and so on. For more information regarding the Restricted Locations, please refer to the User Agreement. Should you have any other questions, please contact our Customer Support Team.