在FileCoin冷存储系统中打造高效数据可用性解决方案

中级5/6/2024, 8:48:59 AM
本文探讨了如何利用现有的分布式存储网络Filecoin来构建去中心化应用程序(DApps),包括考虑将去中心化应用程序需求作为以太坊可扩展性基础设施的重要组成部分,评估在Filecoin上构建去中心化应用程序的可行性,以及Filecoin解决方案将为以太坊生态系统带来的机遇。

数据可用性(DA)是以太坊扩展的核心技术,它允许节点有效地验证数据是否在网络上可用,而无需在节点上托管这些数据。这对于有效地构建Rollups和其他形式的垂直扩展至关重要,使执行节点能够在结算期间确保交易数据的可用性。对于以太坊网络的分片和其他形式的水平扩展也是至关重要的,这是计划中的未来更新,因为节点需要证明网络分片中存储的交易数据(或数据块)确实可供网络使用。最近讨论和发布了几种DA解决方案(例如Celestia、EigenDA、Avail),都旨在为应用程序提供性能和安全的基础设施来发布DA。与以太坊等一级链相比,外部DA解决方案的优势在于提供了一个廉价且高效的链上数据载体。DA解决方案通常由其自己的公共链构成,旨在实现廉价且无需许可的存储。即使经过修改,事实仍然是直接从区块链上托管数据极为低效。因此,我们认为探索像FileCoin这样的存储优化解决方案作为DA层的基础是合乎逻辑的。FileCoin利用其区块链协调客户和存储提供者之间的存储交易,但允许数据在链外存储。

在这篇文章中,我们将研究建立在分布式存储网络(DSN)之上的 DA 解决方案的可行性。我们特别考虑了 FileCoin,因为它是迄今为止采用最多的 DSN。我们概述了这种解决方案将提供的机遇,以及构建这种解决方案需要克服的挑战。

DA 层为依赖于它的服务提供以下功能:

1.客户端安全: 任何节点都不能确信不可用的数据是可用的。

2.全球安全: 除了极少数节点外,所有节点都同意数据的不可用/可用性。

  1. 高效的数据检索能力。

所有这些都需要高效完成,以实现扩展。在上述三点中,DA 层以较低的成本提供更高的性能。例如,任何节点都可以请求一份完整的数据副本来证明其监护权,但这样做的效率很低。通过提供上述三点的系统,我们实现了一个 DA 层,该层可提供 L2 与 L1 协调所需的安全性,并在存在恶意多数的情况下提供更强的下限。

数据保管

发布到DA解决方案的数据具有一定的有用寿命:足够长,以解决争议或验证状态转换。交易数据只需要在验证正确的状态转换或为验证者提供足够的机会构建欺诈证明时可用。就目前而言,以太坊calldata是项目(Rollups)中最常用的数据可用性解决方案。

数据的高效核验

数据的高效验证

数据可用性取样(DAS)是回答 DA 问题的标准方法。它还具有额外的安全优势,可加强网络行为者验证来自其对等方的状态信息的能力。但是,它依赖于节点来执行采样: DAS 请求必须得到回应,以确保挖矿交易不会被拒绝,但节点请求采样并没有正面或负面的激励。从请求采样的节点的角度来看,不执行 DAS 不会受到负面惩罚。举例来说,Celestia 提供了第一个也是唯一一个执行 DAS 的轻客户端实现,为用户提供了更强的安全假设,并降低了数据验证的成本。

高效的数据访问

DA 需要为使用它的项目提供高效的数据访问。速度慢的 DA 可能会成为依赖它的服务的瓶颈,轻则造成效率低下,重则导致系统故障。

去中心化存储网络

去中心化存储网络

去中心化存储网络(DSN,在 FileCoin 白皮书¹ 中正式表述)是一个由存储提供商组成的无许可网络,存储提供商为网络用户提供存储服务。非正式地讲,它允许独立的存储提供商与需要存储服务的客户协调存储交易,并为寻求低价存储服务的客户提供廉价、弹性的数据存储。这项工作通过区块链进行协调,区块链记录存储交易并支持智能合约的执行。

DSN 方案是三个协议的元组: 投入(Put)、获取(Get)和管理(Manage)。这个元组具有容错保证和参与激励等属性。

放(数据)→密钥

客户端执行 Put 以唯一密钥存储数据。要实现这一点,需要指定数据在网络上的存储期限、为冗余而存储的数据副本数量,以及与存储提供商协商的价格。

获取(键)→数据

客户端执行 Get 命令来检索存储在某个密钥下的数据。

管理()

管理协议由网络参与者调用,以协调提供商提供的存储空间和服务,并修复故障。就 FileCoin 而言,这是通过区块链进行管理的。该区块链记录客户与数据提供商之间达成的数据交易,以及正确存储数据的证明,以确保数据交易得到维护。存储数据的正确性是通过数据提供商为应对网络挑战而发布的证明来证明的。当存储提供商未能按照管理协议的要求及时生成复制证明或时空证明时,就会发生存储故障,导致存储提供商的赌注被削减。如果不止一个提供商在网络上托管数据副本,交易可以通过寻找新的存储提供商来履行存储交易,从而在存储故障情况下自我修复。

去中心化存储网络的机会

迄今为止,DA 项目所做的工作一直是将区块链转化为热存储平台。由于 DSN 对存储进行了优化,因此与其将区块链转化为存储平台,我们只需将存储平台转化为提供数据可用性的平台即可。存储提供商以原生 FIL 令牌形式提供的抵押品可以提供加密经济安全,保证数据的存储。最后,存储交易的可编程性可以为数据可用性条款提供灵活性。

改造 DSN 功能以解决 DA 问题的最有力动机是降低 DA 解决方案下的数据存储成本。正如我们在下文所讨论的,在 FileCoin 上存储数据的成本要比在以太坊上存储数据便宜得多。考虑到当前的以太币/美元价格,向以太坊写入 1 GB 的 calldata 需要花费 300 多万美元,而且还要在 21 天后进行剪枝。这笔 calldata 费用占到基于以太坊的卷积交易成本的一半以上。然而,FileCoin 上 1 GB 的存储空间每月花费不到 0.0002 美元。以这一价格或任何类似价格确保 DA 将降低用户的交易成本,并有助于提高 Web3 的性能和可扩展性。

经济安全

在 FileCoin 中,提供存储空间需要抵押品。如果提供商未能履行其交易或坚持网络保证,抵押品就会被削减。未能提供服务的存储提供商将面临失去抵押品和本可从提供存储空间中赚取的任何利润。

激励机制调整

FileCoin 的许多协议激励措施与 DA 的目标一致。FileCoin 为恶意或懒惰行为提供了抑制措施:在共识期间,存储提供商必须以复制证明和时空证明的形式积极提供存储证明,不断证明存储的存在,而无需诚实的多数假设。如果存储提供商未能提供证明,就会被削减赌注并从共识中除名,还会受到其他处罚。目前的 DA 解决方案缺乏激励节点执行 DAS 的措施,只能依靠临时性的利他行为来证明 DA。

可编程性

定制数据交易的能力也使 DSN 成为一个极具吸引力的 DA 平台。数据交易可以有不同的持续时间,从而使基于 DSN 的 DA 用户只需支付他们所需的 DA 费用。容错性也可以通过设置存储在整个网络中的副本数量来调整。FileCoin 上的智能合约(称为 Actors)支持进一步的定制,这些合约在 FEVM 上执行。这导致 FileCoin 的 DApp 生态系统不断壮大,从 Bacalhau 等计算存储解决方案到 Glif 等 DeFi 和液体定标解决方案。Retriev 利用 FileCoin Actors 与经过许可的推荐人一起提供激励对齐的检索。

基于去中心化存储网络(DSN)的数据可用性(DA)架构面临的挑战

在调查中,我们发现了在 DSN 上构建 DA 服务之前需要克服的重大挑战。由于我们现在讨论的是实施的可行性,因此我们将把 FileCoin 作为讨论的重点。

证明延迟

证明延迟

确保 FileCoin 上交易和存储数据完整性的加密证明需要时间来证明。当数据提交到网络时,会被分割成 32 千兆字节的扇区并 “封存”。数据封存是复制证明(PoRep)和时空证明(PoST)的基础,前者证明存储提供商存储了数据的一个或多个唯一副本,后者证明存储提供商在整个存储交易期间连续存储了唯一副本。封存的计算成本必须很高,以确保存储提供商不会按需封存数据,从而破坏所需的 PoReP。当协议向存储提供商提出定期挑战,要求其提供唯一和连续存储的证明时,封存的安全时间必须长于响应窗口,这样存储提供商就无法临时伪造证明或副本。因此,提供商封存一个数据扇区可能需要大约三个小时。

存储阈值

由于密封操作的计算成本较高,密封数据的扇区大小必须具有经济价值。存储价格必须证明密封成本对存储提供商来说是合理的,同样,由此产生的数据存储成本必须足够低(在本例中,约 32GB 的数据块),客户才会愿意在 FileCoin 上存储数据。虽然可以封存较小的扇区,但这将推高存储价格,以补偿存储提供商。为了解决这个问题,数据聚合商从用户那里收集更小的数据块,作为接近 32GB 的数据块提交给 FileCoin。数据聚合器通过Proof-of-Data-Segment-Inclusion(PoDSI)向用户保证将用户的数据包含在一个扇区中,并提供子片段CID(pCID),用户可以使用它来从网络中检索数据。

共识约束

FileCoin 的共识机制 “预期共识”(Expected Consensus)的分块时间为 30 秒,在数小时内完成,在不久的将来可能会有所改进(请参阅 FIP-0086 以了解 FileCoin 的快速完成)。这通常太慢,无法支持依赖 DA 获取交易数据的第 2 层所需的交易吞吐量。FileCoin 的区块时间受存储提供商硬件的限制;区块时间越短,存储提供商生成和提供存储证明的难度就越大,存储提供商因错过正确存储数据的证明窗口而受到的错误惩罚就越多。为了克服这一问题,可以利用星际共识(IPC)子网来缩短共识时间。IPC 使用类似于 Tendermint 的共识和 DRAND 的随机性:在 DRAND 是瓶颈的情况下,我们可以通过 IPC 子网实现 3 秒的分块时间。在 Tendermint 瓶颈的情况下,Narwhal 等 PoC 实现了数百毫秒的分块时间。

检索速度

最后一个障碍是检索。从上述限制条件中,我们可以推断出 FileCoin 适用于冷或温存储。然而,DA 数据是热数据,需要支持性能良好的应用程序。激励对齐检索在 FileCoin 中很困难;数据在提供给客户端之前需要解封,这会增加延迟。目前,快速检索是通过 SLA 或将未封存数据与封存扇区一起存储来实现的,而在 FileCoin 上的安全和无权限应用架构中,这两种方式都不可靠。特别是随着 Retriev 证明可以通过 FVM 保证检索,在 FileCoin 上进行激励对齐的快速检索仍然是一个有待进一步探索的领域。

成本分析

在本节中,我们将考虑这些设计因素带来的成本。我们展示了将 32GB 存储为以太坊 calldata、Celestia blobdata、EigenDA blobdata 和 FileCoin 上扇区的成本,并使用了接近当前的市场价格。

分析强调了以太坊 calldata 的价格: 32 GB 数据的价格为 1 亿美元。这一价格显示了以太坊共识背后的安全成本,并受以太坊和天然气价格波动的影响。Dencun 升级引入了 Proto-Danksharding (EIP-4844),引入二进制大型对象(blob) 交易,目标是每个区块 3 个 blob,每个大约 125 KB,以及可变的气体 blob 定价,以保持每个区块的目标 blob 数量。这一升级将以太坊 DA 的成本降低了⅕:32 GB blob 数据的成本为 2000 万美元。

Celestia 和 EigenDA 提供了显著的改进: 32 GB 数据的成本分别为 8,000 美元和 26,000 美元。两者都受市场价格波动的影响,并在一定程度上反映了数据安全共识的成本: Celestia 使用原生 TIA 代币,EigenDA 使用以太币。

在上述所有情况下,存储的数据都不是永久性的。以太坊 calldata 的存储时间为 3 周,blobs 的存储时间为 18 天。EigenDA 存储Blob 的默认期限为 14 天。在当前的 Celestia 实现中,存档节点无限期地存储 blob 数据,但光节点最多只能采样 30 天。

最后两个表格是 FileCoin 与当前 DA 解决方案的直接比较。成本等价首先列出了单个字节数据在给定平台上的成本。然后列出以相同成本可存储相同时间的 FileCoin 字节数量。

这表明 FileCoin 比当前的 DA 解决方案便宜很多,只需几分之一的成本就能在相同时间内存储相同数量的数据。与以太坊节点和其他 DA 解决方案的节点不同,FileCoin 的节点经过优化,可以提供存储服务,其证明系统允许节点证明存储,而不是在网络中的每个节点上复制存储。在不考虑存储提供商的经济效益(如封存数据的能源成本)的情况下,这表明 FileCoin 上存储过程的基本开销可以忽略不计。这表明,与以太坊相比,能够在 FileCoin 上提供安全、高性能 DA 服务的系统的市场机会高达每千兆字节数百万美元。

数据吞吐量

下面,我们将考虑 DA 解决方案的容量和主要第 2 层卷积产生的需求。

由于 FileCoin 的区块链是以每个区块高度的多个区块组成的 Tipets 组织的,因此可以完成的交易数量不受共识或区块大小的限制。FileCoin 的严格数据限制是其全网存储容量,而不是共识允许的容量。

对于每日 DA 需求,我们从 Terry Chung 和 Wei Dai 的 Rollups DA 和 Execution 中获取数据,其中包括 30 天的日平均值和单个采样日。这让我们在考虑平均需求量的同时,也不会忽略平均值的异常情况(例如,Optimism 在 2023 年 8 月 15 日的需求量约为 261,000,000 字节,是其 30 天平均值 64,000,000 字节的 4 倍多)。

从这一选择中,我们可以看出,尽管有机会降低 DA 成本,但我们需要大幅增加 DA 需求,才能有效利用 FileCoin 的 32 GB 扇区大小。虽然用小于 32 GB 的数据封存 32 GB 扇区会浪费资源,但我们可以这样做,同时还能获得成本优势。

架构

在本节中,我们将考虑如果我们今天要构建这一系统,可以实现的技术架构。我们将在任意 L2 应用程序和 L2 服务的 L1 链的背景下考虑该架构。由于该解决方案是一种外部 DA 解决方案,就像 Celestia 和 EigenDA 的解决方案一样,因此我们不将 FileCoin 视为 L1 示例。

组件概述

即使在高层次上,FileCoin 上的 DA 也会使用 FileCoin 生态系统的许多不同功能。

交易: 下游用户在需要 DA 的平台上进行交易。这可能是一个 L2。

使用 DA 的平台:这些平台使用 DA 作为服务。这可以是一个 L2,它将交易数据发布到 FileCoin DA,并向一个 L1(如以太坊)做出承诺。

第 1 层:这是任何包含指向 DA 解决方案数据的承诺的第 1 层。这可以是以太坊,支持利用 FileCoin DA 解决方案的 L2。

聚合器: 基于 FileCoin 的 DA 解决方案的前端是一个聚合器,它是一个集中式组件,用于接收来自 L2 和其他 DA 客户端的交易数据,并将其聚合为适合封存的 32 GB 扇区。虽然一个简单的概念验证将包括一个集中式聚合器,但使用 DA 解决方案的平台也可以运行自己的聚合器,例如作为 L2 排序器的辅助设备。聚合器的集中化与 L2 排序器或 EigenDA 的分散器类似。一旦聚合器编译出接近 32GB 的有效载荷,它就会与存储提供商达成存储协议,以存储数据。客户可以通过 PoDSI(数据段包含证明)和 pCID 的形式保证其数据将被包含在该部门中,一旦数据进入网络,还可以通过 pCID 来识别其数据。该 pCID 将包含在 L1 上的状态承诺中,以参考支持交易的数据。

验证器: 验证者要求存储提供商提供数据,以确保状态承诺的完整性,并建立欺诈证明,在可证明欺诈的情况下,将欺诈证明提交给 L1。

存储交易:一旦聚合器编译了接近 32GB 的有效载荷,聚合器就会与存储提供商达成存储交易,以存储数据。

发布 blob(投放): 为了启动投放,DA 客户端将向聚合器提交包含交易数据的 blob。这可以通过链下方式完成,也可以通过链上聚合器甲骨文以链上方式完成。为确认收到数据包,聚合器会向客户端返回 PoDSI,以证明其数据包包含在将提交到子网络的聚合扇区中。同时还会返回一个 pCID(子块内容标识符)。一旦该 blob 在 FileCoin 上提供,客户端和任何其他相关方将使用它来引用该 blob。

数据交易将在交易达成后几分钟内出现在链上。最大的延迟障碍是密封时间,可能需要 3 个小时。这意味着,虽然交易已经完成,而且客户端可以确信数据将出现在网络中,但在密封过程完成之前,无法保证数据可以查询。Lotus 客户端具有快速检索功能,在该功能中,数据的未密封副本与密封副本一起存储,只要检索交易不依赖于密封数据出现在网络上的证明,那么在未密封数据传输到数据存储提供商后,就可以立即提供服务。不过,这一功能由数据提供商自行决定,并不作为协议的一部分提供加密保证。如果要提供快速检索保证,就需要改变共识和惩罚/激励机制来强制执行。

检索 Blob(获取): 检索与投放操作类似。需要进行检索交易,交易将在几分钟内出现在链上。检索延迟取决于交易条款以及是否为快速检索存储了未封存的数据副本。在快速检索的情况下,延迟取决于网络条件。在没有快速检索的情况下,数据在提供给客户端之前需要解封,这与封存所需的时间相同,大约需要 3 个小时。因此,在没有优化的情况下,我们的最大往返时间为 6 小时,在这成为一个可行的 DA 或欺诈证明系统之前,需要对数据服务进行重大改进。

DA 证明:DA 证明可分两步考虑:通过 PoDSI,即在交易时将数据提交给聚合器时给出的 PoDSI,以及存储提供商通过 FileCoin 的共识机制提供的 PoRep 和 PoST 的持续承诺。如上所述,PoRep 和 PoST 为数据保管和持久性提供了预定的、可证明的保证。

该解决方案将大量使用桥接,因为任何依赖于 DA 的客户端(无论是否构建了证明)都需要能够与 FileCoin 进行交互。如果 pCID 包含在发布到 L1 的状态转换中,验证者可以进行初步检查,以确保没有提交虚假的 pCID。有几种方法可以做到这一点,例如,通过在 L1 上发布 FileCoin 数据的预言机Oracle,或通过验证器来验证是否存在与 pCID 相对应的数据交易或扇区。同样,对发布到 L1 上的有效性或欺诈性证明的验证可能也需要使用桥接器,以确信证明的有效性或欺诈性。目前可用的桥接器有 Axelar 和 Celer。

安全性分析

FileCoin 的完整性是通过削减抵押品来实现的。抵押品在两种情况下会被削减:存储故障或共识故障。存储故障是指存储提供商无法提供存储数据的证明(PoRep 或 PoST),在我们的模型中,这与缺乏数据可用性相关联。共识故障与共识中的恶意行为相对应,共识是管理交易分类账的协议,而 FEVM 则是从交易分类账中抽象出来的。

  • 扇区故障是指因未能提供连续存储证明而产生的处罚。存储提供商有一天的宽限期,在此期间不会因存储故障而受到处罚。扇区出现故障 42 天后,该扇区将被终止。产生的费用被烧毁。

BR(t) = 预计奖励分数(t)*扇区质量调整功率

  • 扇区终止发生在扇区出现故障 42 天或存储提供商故意终止交易之后。终止费用相当于一个扇区在终止前所赚取的最大金额,上限为 90 天的收入。未支付的交易费将返还给客户。已发生的费用被烧毁。

max(SP(t), BR(StartEpoch, 20d) + BR(StartEpoch, 1d) terminationRewardFactor min(SectorAgeInDays, 140))

  • 当交易终止时,会出现存储市场代理削价。这是对存储提供商在交易背后提供的抵押品的削减。

FileCoin 提供的安全性与其他区块链截然不同。区块链数据通常通过共识来确保安全,而 FileCoin 的共识只确保交易分类账的安全,而不是交易引用的数据的安全。存储在 FileCoin 上的数据只有足够的安全性,才能激励存储提供商提供存储。这意味着,存储在 FileCoin 上的数据是通过故障惩罚和商业激励(如在客户中的声誉)来确保安全的。换句话说,区块链上的数据故障等同于违反共识,会破坏区块链的安全性或其交易有效性概念。FileCoin 的设计在涉及数据存储时具有容错性,因此只使用其共识来确保交易账簿和交易相关活动的安全。存储矿工不履行其数据交易的代价是最多价值 90 天的存储奖励的罚款,以及矿工为确保交易而提供的抵押物的损失。

因此,从 FileCoin 提供商处发起数据扣留攻击的成本只是检索交易的机会成本。FileCoin 上的数据检索依赖于客户支付的费用对存储矿工的激励。但是,不响应数据检索请求不会对矿工造成负面影响。为了降低单个存储矿工忽略或拒绝数据检索交易的风险,FileCoin 上的数据可由多个矿工存储。

由于 FileCoin 上存储的数据背后的经济安全性大大低于基于区块链的解决方案,因此还必须考虑防止数据被篡改。数据篡改通过 FileCoin 的证明系统得到保护。数据通过 CID 进行引用,通过 CID 可以立即检测到数据损坏。因此,数据提供者不能提供损坏的数据,因为很容易验证获取的数据是否与请求的 CID 匹配。数据提供商不能将损坏的数据存储在未损坏数据的位置上。在收到客户数据后,提供商必须提供正确密封数据扇区的证明,才能启动数据交易(检查此点)。因此,不能用损坏的数据启动存储交易。在存储交易的有效期内,会提供 PoST 以证明保管情况(请注意,这既能证明密封数据扇区的保管情况,也能证明自上次 PoST 以来的保管情况)。由于 PoST 依赖于生成证明时的密封扇区,因此损坏的扇区会导致假 PoST,从而造成扇区故障。因此,存储提供商既不能存储损坏的数据,也不能为损坏的数据提供服务,不能要求为未损坏的数据提供服务的奖励,也不能避免因篡改客户数据而受到惩罚。

可以通过增加存储提供商向存储市场代理承诺的抵押品来加强安全性,抵押品目前由存储提供商和客户决定。

如果我们假定这个赌注足够高(例如,与以太坊验证器的赌注相同),足以激励提供商不违约,那么我们就能想到还有什么需要确保的(尽管这将是极度低效的,因为需要用这个赌注来确保每个交易 blob 或聚合 blob 扇区的安全)。现在,数据提供商可以选择在存储市场行为者终止存储交易之前,在最长 41 天的时间内让数据不可用。假设数据交易的时间较短,我们可以假设数据在交易的最后一天之前都是不可用的。在没有恶意行为者协调的情况下,可以通过在多个存储提供商上复制来缓解这种情况,这样数据就能继续得到服务。

我们可以考虑攻击者为接受虚假证明或重写分类账历史以从订单簿中删除交易而推翻共识的成本,而不会对负责任的存储提供商进行惩罚。但值得注意的是,在这种违反安全规定的情况下,攻击者可以随心所欲地操纵 FileCoin 的分类账。为了让攻击者实施此类攻击,他们至少需要在 FileCoin 链中拥有多数股权。权益与向网络提供的存储有关;目前 FileCoin 链的数据量为 25 EiB(10¹⁶ 字节),恶意行为者要提供自己的链,赢得分叉选择规则,至少需要 12.5 EiB。与共识故障有关的削价进一步减轻了这一影响,对共识故障的惩罚是损失所有抵押品和区块奖励,并暂停参与共识。

题外话: 其他 DA 解决方案的扣留攻击

尽管上述情况表明 FileCoin 在保护数据免受扣留攻击方面存在不足,但它并不是唯一一个。

  • 以太坊 一般来说,保证以太坊网络请求得到回应的唯一方法是运行一个完整节点。全节点不需要满足共识之外的数据检索请求—因此。PeerDAS 等构造为节点对数据检索的响应引入了一个同行评分系统,在该系统中,分数足够低(本质上是 DA 信誉)的节点可能会被隔离在网络之外。
  • Celestia 尽管与我们的 FileCoin 结构相比,Celestia 具有更强的每字节安全性,可以抵御扣留攻击,但利用这种安全性的唯一方法是托管自己的完整节点。对 Celestia 基础设施的请求,如果不属于内部拥有和运营,则会被审查而不会受到惩罚。
  • EigenDA 与 Celestia 类似,任何服务都可以运行 EigenDA 操作员节点,以确保检索自己的数据。因此,任何超出协议的数据检索请求都会受到审查。还需注意的是,EigenDA 有一个集中可信的分发器,负责数据编码、KZG 承诺和数据分发,与我们的聚合器类似。

检索安全性

可回收性是数字资产评估的必要条件。在理想情况下,市场力量会促使经济上理性的矿工接受检索交易,并与其他矿工竞争,为客户压低价格。我们假定这足以让数据提供商提供检索服务,但鉴于 DA 的重要性,要求更高的安全性也是合理的。

目前,检索无法通过上述经济安全性得到保证。这是因为要以信任最小化的方式证明数据未被客户端接收(在客户端需要反驳存储矿工发送数据的主张时),在密码学上是很困难的。为了通过 FileCoin 的经济安全性确保检索安全,需要一个协议本机检索保证。在对协议进行最小改动的情况下,这意味着检索需要与扇区故障或交易终止相关联。Retriev 是一个概念验证,它能够通过使用受信任的 “裁判 “来调解数据检索争议,从而提供数据检索保证。

另外 其他 DA 解决方案上的检索

如上所述,FileCoin 缺乏必要的协议本机检索保证,以防止存储(或检索提供商)采取自私行为。就以太坊和 Celestia 而言,保证可以读取协议中数据的唯一方法是自托管一个完整的节点,或者信任基础设施提供商的 SLA。以 FileCoin 存储提供商的身份保证检索并非易事;在 FileCoin 中,类似的设置是成为存储提供商(需要大量基础设施成本),并成功接受与以用户身份发布的存储提供商相同的存储交易,此时,人们将向自己支付费用,为自己提供存储。

延迟分析

FileCoin 上的延迟由多个因素决定,如网络、拓扑结构、存储挖掘客户端配置和硬件能力。我们提供了一个理论分析,讨论了这些因素以及我们的构建所能预期的性能。

由于 FileCoin 的证明系统的设计以及缺乏检索激励,FileCoin 并未优化为提供从初始发布数据到初始检索数据的高性能往返延迟。FileCoin 上的高性能检索是一个活跃的研究领域,随着存储提供商能力的提高和 FileCoin 新功能的推出,该领域也在不断变化。我们将 “往返 “定义为从提交数据交易到最早可以下载提交到 FileCoin 的数据的时间。

区块时间

在 FileCoin 的预期共识中,数据交易可包含在 30 秒的区块时间内。1 小时是确认敏感链上数据(如硬币转移)的典型时间。

数据处理

不同存储提供商和配置的数据处理时间差异很大。在使用标准存储挖矿硬件的情况下,密封过程设计为 3 小时。矿工通常会通过特殊的客户端配置、并行化和投资性能更强的硬件来超过 3 小时的阈值。这种变化也会影响扇区解封的持续时间,而 FileCoin 客户端(如 Lotus)中的快速检索选项可以完全规避这一问题。快速检索设置会在封存数据的同时存储一份未封存的数据副本,从而大大加快检索时间。在此基础上,我们可以假设从接受数据交易到数据在链上可用的最坏情况延迟时间为三小时。

总结与展望

本文探讨了如何利用现有的 DSN(FileCoin)构建一个 DA。我们考虑了 DA 作为以太坊中扩展基础设施的关键元素的要求。我们考虑在 FileCoin 的基础上构建 DSN 上的 DA 的可行性,并利用它来考虑 FileCoin 上的解决方案将为以太坊生态系统提供的机会,或任何将受益于具有成本效益的 DA 层的机会。

FileCoin 证明,在基于区块链的分布式系统中,DSN 可以显著提高数据存储的效率,按当前市场价格计算,每写入 32 GB 的数据可节省 1 亿美元。尽管对 DA 的需求还不足以填满 32 GB 的扇区,但如果封存空扇区,DA 的成本优势依然存在。虽然目前 FileCoin 上的存储和检索延迟不适合热存储需求,但特定于存储矿工的实现可以提供合理的性能,在 3 小时内即可获得数据。

对 FileCoin 存储提供商增加的信任可通过可变抵押品进行调整,例如在 EigenDA 中。FileCoin 扩展了这种可调安全性,允许在整个网络中存储多个副本,增加了可调的拜占庭容忍度。需要解决有保证和高性能的数据检索问题,以便有力地阻止扣留数据的攻击,然而,与其他任何解决方案一样,真正保证可检索性的唯一方法是自行托管节点或信任基础设施提供商。

我们在 PoDSI 的进一步发展中看到了 DA 的机会,它可以(与 FileCoin 目前的证明一起)用于替代 DAS,以保证数据包含在更大的密封部门中。这可能会使数据的缓慢周转变得可以容忍,因为欺诈证明可以在 1 天到 1 周的窗口内发布,而 DA 可以按需保证。PoDSI 仍是一个新技术,正在大力开发中,因此我们还不知道高效的 PoDSI 会是什么样子,也不知道围绕它建立系统所需的机制。由于已有在 FileCoin 数据之上进行计算的解决方案,在封存或未封存数据上计算 PoDSI 的解决方案的想法在不久的将来也可能实现。

随着 DA 和 FileCoin 领域的发展,新的解决方案和使能技术的组合可能会实现新的概念验证。正如 Solana 与 FileCoin 网络的整合所显示的,DSN 具有作为扩展技术的潜力。FileCoin 上的数据存储成本提供了一个开放的机会,有很大的优化空间。虽然本文所讨论的挑战是在支持 DA 的背景下提出的,但它们的最终解决方案将开启大量新工具和系统,使其超越 DA。

声明:

  1. 本文转载自[Fenbushi Capital],著作权归属原作者[ Fenbushi Capital ],如对转载有异议,请联系Gate Learn团队,团队会根据相关流程尽速处理。
  2. 免责声明:本文所表达的观点和意见仅代表作者个人观点,不构成任何投资建议。
  3. 文章其他语言版本由Gate Learn团队翻译, 在未提及Gate.io的情况下不得复制、传播或抄袭经翻译文章。

在FileCoin冷存储系统中打造高效数据可用性解决方案

中级5/6/2024, 8:48:59 AM
本文探讨了如何利用现有的分布式存储网络Filecoin来构建去中心化应用程序(DApps),包括考虑将去中心化应用程序需求作为以太坊可扩展性基础设施的重要组成部分,评估在Filecoin上构建去中心化应用程序的可行性,以及Filecoin解决方案将为以太坊生态系统带来的机遇。

数据可用性(DA)是以太坊扩展的核心技术,它允许节点有效地验证数据是否在网络上可用,而无需在节点上托管这些数据。这对于有效地构建Rollups和其他形式的垂直扩展至关重要,使执行节点能够在结算期间确保交易数据的可用性。对于以太坊网络的分片和其他形式的水平扩展也是至关重要的,这是计划中的未来更新,因为节点需要证明网络分片中存储的交易数据(或数据块)确实可供网络使用。最近讨论和发布了几种DA解决方案(例如Celestia、EigenDA、Avail),都旨在为应用程序提供性能和安全的基础设施来发布DA。与以太坊等一级链相比,外部DA解决方案的优势在于提供了一个廉价且高效的链上数据载体。DA解决方案通常由其自己的公共链构成,旨在实现廉价且无需许可的存储。即使经过修改,事实仍然是直接从区块链上托管数据极为低效。因此,我们认为探索像FileCoin这样的存储优化解决方案作为DA层的基础是合乎逻辑的。FileCoin利用其区块链协调客户和存储提供者之间的存储交易,但允许数据在链外存储。

在这篇文章中,我们将研究建立在分布式存储网络(DSN)之上的 DA 解决方案的可行性。我们特别考虑了 FileCoin,因为它是迄今为止采用最多的 DSN。我们概述了这种解决方案将提供的机遇,以及构建这种解决方案需要克服的挑战。

DA 层为依赖于它的服务提供以下功能:

1.客户端安全: 任何节点都不能确信不可用的数据是可用的。

2.全球安全: 除了极少数节点外,所有节点都同意数据的不可用/可用性。

  1. 高效的数据检索能力。

所有这些都需要高效完成,以实现扩展。在上述三点中,DA 层以较低的成本提供更高的性能。例如,任何节点都可以请求一份完整的数据副本来证明其监护权,但这样做的效率很低。通过提供上述三点的系统,我们实现了一个 DA 层,该层可提供 L2 与 L1 协调所需的安全性,并在存在恶意多数的情况下提供更强的下限。

数据保管

发布到DA解决方案的数据具有一定的有用寿命:足够长,以解决争议或验证状态转换。交易数据只需要在验证正确的状态转换或为验证者提供足够的机会构建欺诈证明时可用。就目前而言,以太坊calldata是项目(Rollups)中最常用的数据可用性解决方案。

数据的高效核验

数据的高效验证

数据可用性取样(DAS)是回答 DA 问题的标准方法。它还具有额外的安全优势,可加强网络行为者验证来自其对等方的状态信息的能力。但是,它依赖于节点来执行采样: DAS 请求必须得到回应,以确保挖矿交易不会被拒绝,但节点请求采样并没有正面或负面的激励。从请求采样的节点的角度来看,不执行 DAS 不会受到负面惩罚。举例来说,Celestia 提供了第一个也是唯一一个执行 DAS 的轻客户端实现,为用户提供了更强的安全假设,并降低了数据验证的成本。

高效的数据访问

DA 需要为使用它的项目提供高效的数据访问。速度慢的 DA 可能会成为依赖它的服务的瓶颈,轻则造成效率低下,重则导致系统故障。

去中心化存储网络

去中心化存储网络

去中心化存储网络(DSN,在 FileCoin 白皮书¹ 中正式表述)是一个由存储提供商组成的无许可网络,存储提供商为网络用户提供存储服务。非正式地讲,它允许独立的存储提供商与需要存储服务的客户协调存储交易,并为寻求低价存储服务的客户提供廉价、弹性的数据存储。这项工作通过区块链进行协调,区块链记录存储交易并支持智能合约的执行。

DSN 方案是三个协议的元组: 投入(Put)、获取(Get)和管理(Manage)。这个元组具有容错保证和参与激励等属性。

放(数据)→密钥

客户端执行 Put 以唯一密钥存储数据。要实现这一点,需要指定数据在网络上的存储期限、为冗余而存储的数据副本数量,以及与存储提供商协商的价格。

获取(键)→数据

客户端执行 Get 命令来检索存储在某个密钥下的数据。

管理()

管理协议由网络参与者调用,以协调提供商提供的存储空间和服务,并修复故障。就 FileCoin 而言,这是通过区块链进行管理的。该区块链记录客户与数据提供商之间达成的数据交易,以及正确存储数据的证明,以确保数据交易得到维护。存储数据的正确性是通过数据提供商为应对网络挑战而发布的证明来证明的。当存储提供商未能按照管理协议的要求及时生成复制证明或时空证明时,就会发生存储故障,导致存储提供商的赌注被削减。如果不止一个提供商在网络上托管数据副本,交易可以通过寻找新的存储提供商来履行存储交易,从而在存储故障情况下自我修复。

去中心化存储网络的机会

迄今为止,DA 项目所做的工作一直是将区块链转化为热存储平台。由于 DSN 对存储进行了优化,因此与其将区块链转化为存储平台,我们只需将存储平台转化为提供数据可用性的平台即可。存储提供商以原生 FIL 令牌形式提供的抵押品可以提供加密经济安全,保证数据的存储。最后,存储交易的可编程性可以为数据可用性条款提供灵活性。

改造 DSN 功能以解决 DA 问题的最有力动机是降低 DA 解决方案下的数据存储成本。正如我们在下文所讨论的,在 FileCoin 上存储数据的成本要比在以太坊上存储数据便宜得多。考虑到当前的以太币/美元价格,向以太坊写入 1 GB 的 calldata 需要花费 300 多万美元,而且还要在 21 天后进行剪枝。这笔 calldata 费用占到基于以太坊的卷积交易成本的一半以上。然而,FileCoin 上 1 GB 的存储空间每月花费不到 0.0002 美元。以这一价格或任何类似价格确保 DA 将降低用户的交易成本,并有助于提高 Web3 的性能和可扩展性。

经济安全

在 FileCoin 中,提供存储空间需要抵押品。如果提供商未能履行其交易或坚持网络保证,抵押品就会被削减。未能提供服务的存储提供商将面临失去抵押品和本可从提供存储空间中赚取的任何利润。

激励机制调整

FileCoin 的许多协议激励措施与 DA 的目标一致。FileCoin 为恶意或懒惰行为提供了抑制措施:在共识期间,存储提供商必须以复制证明和时空证明的形式积极提供存储证明,不断证明存储的存在,而无需诚实的多数假设。如果存储提供商未能提供证明,就会被削减赌注并从共识中除名,还会受到其他处罚。目前的 DA 解决方案缺乏激励节点执行 DAS 的措施,只能依靠临时性的利他行为来证明 DA。

可编程性

定制数据交易的能力也使 DSN 成为一个极具吸引力的 DA 平台。数据交易可以有不同的持续时间,从而使基于 DSN 的 DA 用户只需支付他们所需的 DA 费用。容错性也可以通过设置存储在整个网络中的副本数量来调整。FileCoin 上的智能合约(称为 Actors)支持进一步的定制,这些合约在 FEVM 上执行。这导致 FileCoin 的 DApp 生态系统不断壮大,从 Bacalhau 等计算存储解决方案到 Glif 等 DeFi 和液体定标解决方案。Retriev 利用 FileCoin Actors 与经过许可的推荐人一起提供激励对齐的检索。

基于去中心化存储网络(DSN)的数据可用性(DA)架构面临的挑战

在调查中,我们发现了在 DSN 上构建 DA 服务之前需要克服的重大挑战。由于我们现在讨论的是实施的可行性,因此我们将把 FileCoin 作为讨论的重点。

证明延迟

证明延迟

确保 FileCoin 上交易和存储数据完整性的加密证明需要时间来证明。当数据提交到网络时,会被分割成 32 千兆字节的扇区并 “封存”。数据封存是复制证明(PoRep)和时空证明(PoST)的基础,前者证明存储提供商存储了数据的一个或多个唯一副本,后者证明存储提供商在整个存储交易期间连续存储了唯一副本。封存的计算成本必须很高,以确保存储提供商不会按需封存数据,从而破坏所需的 PoReP。当协议向存储提供商提出定期挑战,要求其提供唯一和连续存储的证明时,封存的安全时间必须长于响应窗口,这样存储提供商就无法临时伪造证明或副本。因此,提供商封存一个数据扇区可能需要大约三个小时。

存储阈值

由于密封操作的计算成本较高,密封数据的扇区大小必须具有经济价值。存储价格必须证明密封成本对存储提供商来说是合理的,同样,由此产生的数据存储成本必须足够低(在本例中,约 32GB 的数据块),客户才会愿意在 FileCoin 上存储数据。虽然可以封存较小的扇区,但这将推高存储价格,以补偿存储提供商。为了解决这个问题,数据聚合商从用户那里收集更小的数据块,作为接近 32GB 的数据块提交给 FileCoin。数据聚合器通过Proof-of-Data-Segment-Inclusion(PoDSI)向用户保证将用户的数据包含在一个扇区中,并提供子片段CID(pCID),用户可以使用它来从网络中检索数据。

共识约束

FileCoin 的共识机制 “预期共识”(Expected Consensus)的分块时间为 30 秒,在数小时内完成,在不久的将来可能会有所改进(请参阅 FIP-0086 以了解 FileCoin 的快速完成)。这通常太慢,无法支持依赖 DA 获取交易数据的第 2 层所需的交易吞吐量。FileCoin 的区块时间受存储提供商硬件的限制;区块时间越短,存储提供商生成和提供存储证明的难度就越大,存储提供商因错过正确存储数据的证明窗口而受到的错误惩罚就越多。为了克服这一问题,可以利用星际共识(IPC)子网来缩短共识时间。IPC 使用类似于 Tendermint 的共识和 DRAND 的随机性:在 DRAND 是瓶颈的情况下,我们可以通过 IPC 子网实现 3 秒的分块时间。在 Tendermint 瓶颈的情况下,Narwhal 等 PoC 实现了数百毫秒的分块时间。

检索速度

最后一个障碍是检索。从上述限制条件中,我们可以推断出 FileCoin 适用于冷或温存储。然而,DA 数据是热数据,需要支持性能良好的应用程序。激励对齐检索在 FileCoin 中很困难;数据在提供给客户端之前需要解封,这会增加延迟。目前,快速检索是通过 SLA 或将未封存数据与封存扇区一起存储来实现的,而在 FileCoin 上的安全和无权限应用架构中,这两种方式都不可靠。特别是随着 Retriev 证明可以通过 FVM 保证检索,在 FileCoin 上进行激励对齐的快速检索仍然是一个有待进一步探索的领域。

成本分析

在本节中,我们将考虑这些设计因素带来的成本。我们展示了将 32GB 存储为以太坊 calldata、Celestia blobdata、EigenDA blobdata 和 FileCoin 上扇区的成本,并使用了接近当前的市场价格。

分析强调了以太坊 calldata 的价格: 32 GB 数据的价格为 1 亿美元。这一价格显示了以太坊共识背后的安全成本,并受以太坊和天然气价格波动的影响。Dencun 升级引入了 Proto-Danksharding (EIP-4844),引入二进制大型对象(blob) 交易,目标是每个区块 3 个 blob,每个大约 125 KB,以及可变的气体 blob 定价,以保持每个区块的目标 blob 数量。这一升级将以太坊 DA 的成本降低了⅕:32 GB blob 数据的成本为 2000 万美元。

Celestia 和 EigenDA 提供了显著的改进: 32 GB 数据的成本分别为 8,000 美元和 26,000 美元。两者都受市场价格波动的影响,并在一定程度上反映了数据安全共识的成本: Celestia 使用原生 TIA 代币,EigenDA 使用以太币。

在上述所有情况下,存储的数据都不是永久性的。以太坊 calldata 的存储时间为 3 周,blobs 的存储时间为 18 天。EigenDA 存储Blob 的默认期限为 14 天。在当前的 Celestia 实现中,存档节点无限期地存储 blob 数据,但光节点最多只能采样 30 天。

最后两个表格是 FileCoin 与当前 DA 解决方案的直接比较。成本等价首先列出了单个字节数据在给定平台上的成本。然后列出以相同成本可存储相同时间的 FileCoin 字节数量。

这表明 FileCoin 比当前的 DA 解决方案便宜很多,只需几分之一的成本就能在相同时间内存储相同数量的数据。与以太坊节点和其他 DA 解决方案的节点不同,FileCoin 的节点经过优化,可以提供存储服务,其证明系统允许节点证明存储,而不是在网络中的每个节点上复制存储。在不考虑存储提供商的经济效益(如封存数据的能源成本)的情况下,这表明 FileCoin 上存储过程的基本开销可以忽略不计。这表明,与以太坊相比,能够在 FileCoin 上提供安全、高性能 DA 服务的系统的市场机会高达每千兆字节数百万美元。

数据吞吐量

下面,我们将考虑 DA 解决方案的容量和主要第 2 层卷积产生的需求。

由于 FileCoin 的区块链是以每个区块高度的多个区块组成的 Tipets 组织的,因此可以完成的交易数量不受共识或区块大小的限制。FileCoin 的严格数据限制是其全网存储容量,而不是共识允许的容量。

对于每日 DA 需求,我们从 Terry Chung 和 Wei Dai 的 Rollups DA 和 Execution 中获取数据,其中包括 30 天的日平均值和单个采样日。这让我们在考虑平均需求量的同时,也不会忽略平均值的异常情况(例如,Optimism 在 2023 年 8 月 15 日的需求量约为 261,000,000 字节,是其 30 天平均值 64,000,000 字节的 4 倍多)。

从这一选择中,我们可以看出,尽管有机会降低 DA 成本,但我们需要大幅增加 DA 需求,才能有效利用 FileCoin 的 32 GB 扇区大小。虽然用小于 32 GB 的数据封存 32 GB 扇区会浪费资源,但我们可以这样做,同时还能获得成本优势。

架构

在本节中,我们将考虑如果我们今天要构建这一系统,可以实现的技术架构。我们将在任意 L2 应用程序和 L2 服务的 L1 链的背景下考虑该架构。由于该解决方案是一种外部 DA 解决方案,就像 Celestia 和 EigenDA 的解决方案一样,因此我们不将 FileCoin 视为 L1 示例。

组件概述

即使在高层次上,FileCoin 上的 DA 也会使用 FileCoin 生态系统的许多不同功能。

交易: 下游用户在需要 DA 的平台上进行交易。这可能是一个 L2。

使用 DA 的平台:这些平台使用 DA 作为服务。这可以是一个 L2,它将交易数据发布到 FileCoin DA,并向一个 L1(如以太坊)做出承诺。

第 1 层:这是任何包含指向 DA 解决方案数据的承诺的第 1 层。这可以是以太坊,支持利用 FileCoin DA 解决方案的 L2。

聚合器: 基于 FileCoin 的 DA 解决方案的前端是一个聚合器,它是一个集中式组件,用于接收来自 L2 和其他 DA 客户端的交易数据,并将其聚合为适合封存的 32 GB 扇区。虽然一个简单的概念验证将包括一个集中式聚合器,但使用 DA 解决方案的平台也可以运行自己的聚合器,例如作为 L2 排序器的辅助设备。聚合器的集中化与 L2 排序器或 EigenDA 的分散器类似。一旦聚合器编译出接近 32GB 的有效载荷,它就会与存储提供商达成存储协议,以存储数据。客户可以通过 PoDSI(数据段包含证明)和 pCID 的形式保证其数据将被包含在该部门中,一旦数据进入网络,还可以通过 pCID 来识别其数据。该 pCID 将包含在 L1 上的状态承诺中,以参考支持交易的数据。

验证器: 验证者要求存储提供商提供数据,以确保状态承诺的完整性,并建立欺诈证明,在可证明欺诈的情况下,将欺诈证明提交给 L1。

存储交易:一旦聚合器编译了接近 32GB 的有效载荷,聚合器就会与存储提供商达成存储交易,以存储数据。

发布 blob(投放): 为了启动投放,DA 客户端将向聚合器提交包含交易数据的 blob。这可以通过链下方式完成,也可以通过链上聚合器甲骨文以链上方式完成。为确认收到数据包,聚合器会向客户端返回 PoDSI,以证明其数据包包含在将提交到子网络的聚合扇区中。同时还会返回一个 pCID(子块内容标识符)。一旦该 blob 在 FileCoin 上提供,客户端和任何其他相关方将使用它来引用该 blob。

数据交易将在交易达成后几分钟内出现在链上。最大的延迟障碍是密封时间,可能需要 3 个小时。这意味着,虽然交易已经完成,而且客户端可以确信数据将出现在网络中,但在密封过程完成之前,无法保证数据可以查询。Lotus 客户端具有快速检索功能,在该功能中,数据的未密封副本与密封副本一起存储,只要检索交易不依赖于密封数据出现在网络上的证明,那么在未密封数据传输到数据存储提供商后,就可以立即提供服务。不过,这一功能由数据提供商自行决定,并不作为协议的一部分提供加密保证。如果要提供快速检索保证,就需要改变共识和惩罚/激励机制来强制执行。

检索 Blob(获取): 检索与投放操作类似。需要进行检索交易,交易将在几分钟内出现在链上。检索延迟取决于交易条款以及是否为快速检索存储了未封存的数据副本。在快速检索的情况下,延迟取决于网络条件。在没有快速检索的情况下,数据在提供给客户端之前需要解封,这与封存所需的时间相同,大约需要 3 个小时。因此,在没有优化的情况下,我们的最大往返时间为 6 小时,在这成为一个可行的 DA 或欺诈证明系统之前,需要对数据服务进行重大改进。

DA 证明:DA 证明可分两步考虑:通过 PoDSI,即在交易时将数据提交给聚合器时给出的 PoDSI,以及存储提供商通过 FileCoin 的共识机制提供的 PoRep 和 PoST 的持续承诺。如上所述,PoRep 和 PoST 为数据保管和持久性提供了预定的、可证明的保证。

该解决方案将大量使用桥接,因为任何依赖于 DA 的客户端(无论是否构建了证明)都需要能够与 FileCoin 进行交互。如果 pCID 包含在发布到 L1 的状态转换中,验证者可以进行初步检查,以确保没有提交虚假的 pCID。有几种方法可以做到这一点,例如,通过在 L1 上发布 FileCoin 数据的预言机Oracle,或通过验证器来验证是否存在与 pCID 相对应的数据交易或扇区。同样,对发布到 L1 上的有效性或欺诈性证明的验证可能也需要使用桥接器,以确信证明的有效性或欺诈性。目前可用的桥接器有 Axelar 和 Celer。

安全性分析

FileCoin 的完整性是通过削减抵押品来实现的。抵押品在两种情况下会被削减:存储故障或共识故障。存储故障是指存储提供商无法提供存储数据的证明(PoRep 或 PoST),在我们的模型中,这与缺乏数据可用性相关联。共识故障与共识中的恶意行为相对应,共识是管理交易分类账的协议,而 FEVM 则是从交易分类账中抽象出来的。

  • 扇区故障是指因未能提供连续存储证明而产生的处罚。存储提供商有一天的宽限期,在此期间不会因存储故障而受到处罚。扇区出现故障 42 天后,该扇区将被终止。产生的费用被烧毁。

BR(t) = 预计奖励分数(t)*扇区质量调整功率

  • 扇区终止发生在扇区出现故障 42 天或存储提供商故意终止交易之后。终止费用相当于一个扇区在终止前所赚取的最大金额,上限为 90 天的收入。未支付的交易费将返还给客户。已发生的费用被烧毁。

max(SP(t), BR(StartEpoch, 20d) + BR(StartEpoch, 1d) terminationRewardFactor min(SectorAgeInDays, 140))

  • 当交易终止时,会出现存储市场代理削价。这是对存储提供商在交易背后提供的抵押品的削减。

FileCoin 提供的安全性与其他区块链截然不同。区块链数据通常通过共识来确保安全,而 FileCoin 的共识只确保交易分类账的安全,而不是交易引用的数据的安全。存储在 FileCoin 上的数据只有足够的安全性,才能激励存储提供商提供存储。这意味着,存储在 FileCoin 上的数据是通过故障惩罚和商业激励(如在客户中的声誉)来确保安全的。换句话说,区块链上的数据故障等同于违反共识,会破坏区块链的安全性或其交易有效性概念。FileCoin 的设计在涉及数据存储时具有容错性,因此只使用其共识来确保交易账簿和交易相关活动的安全。存储矿工不履行其数据交易的代价是最多价值 90 天的存储奖励的罚款,以及矿工为确保交易而提供的抵押物的损失。

因此,从 FileCoin 提供商处发起数据扣留攻击的成本只是检索交易的机会成本。FileCoin 上的数据检索依赖于客户支付的费用对存储矿工的激励。但是,不响应数据检索请求不会对矿工造成负面影响。为了降低单个存储矿工忽略或拒绝数据检索交易的风险,FileCoin 上的数据可由多个矿工存储。

由于 FileCoin 上存储的数据背后的经济安全性大大低于基于区块链的解决方案,因此还必须考虑防止数据被篡改。数据篡改通过 FileCoin 的证明系统得到保护。数据通过 CID 进行引用,通过 CID 可以立即检测到数据损坏。因此,数据提供者不能提供损坏的数据,因为很容易验证获取的数据是否与请求的 CID 匹配。数据提供商不能将损坏的数据存储在未损坏数据的位置上。在收到客户数据后,提供商必须提供正确密封数据扇区的证明,才能启动数据交易(检查此点)。因此,不能用损坏的数据启动存储交易。在存储交易的有效期内,会提供 PoST 以证明保管情况(请注意,这既能证明密封数据扇区的保管情况,也能证明自上次 PoST 以来的保管情况)。由于 PoST 依赖于生成证明时的密封扇区,因此损坏的扇区会导致假 PoST,从而造成扇区故障。因此,存储提供商既不能存储损坏的数据,也不能为损坏的数据提供服务,不能要求为未损坏的数据提供服务的奖励,也不能避免因篡改客户数据而受到惩罚。

可以通过增加存储提供商向存储市场代理承诺的抵押品来加强安全性,抵押品目前由存储提供商和客户决定。

如果我们假定这个赌注足够高(例如,与以太坊验证器的赌注相同),足以激励提供商不违约,那么我们就能想到还有什么需要确保的(尽管这将是极度低效的,因为需要用这个赌注来确保每个交易 blob 或聚合 blob 扇区的安全)。现在,数据提供商可以选择在存储市场行为者终止存储交易之前,在最长 41 天的时间内让数据不可用。假设数据交易的时间较短,我们可以假设数据在交易的最后一天之前都是不可用的。在没有恶意行为者协调的情况下,可以通过在多个存储提供商上复制来缓解这种情况,这样数据就能继续得到服务。

我们可以考虑攻击者为接受虚假证明或重写分类账历史以从订单簿中删除交易而推翻共识的成本,而不会对负责任的存储提供商进行惩罚。但值得注意的是,在这种违反安全规定的情况下,攻击者可以随心所欲地操纵 FileCoin 的分类账。为了让攻击者实施此类攻击,他们至少需要在 FileCoin 链中拥有多数股权。权益与向网络提供的存储有关;目前 FileCoin 链的数据量为 25 EiB(10¹⁶ 字节),恶意行为者要提供自己的链,赢得分叉选择规则,至少需要 12.5 EiB。与共识故障有关的削价进一步减轻了这一影响,对共识故障的惩罚是损失所有抵押品和区块奖励,并暂停参与共识。

题外话: 其他 DA 解决方案的扣留攻击

尽管上述情况表明 FileCoin 在保护数据免受扣留攻击方面存在不足,但它并不是唯一一个。

  • 以太坊 一般来说,保证以太坊网络请求得到回应的唯一方法是运行一个完整节点。全节点不需要满足共识之外的数据检索请求—因此。PeerDAS 等构造为节点对数据检索的响应引入了一个同行评分系统,在该系统中,分数足够低(本质上是 DA 信誉)的节点可能会被隔离在网络之外。
  • Celestia 尽管与我们的 FileCoin 结构相比,Celestia 具有更强的每字节安全性,可以抵御扣留攻击,但利用这种安全性的唯一方法是托管自己的完整节点。对 Celestia 基础设施的请求,如果不属于内部拥有和运营,则会被审查而不会受到惩罚。
  • EigenDA 与 Celestia 类似,任何服务都可以运行 EigenDA 操作员节点,以确保检索自己的数据。因此,任何超出协议的数据检索请求都会受到审查。还需注意的是,EigenDA 有一个集中可信的分发器,负责数据编码、KZG 承诺和数据分发,与我们的聚合器类似。

检索安全性

可回收性是数字资产评估的必要条件。在理想情况下,市场力量会促使经济上理性的矿工接受检索交易,并与其他矿工竞争,为客户压低价格。我们假定这足以让数据提供商提供检索服务,但鉴于 DA 的重要性,要求更高的安全性也是合理的。

目前,检索无法通过上述经济安全性得到保证。这是因为要以信任最小化的方式证明数据未被客户端接收(在客户端需要反驳存储矿工发送数据的主张时),在密码学上是很困难的。为了通过 FileCoin 的经济安全性确保检索安全,需要一个协议本机检索保证。在对协议进行最小改动的情况下,这意味着检索需要与扇区故障或交易终止相关联。Retriev 是一个概念验证,它能够通过使用受信任的 “裁判 “来调解数据检索争议,从而提供数据检索保证。

另外 其他 DA 解决方案上的检索

如上所述,FileCoin 缺乏必要的协议本机检索保证,以防止存储(或检索提供商)采取自私行为。就以太坊和 Celestia 而言,保证可以读取协议中数据的唯一方法是自托管一个完整的节点,或者信任基础设施提供商的 SLA。以 FileCoin 存储提供商的身份保证检索并非易事;在 FileCoin 中,类似的设置是成为存储提供商(需要大量基础设施成本),并成功接受与以用户身份发布的存储提供商相同的存储交易,此时,人们将向自己支付费用,为自己提供存储。

延迟分析

FileCoin 上的延迟由多个因素决定,如网络、拓扑结构、存储挖掘客户端配置和硬件能力。我们提供了一个理论分析,讨论了这些因素以及我们的构建所能预期的性能。

由于 FileCoin 的证明系统的设计以及缺乏检索激励,FileCoin 并未优化为提供从初始发布数据到初始检索数据的高性能往返延迟。FileCoin 上的高性能检索是一个活跃的研究领域,随着存储提供商能力的提高和 FileCoin 新功能的推出,该领域也在不断变化。我们将 “往返 “定义为从提交数据交易到最早可以下载提交到 FileCoin 的数据的时间。

区块时间

在 FileCoin 的预期共识中,数据交易可包含在 30 秒的区块时间内。1 小时是确认敏感链上数据(如硬币转移)的典型时间。

数据处理

不同存储提供商和配置的数据处理时间差异很大。在使用标准存储挖矿硬件的情况下,密封过程设计为 3 小时。矿工通常会通过特殊的客户端配置、并行化和投资性能更强的硬件来超过 3 小时的阈值。这种变化也会影响扇区解封的持续时间,而 FileCoin 客户端(如 Lotus)中的快速检索选项可以完全规避这一问题。快速检索设置会在封存数据的同时存储一份未封存的数据副本,从而大大加快检索时间。在此基础上,我们可以假设从接受数据交易到数据在链上可用的最坏情况延迟时间为三小时。

总结与展望

本文探讨了如何利用现有的 DSN(FileCoin)构建一个 DA。我们考虑了 DA 作为以太坊中扩展基础设施的关键元素的要求。我们考虑在 FileCoin 的基础上构建 DSN 上的 DA 的可行性,并利用它来考虑 FileCoin 上的解决方案将为以太坊生态系统提供的机会,或任何将受益于具有成本效益的 DA 层的机会。

FileCoin 证明,在基于区块链的分布式系统中,DSN 可以显著提高数据存储的效率,按当前市场价格计算,每写入 32 GB 的数据可节省 1 亿美元。尽管对 DA 的需求还不足以填满 32 GB 的扇区,但如果封存空扇区,DA 的成本优势依然存在。虽然目前 FileCoin 上的存储和检索延迟不适合热存储需求,但特定于存储矿工的实现可以提供合理的性能,在 3 小时内即可获得数据。

对 FileCoin 存储提供商增加的信任可通过可变抵押品进行调整,例如在 EigenDA 中。FileCoin 扩展了这种可调安全性,允许在整个网络中存储多个副本,增加了可调的拜占庭容忍度。需要解决有保证和高性能的数据检索问题,以便有力地阻止扣留数据的攻击,然而,与其他任何解决方案一样,真正保证可检索性的唯一方法是自行托管节点或信任基础设施提供商。

我们在 PoDSI 的进一步发展中看到了 DA 的机会,它可以(与 FileCoin 目前的证明一起)用于替代 DAS,以保证数据包含在更大的密封部门中。这可能会使数据的缓慢周转变得可以容忍,因为欺诈证明可以在 1 天到 1 周的窗口内发布,而 DA 可以按需保证。PoDSI 仍是一个新技术,正在大力开发中,因此我们还不知道高效的 PoDSI 会是什么样子,也不知道围绕它建立系统所需的机制。由于已有在 FileCoin 数据之上进行计算的解决方案,在封存或未封存数据上计算 PoDSI 的解决方案的想法在不久的将来也可能实现。

随着 DA 和 FileCoin 领域的发展,新的解决方案和使能技术的组合可能会实现新的概念验证。正如 Solana 与 FileCoin 网络的整合所显示的,DSN 具有作为扩展技术的潜力。FileCoin 上的数据存储成本提供了一个开放的机会,有很大的优化空间。虽然本文所讨论的挑战是在支持 DA 的背景下提出的,但它们的最终解决方案将开启大量新工具和系统,使其超越 DA。

声明:

  1. 本文转载自[Fenbushi Capital],著作权归属原作者[ Fenbushi Capital ],如对转载有异议,请联系Gate Learn团队,团队会根据相关流程尽速处理。
  2. 免责声明:本文所表达的观点和意见仅代表作者个人观点,不构成任何投资建议。
  3. 文章其他语言版本由Gate Learn团队翻译, 在未提及Gate.io的情况下不得复制、传播或抄袭经翻译文章。
即刻开始交易
注册并交易即可获得
$100
和价值
$5500
理财体验金奖励!
It seems that you are attempting to access our services from a Restricted Location where Gate is unable to provide services. We apologize for any inconvenience this may cause. Currently, the Restricted Locations include but not limited to: the United States of America, Canada, Cambodia, Thailand, Cuba, Iran, North Korea and so on. For more information regarding the Restricted Locations, please refer to the User Agreement. Should you have any other questions, please contact our Customer Support Team.