IPFS漫衍式存储研究陈诉

漫衍式存储是 2020 年区块链行业最热点的主题之一，该范畴除了最热点项目

IPFS/Filecoin 主网 10 月上线带来整个漫衍式存储行业暖度和流量快速上升，另外赛道也涌现出许多新的漫衍式存储项目，包括波卡生态漫衍式存储项目 Crust Network、永久存储区块链项目 Arweave 紧随 IPFS 步调也推出各自的主网，这些存储新星和老牌漫衍式存储项目Storj、Sia 一起，配合为区块链漫衍式存储生态孝敬气力，扩大漫衍式存储的生态国界。

作为一种漫衍式的信息基础举措措施，区块链漫衍式存储系统通过将文件或文件集存储在不

同的存储空间好比硬盘上，在链上同时天生文件存储确权证实，通过激励机制来激励存储空

间的提供方，区块链漫衍式存储在数据隐私、透明度、确权方面比拟传统云存储都具有上风，

加上数据存储市场自己天花板高，赛道从持久望具有足够的想象力，漫衍式存储也是区块链

圈表里都普遍存眷的偏向，乐成捕捉了大量圈外流量，基于区块链的漫衍式存储项目赢得了

紧密亲密存眷，传统行业和本钱已经通过直接投资或者间接的方式插手到漫衍式存储阵营的比赛

中。

海量非布局化数据存储的技能挑战

跟着社交网络、移动互联网和物联网的鼓起，互联网信息爆炸式增长发生了海量数据，

数据量级也从最初的 GB、TB 逐渐成长到 PB（1024 TB）、EB（1 024 PB）甚至更高。数据类

型从简朴的文本扩铺到了庞大高维度数据，好比半布局化数据、图片数据、视频数据、传感

器数据和流数据等。

按照研究机构 IDC 预测，2018 年到 2025 年之间，全球发生的数据量将会从 33 ZB 增

长到 175 ZB， 复合增长率到达 27%，个中凌驾 80% 的数据城市是处置惩罚难度较大的非布局

化数据（文档、图片、视频）。估计到 2030 年全球数据总量将入一步到达 3,5000 EB。

海量非布局化数据带来的存储挑战主要在于假如接纳传统集中式存储的Scale-Up 的扩

铺方式，这种纵向扩铺架构处置惩罚海量数据情况中会存在扩铺成本高、耗时长、难度大的问题，

机能与收留量无法机动扩铺，造成扩收留成本较高。

而接纳 Scale-Out 架构，通过度布式接进技能将独立的低成本存储节点构成一个大而强

的存储系统。通过添加存储节点来举行处置惩罚和存储能力的扩铺。今朝的云存储系统也是通过

漫衍式接进扩铺储存收留量已经可以到达 PB 级，每增加一个存储节点，机能和收留量同时增长，大大降低了存储系统采购、布置和进级的成本。

于区块链的漫衍式存储的上风

传统云存储基于「漫衍式文件系统」存储文档、图像、视频等非布局化数据。典型的分

布式文件存储系统像 Google 的 GoogleFileSystem（GFS）。GFS 是 Google 漫衍式存储的基

石，是构建在廉价办事器之上的大型漫衍式系统。GFS 的根基架构如下图

GFS 系统包罗三类节点脚色：GFS Master（主控办事器）、GFS ChunkServer（CS，数据

块办事器）以及 GFS 客户。主控办事器中维护系统元数据 ，包括文件及 chunk 定名空间、

文件到 chunk 之间的映射、chunk 位置信息。主控办事器是机能最好的节点之一，很少有性

能瓶颈，还存在备份办事器节点作为主办事器的镜像。

虽然这种存储系统将数据分离存储在多个存储节点实现较好扩铺性，但由于元数据被保

存在中央节点。在存储和读取数据时，都需要会见中央节点来获取元数据信息，也存在一些

毛病，比力明明的问题包括：

元数据宁静问题

假如中央节点产生妨碍或宕机，那么元数据无法被读取。虽然，通过引进备份节点可以

必然水平上制止该问题，但节点之间切换效率较低；云数据中央由于各类问题常常呈现运行

妨碍或数据丢失泄露等环境。

信任问题

存储元数据的节点可托性很难包管，元数据存在被窜改的可能性，中央节点由各大云存

储机构独立办理和运营，数据的靠得住性和宁静性完全依靠该机构的实力和诺言。如何包管用

户数据不被窃取使用，存储运营商难以包管。

区块链是一个漫衍式账本数据存储技能，使用 P2P 网络、加密算法、数据存储等要素共

同构成整个漫衍式账本，通过激励系统促使网络成员努力广播区块并举行数据维护，每一个

介入区块链运行的节点都可以复制一份完整的数据拷贝。除非有人可以或许同时节制住整个区块

链中的 51%以上的节点，不然单个节点的数据窜改系统不会认可，这就确保了数据的不行篡

改。区块链用冗孑遗储保障了漫衍式存储系统的一致性与宁静性。

从存储角度，区块链存储构建成一个范围巨大的全球同一、全球共享的存储池，将数据

分离在多处，来加强数据的靠得住性、可用性、异地收留灾性等特性。差别于漫衍式云存储有专

门的备份节点卖力数据冗余，区块链所有的介入节点介入冗孑遗储。让存储成为区块链技能

的最佳落地应用场景。对于非代码和线下的事物，应用区块链的难度会很大。企业级数据中

心面对靠得住性不足时，有人探讨将数据漫衍在多个数据中央，即把数据存储到全球上千万个

节点上来进步数据的宁静靠得住性，托付单个数据中央被黑客攻击而呈现的数据泄露问题。

今朝已经成长出四类存储：桌面级存储（硬盘）、企业级存储（磁盘阵列）、云存储（数

据中央）和区块链存储。与企业级存储、云存储比拟，基于区块链漫衍式存储的上风主要体

此刻以下方面：

靠得住性更高，区块链存储将数据存储到成千上万个节点上，不是传统漫衍式存储的多副本模式，而是冗余编码，可以有效制止单点妨碍问题，比特币运行 10 年以来其漫衍式

账本数据库未被任何黑客攻破就是最好的靠得住性证实。

可用性更高，云存储纵然接纳多节点漫衍式存储方式，仍旧可能呈现由于节点宕机

或者中央节点负载过高妨碍问题而呈现无法提供办事的环境，区块链只需要包管必然比例的

节点数目正常，系统办事就是可用的。

边沿存储成本更低，区块链将存储成天职摊到边沿节点，相对搭建独立的数据存储

中央对硬件的需乞降成本都更低。

加密隐私性更高，中央化存储终极数据加密流程在企业内部完成。区块链存储数据

都颠末加密，没有明文数据，加密历程由数据拥有者用户本身完成，只要用户生存好加密密

钥，就无法被第三方窃取到数据隐私。

漫衍式存储和区块链自然具有必然匹配性，两者都基于漫衍式系统。漫衍式存储作为链

下存储方案可以扩铺区块链存储空间效率低的问题，好比可以将焦点的生意业务元数据和实际数

据举行分散存储而非全链上存储，缓解链上账本空间膨胀的问题，元数据加密后存储链上，

实际数据自己通过度布式存储制止单一节点妨碍造成数据丢失问题，漫衍式存储可以优化区

块链的存储效率，开释链上存储空间存储更要害信息，同时又不影响区块链处置惩罚大数据时的

可用性。

IPFS ?漫衍式存储和挖矿激励

星际文件系统（Inter-Planetary File System，IPFS）由协议尝试室（Protocol Labs）首创

人 Juan Benet 提出，通过差别的设备毗连成立一个「漫衍式文件系统」,使用「内收留寻址」

18

要领将大文件分拆为数据块对象来进步存储效率，每个文件块通过对应块内收留的哈希值索

引，成立全局的漫衍式散列表（Distributed Hash Table，DHT）,通过 Merkle DAG 树数据布局

组织这些分离的文件块的哈希索引，将存储在树根节点位置的索引作为文件寻址哈希值。

IPFS 联合了 DHT、Merkle DAG、版本节制 Git、自验证系统 SFS，在点对点网络举行往

中央化的数据存储和互换，可以由用户自主配置数据会见和读写权限而不依靠信任主体，不

存在单点妨碍问题，上传到 IPFS 上的数据不行更改，数据变动将天生新的 IPFS 对象，并链接到之前的对象版本这种基于 Git 的版本办理可以很利便追踪数据更新环境。另外 IPFS 产物拥有雷同 TCP/IP 一样的协议簇，可以同样按分层模子对 IPFS 产物分层，包括八层，产物每层功效都使用差别的协议。

IPFS 文件系统的主要技能

IPFS 系统协议栈

总结来说，IPFS 提供了在没有中央化办事器的条件下搭建一个全新的 web 网页的可能

性，只要节点孝敬存储和计较资源来成为 IPFS 节点，就能实现这点，其本质是一个 P2P 的

内收留分发网络，差别于 HTTP 的中央化分发模式，没有中央化问题，所以它一直被对标 HTTP

致力为成为下一代互联网协议，可是 IPFS 要实现这个方针挑战很是大，在漫衍式情况下数

据存储可用性很大水平来自数据冗余备份，取决于节点努力存储蓄份，假如节点删除数据，

数据甚至可能呈现丢失环境。

为相识决 IPFS 节点数目有限而影响网络机能的问题，协议尝试室 2017 年建议 Filecoin

项目，作为 IPFS 的激励层，仿照的是比特币的区块链激励模子，差别的是 Filecoin 挖矿抛却耗能的 PoW( Proofs-of-Work)，而是创建新的存储证实挖矿算法，即基于有效存储证实的复制证实（（Proofs-of-Replication，PoRp）和时空证实（Proofs-of-Spacetime ，PoSt），基于存储挖矿的方式来激励存储节点在 IPFS 网络上孝敬资源，矿工提供的有效存储空间并存储有效数据收留量越大，最后得到挖矿奖励概率也越大，Filecoin 的挖矿模式比拟起来更环保、

效率也更高。Filecoin 主网已经于 2020 年 10 月正式上线，从 Filecoin 官方区块链欣赏器之一 Filfox 获取到的数据，今朝全网存储算力已经到达 1.85EB，算力前十的节点存储能力都是 PB 级别，算力占比漫衍来望，网络往中央化水平不低，活跃矿工节点数 1059，矿工数目还不敷多，尤其从区域漫衍望主要集中在亚洲国度，许多区域显示海外的可能也是 VPN 的影响；Filecoin主网今朝区块高度到达 404049，平均出块时间 30s，另外 Filecoin 挖矿和其他 PoW 区块链项目提现出明明差异化的特征是它的质押挖矿，节点需要为有效算力提供 FIL 质押才能得到「挖矿权」，今朝每个扇区巨细 32G 需要质押 0.27FIL，每新增 1T算力，质押成本增加 12.46FIL,从今朝挖矿产出望，相称于 43.4%的畅通量是锁定状态，因为 Filecoin 总供给 20 亿，其畅通率今朝仅 3.4%, 跟着更多的 FIL 举行畅通，项目生态市值变化可能比力快。另外 Filecoin 今朝网络运行的历程中也遭遇了网络 Gas 费率的问题，好比连续一段很长的时间费率到达 4-6nanoFIL, Filecoin 引入以太坊 EIP1559 案将 Gas 分为基础和附加两部门，基础部门会直接销毁，加快 FIL 的通缩,附加部门才会奖励打包矿工，而从今朝的环境当 Gas 费率较高时，因为基础部门占比力高 Filecoin 矿工挖矿收益扣除付出的 Gas 可能会导致收益下降甚至为负的环境，而 Gas 费高企的背后是 Filecoin 在 Gas 费率配置了雷同比特币挖矿那样的难度调解，Filecoin 矿工挖矿历程即封装数据并将动静上链城市涉及 Gas 用度付出的问题。跟着插手 Filecoin 网络的矿工数目上升，不光挖矿收益已经从 0.25FIL/TiB 下降到今朝的0.13FIL/TiB, 因为今朝处置惩罚的生意业务动静或许每秒 14 笔，可能低于实际需求量，也是导致矿工Gas 费率的上升的原因。Gas 费连续高位将倒霉于矿工进步算力介入网络，协议尝试室最近也是在 FIP-9 方案中插手提交时空证实阶段免去矿工基础用度的新政策来降低矿工 Gas 压力。

Filecoin 网络环境

Filecoin 矿池算力排行榜

Filecoin 网络呈现 Gas 费较高环境

总体来望，今朝 Filecoin 区块链今朝还处在矿工如何通过进步有效算力来挖矿的阶段，

并没有在「为用户提供低成本高效存储办事」上有许多的行动，矿工和官方之间险些不行避

免常常陷进博弈的状态。假如从 Filecoin 网络效用而言，协议尝试室从一开始就很是排斥矿工牺牲网络来为自身牟利的各类行为，所以配置各类惩罚（slash）机制，硬是把节点挖矿酿成了一项庞大坚苦的生意，矿工假如不寄望违规可能面对出局的风险，由于 Filecoin 挖矿并不像比特币那样自由。Filecoin矿工将来的收益固然可以不仅仅来自存储挖矿奖励，好比另有Gas手续费收进、检索收进，但今朝阶段在 FIL 币价不变在可观的程度上，积极封装数据进步算力才是王道，可跟着更多的玩家入进，算力收益必然会下降，算入其他成本项，FIL 挖矿没有那么多「暴富神话」，假如要继续留守在赛道，就需要真正思量能提供真正的贸易价值，FIL 挖矿不能当纯金融来玩，今朝官方在算力增长方面明明开始倾向用户存储订单的数据，网络公然验证人作为「数据质量查看官」，这样的数据在矿工算力孝敬方面就是十倍的增长。另外从将来几年的成长方针，Filecoin 今朝的挖矿算法在机能方面不能匹配大量数据存储和检索的需求，需要调解来满意将来检索市场的成长，所以下阶段可能在会封装数据环节举行新的算法迭代来进步矿工提交证实动静的速度。Filecoin 生态的构建对于项目乐成也长短常要害，以太坊和波卡的乐成基础都在于生态，今朝 Filecoin 作为一条存储公链，而不是计较公链，后面也要上线本身的智能合约，如何联合自身定位来成长生态也是接下来项目入铺的重要偏向。

小结

面临将来海量高并发的数据存储和计较需求，漫衍式存储是当下重要的成长趋势之一，

传统的漫衍式文件存储方式仍旧存在单点信任问题，基于区块链的漫衍式存储在靠得住性、可

用性、成本和数据隐私方面具有上风，这方面像 IPFS/Filecoin 通过将比特币的事情量证实激励模子模式迁移到提供数据存储办事的场景，设计了新的挖矿机制来保障区块链存储网络的宁静，另外像 Crust Network、Arweave、Storj、Sia 这些漫衍式存储赛道的项目也都从差别的角度来成长漫衍式存储，表现必然的差异化，归到贸易本质，将来漫衍式存储项目的竞争力必然表现在用户数目和存储生态建设上。