DFS

DFS(Decentralized File System)是一个基于内容寻址思想构建,拥有自主知识产权,自主可控的去中心化安全存储系统,它结合了数据指纹(哈希算法)技术、加密技术(对称、非对称加密算法)、数据分片和还原技术(压缩感知算法)、虚拟化技术(docker)等实现的一整套对数据不可篡改、不可删除、去中心化、安全可靠的文件存储技术方案。

DFS技术优势
机密性
机密性

机密性(Confidentiality)最常见也是最常被要求的技术实现手段就是数据加密和数据分片。DFS支持多种加密算法和加密方式,并支持压缩感知算法矩阵的数据分片。

技术特性

数据传输

  • DFS 可以在和服务交互的南北向流量实现HTTPS加密,全程通讯使用 SSL 加密,减小被攻击面。
  • 数据存储

  • DFS支持常用的多种对称和非对称加密算法,包含AES(对称默认)、DES、3DES、RSA(非默认)、ECC。通过加密算法对数据进行加密和对用户进行身份认证。
  • DFS支持客户端加密和代理加密(通过提供数据和公钥以及选择加密算法,由DFS 提供加密)。
  • DFS还支持通过压缩感知矩阵将数据分片,并通过算法将分片数据打散到各数据节点存储,保证了单物理节点被攻破也无法获取还原整个数据。
  • 完整性
    完整性

    DFS 数据存储采用类似 GIT数据存储的处理方式,基于校验和算法得到对文件内容进行描述的数据指纹(HASH 值),类似于生物指纹。这个指纹不能反解析数据内容,但可以验证这个数据的内容完整性。它会伴随这个数据在 DFS 完成整个生命周期。

  • 通过数据指纹充分的保证了数据写入和读出的一致性。且最大程度保证了数据的内容不可篡改。
  • 数据相同将拥有相同的数据指纹,利用数据指纹特性,天然全局去重不可写。
  • DFS的数据指纹,基于完整的数学模型算法,最大限度的避免了指纹冲撞的可能。
  • 可用性
    可用性

    DFS 存储的数据通过副本和压缩感知算法对数据提供了多种、多级别故障恢复能力。

    技术特性

    压缩感知技术特性

  • 通过压缩感知算法进行数据分片,并散步在各存储节点内。当节点因为各种原因发生异常,默认数据分片只要保证不丢失原数量的50%,便可恢复。
  • 变相实现安全性,还原文件必须要使用原始采样矩阵算法才能进行重建,盗取单独分片和全部分片没有算法均无法恢复。
  • 副本技术特性

  • 文件可选择副本跨多个索引节点存储,可以保证在单一索引节点故障,且不修复的情况下,依然可以获取该数据。
  • 一般默认为3副本策略。
  • 其他技术特性
    其他技术特性

    DFS 除了提供安全存储的必要特性外,还提供更多其他特性。

    智能感知

  • 对于一个去中心化系统,需要有一系列的手段评估系统节点的运行情况,防止单一节点问题影响整个存储网络的性能。
  • 易维护

  • 对于强调无缝扩缩的DFS存储系统,节点的部署扩缩、以及监控维护是基本要求。其维护和监控和传统存储完全不同。DFS提供完整的快速部署和监控方案。
  • 灵活性

  • DFS支持多种设备部署,不论是主流的X86,还是ARM\ARM64,都可以快速实现部署。从而实现从主流硬软件方案顺利过渡到国产硬软件方案,以及边缘IOT方案。
  • 开发亲和性

  • DFS可以支持命令行、SDK、Restful API、S3等应用开发访问方式,进一步的贴近应用开发者。