V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
tyhtao1990
V2EX  ›  程序员

目前在写一个大数据结合区块链技术作数据存储和查询的项目

  •  
  •   tyhtao1990 ·
    tyhtao1990 · 2018-05-30 09:45:01 +08:00 · 2347 次点击
    这是一个创建于 2161 天前的主题,其中的信息可能已经有所发展或是发生改变。

    前期调研了市面上作商业化的区块链框架,目前比较流行的就是 fabric,但是这个技术的数据落地是在类似 couchdb 这种 nosql 数据库上的,如果面对海量数据以及有数据分析的需求 nosql 的性能是一大瓶颈。 现在自己写了一套区块链框架主要是基于 bytom 的代码框架以及 fabric 的部署模式。这其中 tps 是最大的瓶颈。海量数据从多方数据源录入区块链的时候,每条数据都需要作验证,并且当块形成之后也需要获得足量的确认,落地数据的存储方式以及需要设计 full node 和 fast node 模式,很多细枝末节的技术在其中。现在回头再去看 btc 和 eth 的源码发现很多东西都是可以借鉴的。 我有个问题想问问大家,现在市面上有没有区块链和大数据结合的案例,让我可以学习一下

    6 条回复    2018-05-31 10:58:53 +08:00
    Comdex
        1
    Comdex  
       2018-05-30 17:25:12 +08:00
    这方面都是一些私链和联盟链,区块链存储数据的成本很高的,还要做大数据的话很不划算
    jatesun
        2
    jatesun  
       2018-05-30 18:23:26 +08:00
    总觉得区块链与大数据不是天生契合的
    tyhtao1990
        3
    tyhtao1990  
    OP
       2018-05-30 23:23:04 +08:00
    区块链和海量数据肯定有联系的啊,只不过现在链的主要功能是保护用户的隐私,用户只能管理自己的数据,如果现在有一个链提供一个有偿获取用户数据的渠道,用户可以提供自己的信息类似淘宝购买记录,或者信用卡还贷记录等给商户从而获取报酬,那么这些商户势必就可以去做数据分析给用户打标签了。
    公信宝的 app 就是在做这个事情,只不过他们不去分析数据而是给用户自己的代币,然后再把用户的数据卖给别人。。。
    tyhtao1990
        4
    tyhtao1990  
    OP
       2018-05-30 23:40:07 +08:00
    其实说到底,区块链解决的是使用者相互信任的问题,大数据解决的海量数据操作分析的问题,有落地场景就要两者结合一起用的
    coolmenu
        5
    coolmenu  
       2018-05-31 07:10:15 +08:00 via Android
    要看你的节点协议呀,pbft 都是有上限的,要是公网链,可能只有 dpos 这种委托代理模式才能有高 tps,fabric 其实也是小联盟链的实现,可以看看 intel 的那个版本,不过要指定 intel cpu 支持 sgx 才行
    tyhtao1990
        6
    tyhtao1990  
    OP
       2018-05-31 10:58:53 +08:00
    @coolmenu 公网是这样的,现在一些企业级的还是私有联盟链为主
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5907 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 02:02 · PVG 10:02 · LAX 19:02 · JFK 22:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.