V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
SlipStupig
V2EX  ›  外包

求数据仓库解决方案咨询

  •  
  •   SlipStupig · 2017-10-10 19:24:14 +08:00 · 283 次点击
    这是一个创建于 2380 天前的主题,其中的信息可能已经有所发展或是发生改变。
    * 想建立一套数据仓库,提供给数据分析人员 & 开发者和用户使用,数据量大概在 500 亿条左右的数据

    __角色描述__:
    开发者: 负责数据清洗和接入
    数据分析人员:根据数据,建立分析模型,机器学习等,然后进行数据“实际应用”
    用户:查询统计 数据和导出数据

    __需求__ :
    1. 整体架构稳定性强,出现数据丢失概率低
    2. 水平扩容难度小
    3. 分析人员可以很轻松高效的分析海量数据,不需要有太多的学习成本
    5. 数据能面对频繁更新修改
    6. 普通用户查询统计性能高,响应快
    7. 数据可定制化数据

    联系方式:hex:70797073756974652e617074347523676d61696c2e636f6d

    报价:2k 左右
    4 条回复    2017-10-11 22:32:03 +08:00
    defunct9
        1
    defunct9  
       2017-10-10 22:43:15 +08:00 via iPhone
    hadoop,不谢
    Hozzz
        2
    Hozzz  
       2017-10-11 10:06:59 +08:00
    500 亿,一条算 100Byte,一共 6T+数据量,就 2K ?
    还不说
    5. 数据能面对频繁更新修改
    6. 普通用户查询统计性能高,响应快
    无力吐槽.....
    SlipStupig
        3
    SlipStupig  
    OP
       2017-10-11 10:20:52 +08:00
    @Hozzz 我就知道会有人来骂我,我只想简单聊一下方案,并不需要你设计一个具体的解决方案也不需要你的方案一定能满足,更不需要你具体来施工。只是想了解一下思路和经验方面的东西,我觉得这个价格是值得的
    endershadow
        4
    endershadow  
       2017-10-11 22:32:03 +08:00
    本人手头上的工作刚好是建数据仓库,大致就是 hortonworks 那一套产品
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   965 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 21:27 · PVG 05:27 · LAX 14:27 · JFK 17:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.