求公有云大数据服务推荐

[kkfnui]

现状

目前产品的时间都是存在 mysql 中。 相同的日志保存在同一个库中，按天分表。 不同的日志就需要保存在不同的数据库实例中了。 每天新增日志 30G 左右。

现在遇到了问题：

1. 分库、分表在做数据分析的时候麻烦，影响写代码效率
2. 磁盘空间不足。
   服务器磁盘只有 ssd 可选，的且空间上限是 200G。 每天就需要将历史的日志备份到亚马逊上面，要做长时间的日志分析，再从亚马逊还原回来。

采用现有的模式肯定是走不下去了，考虑要迁移到大数据平台。

1. 自己搭建
2. 使用公有云

由于现有团队没有大数据平台搭建和维护的经验，主要考虑使用公有云。

公有云

目前对大数据平台的需要主要是集中在存储和数据分析上。 这块使用经验匮乏，不知道其中会存在什么坑？向大家请教下！

目前想到的几个点：

1. 服务可用性
2. 数据安全性
3. 服务资费

跪求有经验的老司机分享下。

[opengps]

收藏坐等，同样关注中。。。
我们的数据也是每天不少，但是依然使用传统分库分表分区应付阶段

[fredcc]

既然是现有日志都在 AWS 上，如果日志是结构化的，那么直接使用 redshift 就很方便啊。可以继续使用 jdbc 分析，日增量 30G 很小。

[imstand]

Google 的 Bigquery

[leofml]

如果使用青云的话, 存储可以使用对象存储 QingStor, 数据分析可以使用数据仓库 HashData.
参考入门指南 http://docs.hashdata.cn/getting-started-guide/hashdata_warehouse_guide.html

[zhchyu999]

七牛也有基于 ES 的大数据。需要联系开通。不过上云容易，下云难

[fredcc]

1、可用性：托管服务，有完整的自动快照等备份能力，基本不用担心。SLA 可以看下文档
2、安全性：指数据丢失还是数据加密？
3、资费以美东区一年计算，单个 DC2.large 是 2190 美元，购买一年 RI 可以 6 折。可用存储 160GB，标准 nginx 日志压缩率在 1：0.4 左右，可以看下能否满足需要

[imstand]

服务可用性
https://cloud.google.com/bigquery/sla
数据安全性
https://cloud.google.com/security/
服务资费
存储 0.02USD/G/月，查询 5USD/T

总结，在所有 OLTP 服务中最省时省力省钱的产品。

[kkfnui]

@fredcc
安全性考虑的是数据丢失。
亚马逊没有这样的顾虑。

但是其他的一些云，不知道怎么样。