app 一天产生〜10gb 的数据

[whatisnew]

一个月下来〜300gb如何处理是好，如何计算？这种应该就是所谓的大数据了吧？

分词

统计分析

目前行业都是怎么做的呢？

[wy315700]

hadoop 集群，，，

[yghack]

使用的什么数据库？

[neo2015]

什么APP这么牛，我自己的APP。一个月才1G数据入库

[johnsmith123]

大数据233 合着大数据一个200块的盘就行了？

[vibbow]

怎么都得PB级别的数据才算得上大数据吧...

[em70]

每天晚上分析当天数据，留下重要的，其他扔掉

[x4]

@vibbow 度娘正在建设可放4000pb的云计算中心。。。可放大数据。。。

[icloudnet]

@em70 手工是根本没法分析的，我每天近4G的数据都已经麻木了。
做大数据分析是个好办法。

[cevincheung]

10gb的什么数据？用户上传的图片？还是类似微博的文本数据？前者，第三方存储平台。后者，使用的是什么数据库？是数据库最终的文件大小？还是……？或者是web or database的log文件？log 第二天整理头天的数据，归档完毕后即可删除

[asj]

LHC，就是那个撞出上帝粒子的对撞机
每秒产生1GB数据

[whatisnew]

@cevincheung 类似微博这样的数据+用户行为数据，mysql数据库

[easynoder]

Hadoop + elasticsearch

[yanze0613]

我猜，是用户行为日志，不然一般量级的APP做不到这么多
然而我要说，其实这谈不上大数据，因为很多记录，都是垃圾

[wingoo]

拆分纬度到不同的库

[cevincheung]

@whatisnew
1.换数据库（MongoDB、PostgreSQL）承担存储、写入。
2.1增加Redis/Memcached等缓存技术手段，在前端承担读。
2.2或者使用Elasticsearch/Solr等手段（如果是类似只读取指定条件的数据而不存在什么复杂条件检索和全文检索的话，Redis什么的足够）


Ps:最重要的一点，10+台的服务器做集群是肯定的，单机想解决瓶颈那就洗洗睡吧。

[bdbai]

@asj BOINC跑否？

[taowen]

Kafka + Storm/Spark + Elasticsearch