每天要处理亿级的日志文件,该怎么做?

[whnzy]

现在要做到每天处理亿级的日志文件,公司根本没有现成的系统.日志是由nginx打下的请求日志,要在日志中筛选需要的信息,有些还是加密的请求,需要解密.
我当时用python 搭建起一套系统,一天可以处理完,但是随着数据的增加,我为了提高查询数据库的速度,将一些内容放到了内存中,但是随着数据的增加,内存已经爆掉.
mongo,多维数组什么的都已经尝试过了,已经无能为力了,我刚刚毕业,没有那么多的经验,手中只有两台服务器可用,而且内存一个4G,一个1G,cpu最多的一个也才是双核的.
请教该怎么搞?

[kaneg]

想要马儿跑得快，还要马儿不吃草。玩QQ游戏的电脑配置也比你的要好吧

[Septembers]

忽然想到了这东西。。。
see https://github.com/zhihu/kids/blob/master/README.zh_CN.md

[qsl0913]

日志的查询需求具体是，查明细？做统计？

[em70]

@whnzy 只能用一种工具解决吗，awk可以帮你快速筛选记录，然后给Python后续处理啊，你用python去查找那不慢死，awk命令完全可以达到数据库的性能

另外可以创建一个内存盘，把当前处理的日志拷贝到内存盘里让awk处理，那更加酸爽

[paulw54jrn]

丢Redshift吧..

[rssf]

这已经不是技术能解决的了，给老大提，这算毛的服务器啊。如果老板1毛钱都不想花在硬件上，趁早换地

[yghack]

ELK

[sunchen]

aws的话试试redshift

[sunchen]

@paulw54jrn 赞同，redshift谁用谁知道

[scys]

服务器性能不足，请最少配置16G的内存给日志服务器。

[realpg]

@jason52 你刚说完这个，又有一大堆渣浪的回帖卧槽离职时候忘了把自己的内存拔下来了……

[summic]

分而治之

[ms2008]

elk妥妥的

[msg7086]

4G内存？不要搞笑了。我5年前家用的破电脑都有8G。敢不敢让你们领导买台旧电脑来处理？

@realpg 内存才几个钱……比ssd还便宜吧……

[hitsmaxft]

额。。我跑工具脚本的虚拟机都都是 6g 内存， 你这玩意用4g的。。

[daoluan]

这些日志用来做什么？

[sophymax]

明显要上集群啊

[xiawinter]

@nullcc 很多人用这个方案，但这个方案题主跑不起来，太慢了。 题主可以考虑 heka， 我们数据量比这还要高点，两台机器往 elasticsearch里扔， elasticsearch 需要 12G 内存， 未用 SSD， 不过能用 ssd 速度快很多。

logstash 是 jruby 来做正则解析的，不知道为什么他们会用这么个方案，百思不得其解的慢。 heka 做法非常好， 如果不能及时处理数据，会缓存到 /var/cache/hekad/ 下面，这样不会造成机器卡死。 数据传输和处理有点延迟很正常，硬盘做大点， 准备 100G 应当就差不多。 几天不做都死不了。

如果转运过程还需要去查询 mysql， 那么我认为设计方案可能可以优化一下，类似日志的数据分析不应该做即时分析的，可以先把数据格式化后，之后开始做计算。 否则可能让数据阻塞在原来的地方。

请求加密是指传过来的数据是加密的，然后解密这部分数据？ 感觉很多东西都混在一起，耦合有点高。

[chinabrowser]

赶快GCE 这个同等配置可比AWS便宜

[9]

最近在做跟楼主一样的东西，ELK 是很适合的方案，不要把数据放数据库中去，那是自杀的做法。
其中 logstash 可以换成 fluentd，不多说了，直接看这个 kibana 的 demo 吧，http://demo.elastic.co/packetbeat/