纯php实现大文件全文搜索

[Tianpu]

一直想做的其实是日志分析 接着密码泄漏的东风 终于有兴趣花了点时间做出来 我这边上传超慢 现在才只有csdn的数据可以分析 不输出行号的情况下 全文匹配 1.8s 环境是128M内存的buyvm的VPS

差不多耗费40M左右的内存 我觉得挺满意的 代码写的比较难看 主要是利用fseek函数

心得：
1、explode可能很慢 str_replace也是 正则匹配还行 但是也有可能很慢
2、一次读少量数据 然后while读取比一次读大量数据要快一个数量级 出了磁盘IO外 主要是正则匹配随着数据量是指数递减的

没有输出行号 不够好看 哎 行号要匹配一次 又是一次系统开销 希望vibbow分享下他的体会 怎么就那么快呢

如果做成多线程的 一次查询用6个左右的进程 我觉得有可能达到vibbow的速度 不过行号还是没法解决

[Tianpu]

我只是测试下php读取大文件的能力 实际结果非常满意 因此可以利用php做更多的事情了

我这边测试出来的是一次少量读取 迅速处理 然后PHP是具备处理大文件能力的 还有就是资源的节省很重要

感谢热心的vibbow 感谢所有参与本帖的人

[alsotang]

这就开始感谢了？.....我还要冒个泡....
以后发代码可以发github的gist，这样indent和highlight都方便。具体可以在V2EX搜一下方法，贴个gist地址就行。

[vibbow]

http://vsean.net/blog/post/98
我的全文搜索代码整理完成。

[kojp]

我也感谢大家~~~~ （以没有看到这个帖子，还特意开了一个帖子）

[vibbow]

又改进了一遍代码，现在瓶颈在硬盘了。
10G数据，170秒全文搜完。

[lyxint]

预先生成索引啊

[vibbow]

@lyxint 近10G的数据，生成个全文索引没个一两天应该完不成吧...

[delectate]

10,000/170=58,硬盘了。

[lyxint]

@vibbow 不会, 10G数据量很小