发现处理十万条以上数据的时候 sed、awk 命令就 bug 了

[artandlol]

十万条以上就开始只能处理一部分而已

[mdzz]

看到 grep - md5.sum 的时候楞了几秒钟

[Martin9]

@mdzz 我也

[ElmerZhang]

你确定不是你的 md5.sum 一直有 append ？

[yiyiwa]

10 万条不至于吧!

[congeec]

这种情况下不用 cut 么？

[rrfeng]

从未遇到过

[noark9]

从未遇到过，你确定你的数据只是按行还是有增加，或者数据没问题，之前导数据的时候三五百万是松松的处理啊

[lrz0lrz]

处理几千万行数据从没遇到过这个问题

[est]

在 hdfs /hadoop stream 上跑 grep 的路过。都不是事儿～～

[airqj]

@mdzz
@Martin9
以为这是 grep 某种自己未知用法 :(

[rogerchen]

楼主总想搞个大新闻， FSF 这些远古套件出问题的可能性几乎没有，你也不想想用户群有多大。。。

[lhbc]

十万也算量？

[fxxkgw]

C 的效率对付几十万条数据还是妥妥的

[chineselittleboy]

下午刚处理过三百万行的文本，几十秒

[halfbloodrock]

想用 shell 处理大量文本数据的话，用 while 结合 awk ， sed 。

[feiyang21687]

md5.sum......