如何提高 awk 的计算速度

[deasty]

有一个 50M 的文本，90 多万行，每行有个数字，用 shell 写个脚本用 awk 取数后经过一个幂运算再输出到新文本，7 个小时过去了，才完成 20 多万行，如何能提高这个效率？

[amoia50]

python 不香吗[狗头]

[iintothewind]

xargs, parallel 都可以并行处理 可以试试

[rrfeng]

每行只有一个数字？没别的？
运算具体是啥？

你这相当于没说，咋分析

[delectate]

7 小时大约 25200s，处理 20w 行，一秒 10 行，不够快。
要么 py+多进程，要么像楼上说的并行处理，或者干脆把文件拆分，然后多个一起跑也行。

[FrankHB]

为什么非要制造瓶颈？这种简单任务你用 C 临时糊个都不用几分钟，省下几个小时不香吗……

[lululau]

单行命令的文本处理，python 真不香，sed awk perl ruby 不知道香到哪里去了，你也配叫脚本语言

[CEBBCAT]

上次可能是计算 int64 的移位，awk 确实没有 Python 快，我跑起来一会儿 awk 了发现还没跑好，然后再开了一个终端去写 Python，等我写完跑出结果了 awk 还是没有算完。

楼上这么说有什么依据吗？

[momocraft]

"经过一个幂运算" 是 awk 自己的计算吗？

[layorlayor]

把代码贴出来吧。感觉不应该这么慢

[lululau]

@CEBBCAT 举两个最简单也最常见的例子：

文本替换：

sed 's///'
gawk 'gsub()'
perl -pe 's///'
ruby -pe 'gsub!()'

取一列并做变换:

gawk '{print $1*2}'
perl -alne 'print $F[0]*2'
ruby -ane 'puts $F[0].to_i * 2'

欢迎楼下用 python 弄一个更简单的写法来打脸

还忘了说最近看到的一个行列结构文本处理的瑞士军刀 miller

[ylrshui]

估计 excel 都比这快

[thedog]

awk 不应该那么慢吧，很多时候，这种简单任务，awk 比 python 快的。

[runze]

代码贴出来看看？ awk 虽然不算快，但绝不至于慢到这种程度

[TimePPT]

这么规整的结构，还要做计算。pandas 很香的

[ygtq]

show me the code :)

[xlcoder166]

现有代码不变的思路 - 分治

1. 拆原文件至 90W / n （ CPU 核心数）个文件
2. shell 并行处理 拆分的文件

[youngster]

估计不是 awk 慢，是你运算太慢，换个换个运算快的语言应该都能解决

[layorlayor]

awk -F'|' '{print $2*1024*1024"|"$0}' 这个很快呀

[layorlayor]

awk -F'|' '{print $2*1024*1024"|"$0} input.txt > output.txt

[Vegetable]

你这脚本写的是个啥，处理单行文本还有 for 循环？看着就害怕