bash 实现了一个简单 分布式文本处理框架 欢迎拍砖

[ri0day]

看到各种语言都有分布式处理数据的框架。我在github上却发现bash分布式处理数据的还真没有
于是自己折腾了一个。

https://github.com/ri0day/mafia

欢迎拍砖，或者提交代码.

[yuelang85]

敬仰。。。。

[HowardMei]

赞，请教一个问题：看到里面直接用echo的地方不少，在我看来有些危险，因为bash一般用来操作配置文件，很多字符串含命令符，容易发生悲剧。我不知道啥时会忘记给变量加引号被执行，于是用 cat /tmp/abcdefg << 吸进任意字符串，再用cat输出，来替代echo，不知你遇过类似问题没有。

[ri0day]

使用 echo 主要是为了便于传递变量.使用 nc 1.1.1.1 123 <<file 这种方式不利于调试 ,也不好传递变量进去.每次变量变化都要去修改这个文件了.

[superisaac]

赞，能简单介绍下原理吗？

[ri0day]

@superisaac 原理很简单.就是主控程序 根据传进来的参数 算出有多少个节点.要处理哪个文件.然后用split 将原始文件按照行数切分成"节点数"个分片.然后在节点上监听2个端口 一个用来接收数据.一个用来接收命令. 节点最后用传到节点的命令 处理收到的数据.然后发送给 接收结果的节点