6k/月 招个爬虫兼职

[xiaoyazi]

我司要做一个动态比价工具，须爬取大众点评 APP 及携程 web 的酒店价格。 数量大约为 500 家，每家 2 个指定房型，频率 3 分钟。

长期。

请“实测”成功联系我，不要没试过就说我可以。

[metrxqin]

@q8164305 数据的所有权还是不属于你。

[binux]

@tabris17 #14 很简单，你和 LZ 签合同的时候加一句，你只是代理 LZ 行使数据获取行为，LZ 需要对数据的所有权和使用权负责。

[NeilWang]

@binux 活捉 pyspider 作者，我咋说这个 id 这么熟悉😁

[airqj]

3 分钟爬一次
到后面基本就得面对各种反爬措施了

[xiaoyazi]

@binux 没问题的

[xiaoyazi]

@airqj 否则为什么付这月费呢

[binux]

@airqj #24 反爬要做，但是最后还是靠代理。因为每月 3 千万的流量，傻子都能筛得出来，所以你至少需要有 30 万个 IP。比如 https://luminati.io/ 能提供 36M 个 IP，一个月大概要 12 万。

[veike]

爬虫真的法律边缘了吗？

[liyaojian]

慢慢买这类服务也是法律边缘吗？

[gabon]

哪家公司

[belin520]

给编译后的程序+使用说明，并且把程序做成看起来是有通用性的，这样这只是把菜刀，杀人砍肉就不关你事了

[xiaoyazi]

@binux 不是爬全站

[xiaoyazi]

@gabon 不知名公司

[xiaoyazi]

我们同时在招专职员工，boss 直聘上投应聘的有 60 多人了，无一能解。我突然在想程序爬 APP 数据靠的是破解，破解就是算法的对抗，反爬与爬虫对抗就是硬刚，如果要爬全站肯定要靠算法，但我们只是爬几百个酒店，与其正面对抗能不能模拟真人操作，买 100 台手机走 100 个进程取 100 个价格。 非技术人员，想法可能贻笑大方

[binux]

@xiaoyazi 问题是你要 3 分钟的频率，500*2 个房型*2 个网站，你自己算算。
爬全站反而简单点

[xiaoyazi]

@binux 前两个月 200 个酒店差不多。增加服务器可以解决吗？ 500 家酒店*2 个房型呀，不也就是 1000 个价格嘛。我不是很懂，请跟我说说

[binux]

@xiaoyazi 1000 个价格＊ 2 个网站／ 3 分钟＊ 24*60*30

[linhua]

http://daily.zhihu.com/story/9468547

[linhua]

@binux 两个网站的流量要分开算，如果 ip 的安全频率是 5 分钟的话，那么 也只需要 500*2*（ 5/3 （向上取整））=2000 个 ip

[airqj]

@binux 如果不是三分钟的频率，估计早就有人接了 哈哈