Java 做爬虫有没有什么比较牛的地方？

[harley27]

现在做爬虫的几乎全都是 pythonpythonpython
甚至还有些接单的用易语言做（因为好学么？不明真相）
如果用 Java 做的话会不会使客户觉得这个人比较超脱凡俗，比较靠得住……
当然，我们这里还是讨论技术。不知道技术层面上用 Java 实现爬虫有没有什么特殊的好处

[axwz88]

python 写爬虫好处是工作量小，轮子也多，用 java 写爬虫和 python 实现的没太大区别，很多搜索引擎爬数据量特别大还要追求速度的用 c 和 c++写爬虫

[flyingghost]

java 做爬虫它牛就牛在爬虫业务两不误。
招个 py 做完爬虫是开掉还是开掉呢？

[kaiccc]

@flyingghost 哈哈哈

[ddup]

搜索引擎爬虫就选 Nutch 大神作品。
python 有个 GIL 全局锁，性能上有瓶颈，大规模爬行会吃不消。

[salamanderMH]

我用 nodejs 写的，编译型语言（ java，go 这些）工程化好一点

[zjyl1994]

python 轮子多而已，java 并不会觉得靠得住，人家不会看语言的只要数据

[daozhihun]

做过爬虫的说一句。
楼上说的对，老板 & 客户要的数据+准确性，人家才不管你用啥语言。
况且爬虫最麻烦的地方是对付反爬，你得有一定的思路，语言倒是次要的。

[lihongjie0209]

语言无所谓, 关键是生态

[leopku]

@ddup 有道理，我选 go 系爬虫

[shuizhengqi]

说 GIL 全局锁的，这对爬虫有什么影响？爬虫主要是爬，又不是计算，这有什么吃不消的

[janxin]

码农不值钱？

[ben1024]

主要是反爬的解决方案

[Mazexal]

java 不适合做爬虫, 强类型处理很容易报错..........

[HOU]

java + web-harvest + xpath，爬得很美

[hotcool100]

对不起，跟我走一趟，我是国家反爬局的……

[wysnylc]

强类型处理报错的了解下 optional
java 做爬虫的话就在于分布式了,如果单机能做的爬虫任务没必要用 java
java 爬虫推荐一个许雪里的 XXL-CRAWLER,链式编程一行代码一个爬虫!

[Cellei]

Go 爬虫哪位大佬再给讲解下

[duanxianze]

@flyingghost 哈哈哈

[392039757]

没有好用的 java 爬虫框架，自己写轮子太难受

[cweijan]

@392039757 webmagic