Java VS Py 爬虫

2018-10-22 22:38:56 +08:00
 beryl

Java 相对于 Py 爬虫有什么优缺点呀?

目的: 学习 Java、爬虫 抓取数据,积累数据

2200 次点击
所在节点    程序员
9 条回复
ZhengJL
2018-10-22 22:46:01 +08:00
java 写爬虫没有 py 那么方便,简介
murmur
2018-10-22 22:48:44 +08:00
作为爬虫的框架来看 现在语言越来越不重要了 更多的策略要放在代理池 反扒 代码分析上
Cellei
2018-10-23 08:31:54 +08:00
增加一个 Go 爬虫,等待大佬分析
brucedone
2018-10-23 10:20:47 +08:00
https://github.com/BruceDone/awesome-crawler

这么多框架,你随便选了,选你自己熟悉的语言然后学习
locoz
2018-10-23 11:49:00 +08:00
Java 写爬虫的缺点就是要写很多冗余的代码,同样的一个爬虫 Java 要写一百多行,Python 只用十行
优点就是碰到某些特殊情况会比 Python 方便一些,比如原本在服务器上跑的爬虫要改成一个 AndroidAPP,核心部分不用动太多就能移植过去了
不过实际上语言并不关键,不同的编程语言发出的请求都是一样的,最终还是要处理反爬,这个就是单纯的分析了,跟你用的语言无关
beryl
2018-10-23 12:28:05 +08:00
@locoz 但是在基本入门、以及对应的工具包和生态上,是不是 java 稍微弱势点,在爬虫方面
smeraldo
2018-10-23 13:57:19 +08:00
拿 jsoup 写过爬虫,还算安逸,代码量是有点多。因为不熟悉 py,所以用 py 写主观上反而觉得有些慢
locoz
2018-10-23 14:28:42 +08:00
@beryl #6 emmm。。非常基础的东西确实是 Python 的比较多一些,但是实际上那些非常基础的东西跟语言的关系也不是很大,生态的话我不用 Java 所以不太清楚
p1094358629
2019-06-25 12:58:20 +08:00
就响应而言,python 更快

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/500017

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX