首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wz497345846
V2EX  ›  程序员

有人用 Java 写爬虫吗?

  •  
  •   wz497345846 · 224 天前 · 2045 次点击
    这是一个创建于 224 天前的主题,其中的信息可能已经有所发展或是发生改变。
    11 回复  |  直到 2019-06-11 21:39:39 +08:00
    calming
        1
    calming   224 天前
    httpclient+jsoup 呗
    leon0903
        2
    leon0903   224 天前
    我记得好像有好几个 java 爬虫框架
    shionri
        3
    shionri   224 天前 via Android
    用过 selenium java,写爬虫的话有点大材小用的感觉?
    fenrao
        4
    fenrao   224 天前
    webmagic
    jiom
        5
    jiom   224 天前
    一楼的方案是最常用的了
    tikazyq
        6
    tikazyq   224 天前
    可以尝试一下爬虫管理平台 Crawlab,支持任何语言、任何框架,可以用 Crawlab 集成你的 Java 爬虫

    https://github.com/tikazyq/crawlab
    c4f36e5766583218
        7
    c4f36e5766583218   224 天前
    retrofit 接 api 爬。
    bigbigeggs
        9
    bigbigeggs   224 天前
    写过好多。跟 python 没什么区别。就是拿到数据,然后清洗数据。
    python:request + (bs4,re 等)
    java: httpclent + (jsoup,re 等)
    brucefu
        10
    brucefu   224 天前
    去哪儿爬信息百分之 95 的 java
    luozic
        11
    luozic   224 天前 via iPhone
    apache 组织有开源的爬虫和抽取数据框架,java 语言的
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2011 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 15:25 · PVG 23:25 · LAX 07:25 · JFK 10:25
    ♥ Do have faith in what you're doing.