• 请不要在回答技术问题时复制粘贴 AI 生成的内容
pr2b
V2EX  ›  程序员

求一款 Mac 或 Win 上,抓取 html 爬虫 down 到本地的软件

  •  
  •   pr2b · Apr 27, 2016 via iPad · 4967 views
    This topic created in 3846 days ago, the information mentioned may be changed or developed.

    看了大多数爬虫,都是 java 的。

    现在需求时,希望能在本地运行的。最好是 Mac ,不行就 win ,再不行就 php 吧

    直接把 h   tml 全部 down 下来就行。自动按照正则去爬

    14 replies  •  2016-04-27 19:19:33 +08:00
    13348859836
    13348859836
    Apr 27, 2016
    1
    python 的爬虫框架多 随便找一个吧
    zhouxuchen
    zhouxuchen
    Apr 27, 2016
    2
    life is short, you need pyquery
    xiamx
    xiamx
    Apr 27, 2016
    3
    html is context free grammar btw
    jnduan
    jnduan
    Apr 27, 2016
    4
    java 的就不能本地运行了?

    那你用 Offline Explorer 吧
    sadhen
    sadhen
    Apr 27, 2016
    5
    不太理解楼主的需求

    貌似是把 HTML 全部下载到本地后,再在没有网络环境的情况下抓取信息 是么?

    还是普通的爬虫框架?
    pr2b
    pr2b
    OP
    Apr 27, 2016 via iPad
    6
    @sadhen 是按照正则顺序爬,然后把 html 都 down 到本地。

    正在研究火车头🚄 ,就是保存 html 的一步 还没有成功

    @jnduan 的浏览器,没找到在哪里写网址规则。
    cxbig
    cxbig
    Apr 27, 2016
    7
    php/ruby/python 随便哪个语言都可以,手写一个百来行。
    SCaffrey
    SCaffrey
    Apr 27, 2016
    8
    nodejs/python
    Tink
    Tink
    Apr 27, 2016
    9
    这个貌似叫离线浏览器?
    wmhx
    wmhx
    Apr 27, 2016
    10
    wget 啊, 一丢丢的
    qq839994901
    qq839994901
    Apr 27, 2016
    11
    scrapy
    Ouyangan
    Ouyangan
    Apr 27, 2016
    12
    java 不能本地么......
    break
    break
    Apr 27, 2016 via iPhone
    13
    都是 html 的话, wget 就可以了, wget 的镜像复制命令
    imn1
    imn1
    Apr 27, 2016
    14
    爬虫很多,能用正则的不多
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1839 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 103ms · UTC 09:40 · PVG 17:40 · LAX 01:40 · JFK 04:40
    ♥ Do have faith in what you're doing.