V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
HanSonJ
V2EX  ›  问与答

Python 有什么开源的框架或包能够抓取全站所有链接?

  •  
  •   HanSonJ · May 8, 2016 · 1748 views
    This topic created in 3653 days ago, the information mentioned may be changed or developed.
    PS :别让我自己写了,老板要我明天汇报,我刚才写完毕业论文。。。
    5 replies    2016-05-08 23:52:27 +08:00
    cxyfreedom
        1
    cxyfreedom  
       May 8, 2016 via iPhone
    BeautifulSoup ?
    sensui7
        2
    sensui7  
       May 8, 2016   ❤️ 1
    怎么才能赢取百富镁啊, 别让我目己努力了, 我朙天就想追到, 我才刚撸完
    UnisandK
        3
    UnisandK  
       May 8, 2016
    这是要做搜索引擎爬虫吗
    我觉得单这么个小功能你现在开始写来得及的。。
    HanSonJ
        4
    HanSonJ  
    OP
       May 8, 2016
    @cxyfreedom 这只是解析 html 的包而已,我想要的是给一个链接就拿到全站的所有链接

    @UnisandK 不是搜索引擎,我觉得我现在用 pyspider+redis 似乎还来得及。。。
    HanSonJ
        5
    HanSonJ  
    OP
       May 8, 2016
    @UnisandK 基本写好了。。。这贴可以终结了。。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3008 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 07:11 · PVG 15:11 · LAX 00:11 · JFK 03:11
    ♥ Do have faith in what you're doing.