Python 有什么开源的框架或包能够抓取全站所有链接？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2922 天前的主题，其中的信息可能已经有所发展或是发生改变。

PS ：别让我自己写了，老板要我明天汇报，我刚才写完毕业论文。。。

5 条回复 • 2016-05-08 23:52:27 +08:00

cxyfreedom

2016-05-08 22:54:07 +08:00 via iPhone

BeautifulSoup ？

sensui7

2016-05-08 23:10:47 +08:00

怎么才能赢取百富镁啊, 别让我目己努力了, 我朙天就想追到, 我才刚撸完

UnisandK

2016-05-08 23:19:32 +08:00

这是要做搜索引擎爬虫吗
我觉得单这么个小功能你现在开始写来得及的。。

HanSonJ

2016-05-08 23:25:06 +08:00

@cxyfreedom 这只是解析 html 的包而已，我想要的是给一个链接就拿到全站的所有链接

@UnisandK 不是搜索引擎，我觉得我现在用 pyspider+redis 似乎还来得及。。。

HanSonJ

2016-05-08 23:52:27 +08:00

@UnisandK 基本写好了。。。这贴可以终结了。。。