有什么办法吧一个网站上的文章都爬取下来吗？

[hackingwu]

我想把一个网站上的文章爬取下来，有没有办法可以自动触发 chrome 插件（简悦），他可以重新排版，保存的日记中。但是怎么批量的去做这件事情呢？大家有什么 idea ？

[2G]

用 selenium ？然后加载的时候把 chrome 插件 load 进去，再用 xpath 操作？

[hackingwu]

@2G 我们可以去触发插件的按钮吗

[oneisall8955]

爬虫爬得好

[ingdawn]

坐牢坐到老

[seamonster]

真刑啊，日子越来越有判头了

[zelentre]

很刑.

[HankLu]

很简单

[ztcaoll222]

先这样

[HashV2]

再这样

[tojike]

进去进得早

[yunyuyuan]

然后再这样

[nepiedg]

最后在这样

[jingcoco]

有个 网联网记忆的 工具，初衷是解决有些网站过了几年下线了 没法看的问题。

[kasusa]

python 写，selenium 库，模拟点击按钮，用 xpath 定位下一篇按钮，刷新再来。
就这么个流程吧。
不过我感觉网上还是垃圾信息多。都爬下来有什么用呢？

[caicaiwoshishui]

楼上队形笑死我

[2G]

@hackingwu 可以的，用 js dom 就可以，xpath 估计也可以。

[solopython]

试试 Newspaper3k

[muzuiget]

写个浏览器扩展就可以了，专事专办。