Python 爬虫

[linhanqiu]

想问一下大家 python 的 urllib 库怎么爬取跳转的链接， 我大概想了跳转链接分两类，一种是直接跳转：304 另一种是响应 200，然后自动 js 跳转的， 想问一下，是怎么实现的，需要请求 js 的 url 吗 ps:python3 环境下

[p2pCoder]

js 自动跳转的，你请求到包含 js 页面的就可以了

[WoodenRobot]

为什么不用 Requests?

[Flobit]

胶水语言，不要局限在一个库里面，不行就换，多试试其他的。

[dirls]

1# 正解

[wh01096045]

你也可以分析 js，得到跳转的 url，然后请求

[ray8888]

为什么不用 scrapy

[Ginson]

我一般是分析 JS，拿到跳转后的链接；或者直接用能执行 JS 的库去请求，比如 selenium webdriver

[linhanqiu]

@p2pCoder
但是请求到的是包含 js 的 html 文件，并没有跳转

[linhanqiu]

@WoodenRobot Requests 怎么能够自动跳转，之前看到 urllib 库可以获取跳转后的链接，不知道 requests 可不可以

[linhanqiu]

@wh01096045 好吧，我也打算这么做

[linhanqiu]

@Ginson 好的，

[WoodenRobot]

@linhanqiu 直接重定向的 requests 可以自动实现重定向，在返回数据中获取重定向后的 URL。