爬虫 58 使用同一套代码,使用 privoxy 代理 返回 404,使用 squid 200

2018-01-17 22:07:41 +08:00
 fire2y

抓取使用代理 prioxy

抓取 http://wzt.5858.com/t/u45954445875985/p1001?adtype=1&adact=5&psid=161184908198727136044633930&entinfo=30212838807500_q

返回 404

返回的错误是 No such domain Your request for http://t5845955432021771.5858.com?adtype=1&adact=5&psid=161184908198727136044633930&entinfo=30212838807500_q/ could not be fulfilled, because the domain name t5845955432021771.5858.com?adtype=1&adact=5&psid=161184908198727136044633930&entinfo=30212838807500_q could not be resolved.

我后面发现这个页面会重定向

重定向的页面是

http://t5845955432021771.5858.com?adtype=1&adact=5&psid=161184908198727136044633930&entinfo=30212838807500_q

我用 privoxy 访问重定向页面返回时 200 直接使用浏览器访问 2 个页面都是正常 用 squid 一切正常 返回 200 我已近被折磨几天了

因为我要用 socks5 做上级代理才用 privoxy

939 次点击
所在节点    Python
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/423755

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX