在爬正方教务系统的时候，遇到了重定向的问题

2016-09-11 23:45:28 +08:00
 xyxc0673
具体的问题是：
我想把开放选课的时候某个课程的开班信息爬下来，然后我在第一次爬某个课程的开班信息成功爬了下来，然后我想爬其他的课程，结果我用相同的函数爬的时候，程序因为 TooManyRedirects 而结束了。为什么第一次爬的时候没有问题，第二次就出现问题了？
我爬几次所有可选课程都没有出错，但是在开班信息这里出现问题了，我在想是不是因为开班信息是在新窗口打开的？但是真正的原因是什么？
3199 次点击
所在节点    Python
7 条回复
bianchensz
2016-09-12 08:49:33 +08:00
<amp-youtube data-videoid="g49HtnX3SOo" layout="responsive" width="480" height="270"></amp-youtube>
随便搜了一下
scnace
2016-09-12 09:10:22 +08:00
f12 network 有惊喜 正方都是 iframe 。。。
coderwen
2016-09-12 09:16:29 +08:00
同楼上，注意 network 抓包详情，如果有跳转记得点个 preserve log
xyxc0673
2016-09-12 10:43:56 +08:00
@coderwen 实际上网页并没有跳转，而且我第一次爬的时候并没发生 TooManyRedirects 这个问题，但是在第二次爬的时候就出现上述问题，搞不清楚是什么原因
xyxc0673
2016-09-12 10:47:40 +08:00
@bianchensz 加了 headers
xyxc0673
2016-09-12 10:48:47 +08:00
@scnace 那个网页是在弹出来的新窗口中显示的
zonghua
2016-09-12 17:31:04 +08:00
对于抓取的过程大家有什么建议吗？因为按顺序流程访问要函数里面写一大段代码，怎么样可以优化设计模式

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/305541

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX