在爬正方教务系统的时候，遇到了重定向的问题

[xyxc0673]

具体的问题是：
我想把开放选课的时候某个课程的开班信息爬下来，然后我在第一次爬某个课程的开班信息成功爬了下来，然后我想爬其他的课程，结果我用相同的函数爬的时候，程序因为 TooManyRedirects 而结束了。为什么第一次爬的时候没有问题，第二次就出现问题了？
我爬几次所有可选课程都没有出错，但是在开班信息这里出现问题了，我在想是不是因为开班信息是在新窗口打开的？但是真正的原因是什么？

[bianchensz]

随便搜了一下

[scnace]

f12 network 有惊喜 正方都是 iframe 。。。

[coderwen]

同楼上，注意 network 抓包详情，如果有跳转记得点个 preserve log

[xyxc0673]

@coderwen 实际上网页并没有跳转，而且我第一次爬的时候并没发生 TooManyRedirects 这个问题，但是在第二次爬的时候就出现上述问题，搞不清楚是什么原因

[xyxc0673]

@bianchensz 加了 headers

[xyxc0673]

@scnace 那个网页是在弹出来的新窗口中显示的

[zonghua]

对于抓取的过程大家有什么建议吗？因为按顺序流程访问要函数里面写一大段代码，怎么样可以优化设计模式