爬虫爬网站时，遇到有些网站会有javascript进行cookie认证，有什么好办法能处理吗？？

[lewisc402]

[lewisc402]

假设我想访问 a.html，结果服务器会重定向到 redirect.html?url=a.html，而redirect.html中是一些javascript代码，用来写cookie，那么我该怎么办才能访问到原网页呢？ 求思路？？？

[binux]

@lewisc402 手动提出来

[lewisc402]

@binux 没理解？？ 能详细说下吗

[DearMark]

我也表示非常关注！

[binux]

@lewisc402 打开redirect.html，解析js代码，提出js写入的cookie

[pubby]

分析出来然后在爬虫中模拟

[pandada8]

如果客户端的js用了某种算法的生成数据可以考虑在脚本中模拟一下算法，生成数据
或者直接使用 Headless 的框架 Zombie.js,Ghost.py，或者直接操作 selenium ……

[pubby]

@pandada8 同意，如果算法太复杂，可以直接把js代码丢给node.js跑出结果再用

[pandada8]

参见 http://obmem.info/?p=848 别人写的……

[pythoner]

@pandada8 擦，看到我同事的博客了~~

[RelativeLayout]

casperjs 或者 phantomjs

[pandada8]

@pythoner - =以前SimpleCD出来的时候关注的……

[yuan]

使用现有的cookie：

Chrome 的 cookietxt-export 扩展（ https://chrome.google.com/webstore/detail/cookietxt-export/lopabhfecdfhgogdbojmaicoicjekelh ）可以将cookie导出为 wget 可识别的格式。安装好该插件后，登录需要抓取的网站，点击插件按钮，就可以导出为 Netscape 的 cookies.txt 格式。

如果使用 Ruby ，可以用

agent = Mechanize.new
agent.cookie_jar.load(cookies_txt_file, :cookiestxt)

Python 应该有类似的工具吧

[lewisc402]

@yuan 这个方法看起来不错，先尝试下

[soho176]

@pandada8 这个博客 我以前也看 后来找不到地址了哈