python 能不能通过 ie 或 chrome 来抓取渲染好的网页

[pythonee]

通过urllib2或是requests来get页面，只是抓取了html源码，css渲染效果和ajax调用都没有，所以，我在想是不是可以通过ie或chrome来抓取在浏览器上看到的效果呢

[OhmyCaptain]

selenium?

[iloahz]

貌似现在能模拟浏览器渲染的就只有1L说这个吧

[txlty]

phantomjs
http://phantomjs.org/

[est]

IE可以。win32com

[otakustay]

phantomjs和真chrome的差距还是有点的，真要抓就用selenium吧，除了效率低下外没啥缺点

[manhere]

如果是win平台的话，有个命令行版网页截图工具，很好用

[zhouzm]

cefpython

[simapple]

python Qt webkit

[ksc010]

phantomjs + casperjs

[PurpleSun]

*nix平台：whhtmltopdf + pdfkit

[josephshen]

http://cutycapt.sourceforge.net/
然后自己再包装一个python接口就行

[gonjay]

用Chrome插件直接用js来抓取，再通过ajax给自己的数据库存起来？

[pythonee]

@gonjay 我是想做成daemon定期去抓的，不想起来一个chrome

[keven]

python应该有相关的库或者可以直接利用的东西吧，我也在抓数据，八爪鱼采集器就是内置了一个浏览器，然后通过浏览器来进行采集的。所以ajax这些肯定是支持的。