求问： scrapy 解析 js 有什么好的方案？

[bytenoob]

现在只能解析静态的网页内容，想请教各位 scrapy 对于动态的内容有什么好的方案？

[bdbai]

简单的 AJAX 分析一下请求即可，涉及到算法的可以尝试将 JavaScript 代码用 Python 表达。实在懒的话直接操控浏览器，不过效率很低。

[est]

pyexecjs phantomjs

[Victor215]

千年老问题，快成月经贴了……楼上的方法是通用的。

[ljbha007]

有个办法是遇到 script 标签和 js 文件 就用正则匹配 url 这样不用去管程序逻辑到底是怎样的

[bytenoob]

@ljbha007 有些情况这样可以，但是很多情况比如把链接放到 function 中或者 onload 这种情况就不行了

[bytenoob]

@bdbai 感谢回复，我研究下~

[bytenoob]

@est 谢谢

[ljbha007]

@Yc1992 那你把 onload 也加上啊

[leavic]

ajax 基本都可以查到实际查询的位置，查处后用 request 单独请求一次这个数据就行。

[PythonAnswer]

不要效率的话，模拟浏览器也没啥。对服务器也温柔。

[gaotongfei]

selenium

[berry10086]

selenium + phantomjs