scrapy 的 xpath 测试 有没有什么所见即所得的方式？

[xiaoyu9527]

我用 chrome 的 console 来测试 即便测试成功。 在 scrapy 里 也会抓不到数据。

有没有办法所见即所得呀。

[laoyur]

http://stackoverflow.com/questions/22571267/how-to-verify-an-xpath-expression-in-chrome-developers-tool-or-firefoxs-firebug

scrapy 的话，在 scrapy shell 里面测试不行？

[xiaoyu9527]

感觉现在所见即所得的 XPATH 抓取工具还真的不少。

今晚回家好好研究研究

gooseeker 就是一个。

得认真做一个数据抓取者了（辣鸡制造者）了

[imn1]

除了上面说的 firebug+firepath ，可视化右键指哪选哪的还有
WebDriver Element Locator 这个可以右键输出 C# Ruby Python Java Xpath 几种语言的 locator
https://addons.mozilla.org/en-US/firefox/addon/element-locator-for-webdriv
Yet Another Remove It Permanently 这个主要是隐藏页面元素用的，但有个 copy xpath/css 的功能
https://addons.mozilla.org/en-US/firefox/addon/yarip

[xiaoyu9527]

@imn1 我用 chrome 取出来的在 scrapy 经常不能用。。

[laoyur]

@xiaoyu9527 确定不是因为 chrome 取的元素是 js 渲染出来的？

[xiaoyu9527]

@laoyur 不太清楚。目前找了一个专门写规则的插件 gooseeker 感觉挺不错的。

可以组合到任何采集器里。

这样可以解决 XPATH 不熟练的大问题

[regent]

@xiaoyu9527 请问后面您找了一个什么插件解决问题？谢谢

[xiaoyu9527]

@regent 我不是已经说了么。。。