pyspider 有什么坑吗

[okface]

在 v2 看到好多次说不建议使用 pyspider 的，但是目前公司主要用的就是这个，因为他的可视化界面。
所以，pyspider 到底都有哪些坑？有个印象好避免。

[hahastudio]

@binux

[sethverlo]

Google 关键词「 pyspider site:v2ex.com 」

[X-Force]

https://github.com/kiddyuchina/Beanbun

[newlin]

100 万行你要用数据库了吧，默认哪个 lite 的支持不了。

[dfwr3]

我也遇到过，在抓取网页时，a 链接明明有 30 条，但他只能抓到 2 条。换一个列表页又正常了，感觉是 html 中的特殊隐藏字符的原因，现在也没解决。