付费做一个新闻爬虫

[brucebot]

具体要求:

1. 使用 python3
2. 通过关键词抓取新闻，抓取全文
3. 抓取 wexin 公众号全文
4. 直接写入 Mysql 数据库，数据库 wp 可以直接读取
5. 数据抓取不能有重复（不能和以前数据重复）

前 1，2，3 已经完成了，主要完成后面 4，5 和重构一下前面的一堆代码。

有意请发报价周期到 [e-mail]

谢谢

[brucebot]

也可以 twitter 上 @brucebot

[a7063888]

scrapy 走起

[ila]

@a7063888 除了 scrapy 还有哪些类似框架啊

[poorguy]

@ila beautifulsoup

[shawlib]

楼上说的 scrapy 跟 beautifulsoup 都不是一个东西，scrapy 是爬虫框架，beautifulsoup 是 html 解析库，(黑人问号???

[ila]

@shawlib 现在用着 scrapy，想找个后备的

[RaymondLiu]

@ila pyspider 可视化可分布式爬虫框架