开源公司内部的微信爬虫，寻求志同道合的人一起来改进

[crayonyi]

一个爬取微信公众号文章的爬虫

github: https://github.com/bowenpay/wechat-spider

微信爬虫的由来

我们是一家帮助中国 5000 万贫困人口与社会公益组织的对接的公司。

我们通过国家和地方政府的“建档立卡”系统，获取到了一手的贫困户数据，目前有 100 万左右，总数为 5000 万，目前每个月都在增长。

为了帮助这部分贫困户对接公益机构，我写了这个微信爬虫，从微信公众号发布的文章中上找出最新的公益项目。

这种找项目的方式的可行性，我们还在试验中。

起初，为了快速上线，本爬虫的代码是基于我的另一个 通用爬虫项目 开发的，还不是很完善，所以希望任何对本项目感兴趣的人联系我，与我一同改进这个项目。

联系方式：在该 issue 下留言告诉我 点击去留言

界面预览

1 ） 要爬取的微信公众号列表

2 ） 要爬取的文章关键字列表

3 ） 已经爬取的微信文章

4 ） 查看文章，并标记是否可用

5 ） 控制爬取进程数

使用到的技术和框架

django mysql redis lxml selenium

[GitFree]

老朋友手工点赞

[fhefh]

先 mark

[crayonyi]

@likai 目前的钱都是我们自己垫的，有在接触投资结构。

[crayonyi]

@GitFree 🤗

[crayonyi]

@bramblex 国内也有一些都是公开的，每年年报里面都有详细说明。 基金会中心网 http://www.foundationcenter.org.cn/ 有一个透明指数，可以看出行业内的透明水平。

[globetour]

搜狗平台的验证码很难搞，最好有失败和重试机制，以及能不能爬历史文章

[hustlzp]

支持公益。

[defia]

@crayonyi 我也想问楼主验证码是怎么解决的。。

[guotie]

支持。

验证码可以找打码平台解决。

[crayonyi]

@defia 我实际上是没有解决。 通过足够多的代理 ip 和失败重试机制，绕过这个限制。

[colordancer]

这个必需 mark

[chaichaichai]

试一下抓新榜和传送门？

[crayonyi]

@chaichaichai 传送门和新榜的文章不全。

[lrh3321]

马克一下

[lixuda]

@crayonyi 具体办法是怎么操作的？

[crayonyi]

@lixuda 爬取的时候，如果遇到验证码，则放弃本次爬取任务，并记录重试次数，然后将任务重新放到爬取队列。 下次爬取的时候，会随机选择一个代理 ip 爬取。 如此重复，直到不出现验证码，或者达到重试次数限制。

[lixuda]

@crayonyi 代理 ip 是网络还是购买的？

[crayonyi]

@lixuda 1 淘宝上搜动态 vps ，有很多卖的。（便宜、方便） 2 自己找机房，拨号上网的那种，（今日头条用的是这种方式，稳定，快，可控）

我用的是这家的： https://item.taobao.com/item.htm?spm=a230r.1.14.1.RT0O2l&id=525941770043&ns=1&abbucket=11#detail

[crayonyi]

@lixuda linux 下和 windows 下都需要准备 3 个软件：
1 定时自动重新拨号软件（如拨号精灵）
2 实时获取 ip 并提交到服务端（在项目目录下有， bin/getNewIp.py ）
3 代理软件（如 cproxy ）

[ospider]

@crayonyi Hi ，你还在做吗，你怎么知道 “今日头条用的是这种方式，稳定，快，可控”