微信公众号文章语料库

2016 年 5 月 6 日
 linsun84

部分网络抓取的微信公众号的文章,已经去除 HTML ,只包含了纯文本。每行一篇,是 JSON 格式, name 是微信公众号名字, account 是微信公众号 ID , title 是题目, content 是正文。

Clone 完 Git 之后,要用 git lfs fetch 来拿主要的文件。

目前数据大约 1G ,数据会定期更新增加。

请只用于研究用途。

https://github.com/nonamestreet/weixin_public_corpus

5895 次点击
所在节点    Python
4 条回复
sharp
2016 年 5 月 7 日
你是怎么抓的
xlxlxlxl
2016 年 5 月 8 日
我该说 1024 还是好人一生平安(●'◡'●)
楼主好人
songkaiape
2016 年 5 月 9 日
同问怎么抓取的。。好奇
linsun84
2016 年 5 月 9 日
文章蛮多的
http://www.cnblogs.com/java-wgm/p/5088674.html

主要有验证码和各种限制。刚更新了,数据增加到了 3G 。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/276769

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX