昨夜刚撸完一个微信公众号爬虫的网站,欢迎提出意见

2015-01-22 09:20:24 +08:00
 iewgnaw

http://weiread.pw/

每天定时抓取公众号文章,提供订阅阅读,另外还可以生成kindle杂志定时推送。

css和js现学现用的,写的比较渣;欢迎提出使用意见

36660 次点击
所在节点    Python
85 条回复
iewgnaw
2015-01-22 09:54:48 +08:00
@xmy2232867
django 框架, python主要用request bs4 gevent


@wuxianglong
搜狗有微信搜索功能,可以抓取url, 再抓取内容
lizhijun
2015-01-22 09:57:20 +08:00
lz可以看看这个 界面好看多了

http://wx.91toutiao.com/
veau
2015-01-22 09:58:42 +08:00
@iewgnaw ,sogou的微信搜索,抓取频率高了不是会被干么。
kiritoalex
2015-01-22 10:00:32 +08:00
不错,做得挺赞的!
webiis
2015-01-22 10:08:57 +08:00
不错,看好。
unixbeta
2015-01-22 10:11:20 +08:00
来源吧
linsk
2015-01-22 10:11:44 +08:00
@jaytags leancloud
iewgnaw
2015-01-22 10:12:33 +08:00
@jaytags 两个办瓦工的vps, 凑合还可以用
我用qiniu 默认给的域名,好像是可以自定义
alexkh
2015-01-22 10:13:23 +08:00
win8,感觉文章字体有点虚
iewgnaw
2015-01-22 10:15:15 +08:00
@veau 开始也碰到过这个问题,后来实现一个代理池,基本解决了被干的问题。
不过请求频率低一点,尽量伪造真实的浏览器行为能减少被干的可能
declanVox
2015-01-22 10:17:00 +08:00
能帮抓下人人公众平台的这个账号(历史就是重口味)吗?我想把他变成RSS订阅(人人公众号在PC端不让看,只能上移动端)

链接如下
http://public.renren.com/blog/630002445/944051120
puyo
2015-01-22 10:17:19 +08:00
puyo
2015-01-22 10:18:46 +08:00
可以定于很赞啊,但是“weibo login failed”
wormcy
2015-01-22 10:26:36 +08:00
同好奇 数据是从哪爬的
Jning
2015-01-22 10:54:41 +08:00
不错,赞
exceloo
2015-01-22 11:14:05 +08:00
搜狗又是怎么抓的,好奇
tearsinchina
2015-01-22 11:25:19 +08:00
请问有提交的地方吗?
iewgnaw
2015-01-22 11:30:24 +08:00
@puyo MD微博登录还要新浪审核?好像是这个问题,之前一直用自己的账号登录,没有问题。哎,晚上回去再弄一下吧。可以订阅阅读,推送到kindle


@tearsinchina 左下角有个“添加公众号”的按钮;添加之后,并不会立即抓取文章列表
shajiquan
2015-01-22 11:31:30 +08:00
看起来很酷。但是用微博登录后显示:weibo login failed。
zhoupengfei
2015-01-22 11:35:35 +08:00
@exceloo 搜狗微信不是一家吗

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/164359

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX