微博监控程序的 Python 实现

[theodorus]

打算用 Python 在 Linux 的纯 CLI 下实现微博监控功能。即对某个用户动态不断刷新，一旦有新微博就保存下来。目前只考虑 txt 存储。不考虑数据库。
***
由于刚学写这种程序，照网上有的程序(尽管代码非常漂亮)。可算法没有绕开验证码这个比较坑的问题。
个人编程水平很浅，希望 V2EX 的朋友告知一些比较好的算法， Python 库等。最好是比较成熟的库。
如果有比较好的代码，希望分享一下。
其他的爬虫程序，也可以分享，虽然 github 很多，但是比较好的感觉还是不太多的。

谢谢(๑*◡*๑)
………
//写了一个晚上，模拟浏览器还没登进去。人生啊人生。

[chroming]

微博做了很多防爬虫的处理。登录的话用 selenium 模拟比较方便。验证码和 ip 问题就要想办法解决了。

[theodorus]

代码交流可考虑粘到 http://paste.ubuntu.com 中。然后贴上链接。

[theodorus]

@chroming 我使用的是 selenium 。但是始终无法越过验证码。这个没有方法可以解决吗。我想完全在 CLI 下面实现。
cookie 呢。

[Chyroc]

使用打码平台或者识别验证码，我自己的项目，简单的我就自己识别了，复杂的就使用打码平台，快捷又经济！

[Chyroc]

另外，微博爬虫应该是使用 3g ，手机页面等等比较好吧

[neosfung]

微博不是有 api 么。你先在微博的开放平台注册好你的应用，然后创建一个 dummy 的用户，并且允许它访问你的应用。然后就可以你就可以获得 dummy 的授权并且可以访问它关注微博的更新

[lc4t]

微博主站密码是 rsa 的，手机版直接的，消息爬虫优先考虑移动版。

[miyuki]

GhostPost 和 LZ 的想法差不多

[kslr]

有个微博小挂件 直接解析分析即可

[kindjeff]

爬微博档案的 rss ，微博档案是一个第三方的微博备份的网站

[theodorus]

@Chyroc 对。可是验证码在 CLI 下面人工实现不了好像？
肯定是手机端。目前主要是 web.cn 这个域名

[theodorus]

@neosfung 想自己实现一遍。毕竟不是做项目，不到没办法的话不太想用现成的 API 。主要就是登录问题。

[theodorus]

@lc4t 问下 rsa 是什么意思。这个具体怎么用呢。我一直在考虑用户名密码登录。所以卡在验证码上面。

[theodorus]

@kindjeff 它那个太慢了应该？主要还是想自己写个出来。可是微博反爬虫有点厉害。有点想破解掉的意思。

[lc4t]

@theodorus 卡在验证码..验证码识别吧..另外登录成功了记得一直保持 cookies ，不要每次登录去查看更新

[janxin]

lz 这个需求 API 就行吧...

[em70]

用微博官方提供的 API,记得每小时可以刷 5000 次动态次好像

[theodorus]

@em70 恩。看来也只能用 API 了。

[chaichaichai]

爬.cn 域名，我当时似乎没有遇上验证码问题， ip 的话用动态 ip 或者去写一个爬代理的爬虫

[chaichaichai]

我下班回家找找我当时写的代码，没准改改还能用