Python +mysql 简易爬虫给新浪大 V 微博和文章做备份

[hubqin]

写了个爬虫定期抓取新浪指定用户的微博和文章,以防哪天失联了还能看备份。 GitHub: https://github.com/HubQin/sinaCrawlerV

各文件功能：

• database.py 封装了各种 mysql 操作
• post.py 抓取微博，每次抓取到上次抓取的时间为止
• article.py 抓取文章，同上
• gadget.py 用到的各种小工具
• config.py 需要用到的参数

使用：

• 创建数据表：运行 sina.sql 创建数据表
• 完善 config.py 的参数，抓取微博使用移动端的请求链接；抓取文章需要登录，这里手动登录后，查看移动端的异步请求，复制 Request Header 里面的 cookie 出来使用
• 命令行终端 cd 到 py 文件所在目录，运行 pyhton.py 和 article.py ，或修改 auto.bat 文件的 cd 路径，双击改文件开始抓取

[Sanko]

支持
把微博热搜也抓一下，就能看出来哪些是用钱买的空降热搜了

[ACool]

我最近也写了一个微博的爬虫，并且对微博用户信息进行了分析 https://github.com/starFalll/Spider

[Macuilxochitl]

mark，正好想备份下自己微博

[winsky]

以前也搞过一个类似的项目，跑的很稳定，多线程抓取

[hubqin]

@Sanko 多谢支持！可以试一下。

[JohnChiu]

弱弱地问一下，在哪里指定抓取哪个用户呢？在 config.py 和 post.py 中都没看出来~

[hubqin]

@JohnChiu 详细说明已添加到附言，请查看。

[JohnChiu]

@hubqin #7 感谢！希望以后能爬取微博中的图片~

[hubqin]

@JohnChiu 计划把图片的 url 保存下来