抓了点知乎用户数据，打算分享给各位兄弟

[airqj]

大概 5W 个知乎用户的 500 条动态
不知道放在什么地方合适呢？不想放百度网盘，自己的 vps 流量硬盘也不够。。。。
另外 把这些数据公开会不会被知乎喝茶？

[abelyao]

放 LeanCloud 吧，每月有 100 万次免费的数据接口调用，或者全部转为静态数据后存储在 又拍云 七牛。

[a87150]

有什么用？

[ooh]

知乎网管正在拨打东北黑社会小哥电话 ing 🤣

[airqj]

@a87150 兄弟 我把计算机话题下的所有子话题的最佳回答者的动态都给抓下来了
有没有用就看你自己了
用户推荐什么的

[airqj]

@abelyao 多谢兄弟 我试一下

[URgoy]

不知道。

[youmualone]

Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*
Disallow: /people/*-*-*-*

[lslqtz]

我想想哈。。
大小多大？

[rhen]

支持，不过 5w..根本看不完

[airqj]

@lslqtz 处理一下估计有 2G 左右
恢复成真正的数据十几个 G

[airqj]

@rhen 这不是用来看的
用来做机器学习用户推荐之类的

[lll9p]

抓情感类或者别的很喜欢讲故事的话题更好哈，用 RNN 训练之后输出一些上知乎看看得多少赞

[lslqtz]

@airqj lzma 压缩神器试试看

[lslqtz]

我找到了，你可以试试看 daocloud 。
没找到说限制带宽和流量的，但是我找到了存储空间是需要 1x 的容量，默认搞定后是有 2x 的容量，搞微信还有 3x 。
其中 1x 可以开个 docker ， 1x 可以开 10g 的存储空间，就是注意优化和经常登录，这玩意容易休眠，也容易内存爆掉挂掉。
如果怕内存挂掉可以去搞微信，再来个 1x 加内存。
建议用 lzma 压缩，否则上传速度感人。
http://233.dog/f_40127258.png
http://233.dog/f_29750671.png
http://233.dog/f_48875122.png

[zhouzb889]

忘了乌云和世纪佳缘的故事了吗？

[airqj]

@lll9p 原本是打算把爬虫放到 github 上有兴趣的人把数据爬了就 PR 一下
不过目前看来不太合适

[airqj]

@zhouzb889 我这东西又不是用来盈利的
再者爬虫爬下来的 应该不会有什么事吧？

[airqj]

@lslqtz 多谢兄弟
明天试试

[lslqtz]

@airqj 如果分卷的话你可以用 oschina ，速度飞快，上传限制 1G ，分卷用 999M 就好。
http://osu.acgvideo.cn/songs/Chuunibyou-1.mp3

[viko16]

@lslqtz 图床域名好赞