[预告] 最新的 V2EX 收藏 Top 50 即将完成
imlonghao · 2015-02-02 22:58:28 +08:00 via Android · 4040 次点击这是一个创建于 3369 天前的主题，其中的信息可能已经有所发展或是发生改变。
类似的帖子 /t/77480 /t/41746
这是我所搜到的相关的排名帖子，如今，V2EX的帖子已经番了一番，现在的ID已经快16W了，最近7W似乎没有想类似的帖子了。
于是乎，我又想做一次相关的帖子。
爬虫目前正以每分钟12个帖子的速度爬取V2EX，预计10天后可以爬完V2EX...........
（只有一台VPS，一个IP，绕不过V2EX的防CC策略，因为实在太牛逼了防护）
有点遗憾的是，我忘记了采集评论数，所以这次可能会没有评论的排名。
本次会有的东西，
收藏 Top 50
感谢 Top 50
发帖最多的作者 Top 20
或者其他我没想到的
......
如果需要其他排名的话可以告诉我，我会在下一次中加上。
----
目前的成品，
Segmentfault和Segmentfault的博客
http://esd.cc/ V2EX的数据也会在此发出..
网站采用Django，可以在Github上看到源码
感谢！
这是我所搜到的相关的排名帖子，如今，V2EX的帖子已经番了一番，现在的ID已经快16W了，最近7W似乎没有想类似的帖子了。
于是乎，我又想做一次相关的帖子。
爬虫目前正以每分钟12个帖子的速度爬取V2EX，预计10天后可以爬完V2EX...........
（只有一台VPS，一个IP，绕不过V2EX的防CC策略，因为实在太牛逼了防护）
有点遗憾的是，我忘记了采集评论数，所以这次可能会没有评论的排名。
本次会有的东西，
收藏 Top 50
感谢 Top 50
发帖最多的作者 Top 20
或者其他我没想到的
......
如果需要其他排名的话可以告诉我，我会在下一次中加上。
----
目前的成品，
Segmentfault和Segmentfault的博客
http://esd.cc/ V2EX的数据也会在此发出..
网站采用Django，可以在Github上看到源码
感谢！
第 1 条附言 · 2015-02-06 22:57:16 +08:00
截止目前，已经采集55000个页面左右
不过预计需要更长一点的时间
不过预计需要更长一点的时间
第 2 条附言 · 2015-02-07 21:03:42 +08:00
目前正采用4IP进行爬取....
每个IP均是12个页面每分钟
累啊......
每个IP均是12个页面每分钟
累啊......
 |
1
illuz 2015-02-02 23:54:14 +08:00
很炫酷的样子，坐等
|
 |
2
tanyuxiang 2015-02-02 23:58:24 +08:00
已收藏此帖。。。
|
 |
3
worldask 2015-02-03 00:18:50 +08:00
坐等10天
|
 |
4
hjc4869 2015-02-03 00:33:48 +08:00
楼主我要赞助你IP，蛤蛤
|
 |
5
huasha 2015-02-03 01:05:26 +08:00
期待！
|
 |
7
phoenixlzx 2015-02-03 02:07:42 +08:00
.... V2EX 用的不是 SQL 吧....
|
 |
8
Mihuwa 2015-02-03 08:41:38 +08:00 via iPhone
还以为站长换头像了……
|
 |
9
imlonghao OP |
Select Language