Colt 贴出了 CDN 流量。煎蛋真的经不起你爬

[congeec]

链接： http://jandan.net/pic/page-297#comment-3600673
可以看出一个 ip 能占好多资源

讲道理，咱得有点良心对吧。人家煎蛋没咋盈利，真要倒了大家摸鱼都不自在。而且 tumblr 上的妹子多多了去了，经得起你玩，而且好多煎蛋上的妹子图都转自 tumblr。你要是一裤裆火憋不住的话，github 上还有硬盘女神

[congeec]

@banwagong 很多人都会吧。貌似去年 V2EX 流行反代，GayHub 上一大堆反代 Google 的教程和代码

[soulmine]

@xenme 没意义啊 就算有 zip 包 你还准备解压 然后在电脑上一个个看完么 本来就是个吐槽的地方

[realpg]

@zpf124 #7 很多入门写爬虫的都不会写兼容 gzip 的 request

[annielong]

爬虫咋占那么多资源，难道来个循环抓取吗，明显不正常

[xxdd]

羡慕站长 可以积累丰富的反爬经验···

[yu099]

@annielong 可能抓评论？

[litter123]

@wisper 2333，确实不应该恶意爬虫
@WordTian emmm....高并发确实很吃 CPU，但是前提是页面是动态的，煎蛋访问量这么大，早就全静态化了。

wordpress 很庞大，体积很臃肿，效率比较低，但是，静态化以后资源利用几乎降为 0 （除了带宽资源）

投放的广告虽然少，但是可是一提的，站长日入 500 以上（猜测，不对勿喷）

[WordTian]

@litter123
但是你没算支出啊

技术：ECS 服务器，RDS 数据库，图床服务器，CDN 服务，Memcache 缓存，网络安全服务及日常维护。
人员：煎蛋办公室全职员工工资及每月几十位兼职作者的稿费。

当然，现在煎蛋办公室都没了，人员支出估计少了很多

关于流量，昨天 sein 的原话：
"被恶意爬站还被分享爬虫，导致煎蛋这几天高峰访问次数高达 1500 万次 /天
如果是真实流量当然是好事，但近 9 成是爬虫"

[litter123]

@WordTian emmm......如果是这样，确实支出很多。

不过我觉得你说的服务器，除了 CDN 1T 流量最多 300 元左右，其他都能在一台服务器上搞定，一台服务器价格大概 600 月付吧，就算买个 3、4 台组集群（逃

[q573709499]

@litter123 站长已经多次表示这是他业余时间维护的小站，真日入 500 如何？ 9 成流量来自爬虫，你说说怎么盈利，虽然蛋友发的妹子图，无聊图没有版权，好歹也是爱煎蛋的人，而不是我转载回去后声称都是我找的，我爬虫技术好棒棒。坛子里面那个收集妹子图做站点的，删除是删除了，还在他 qq 群里面声称开源爬虫代码，有能力就直接和大站玩啦

[Anhedonia]

@mdzz
牵出来看一下

[mdzz]

@Anhedonia 圈我也没用啊，这些爬虫都不是我写的，也不是我分享的，我是直接分享爬取后的数据以免大家再次爬取