听说你们把煎蛋爬趴下了，于是我也爬了一下发现没多大数据量，就很不理解

[mdzz]

爬虫比较简单，比较快就写好了，爬的过程中遇到了反爬策略， 大约 50 个请求之后就会 403， 于是给请求分组，一组 50 个，组与组之间间隔 60 秒，就没有再 403 过了。

---

下面是抓取过程中一组共 50 个请求的网络流量图

约 10KB/s 的流量大约持续 30s 左右，一组流量约 300KB。

---

总共爬了三个版块，妹子图、无聊图和段子

• 妹子图：有 241 页共 5 组
• 无聊图：有 294 页共 6 组
• 段子：有 132 页共 3 组

共计 14 组，若按一组 300KB 计算，不超过 5MB，抓取总时间需要约 20 分钟。

---

下面是抓取后的数据库，数据库不到 16MB （抓取过程启用了 gzip，故网络流量远小于最终数据库大小）

---

我就不明白了，怎么就把煎蛋爬趴下了？怎么就爬趴下了？爬趴下了？

[takanasi]

又不是只有一个人爬，况且首页你还没爬呢

[Keyblade]

花式自挂

[green15]

不理解就好好读书，别乱爬，脏！

[zjyl1994]

我就不明白了，我就双十一买一件衣服怎么就把淘宝买崩了。（全国又不是你一个人在爬，好多新手都折腾煎蛋。。。）

[zhijiansha]

能否分享下爬虫代码？

[siyemiaokube]

大概是五楼这种比较多

[cnyang]

@siyemiaokube 哈哈

[hugee]

煎蛋技术能力有限吧，2333

[pynix]

你们把人家爬挂了

[zlfzy]

爬这些老图不如爬汤

[stebest]

有多少人梦想过全国人民给他捐一块钱

[changwei]

热图访问人数多，cdn 有缓存应该会稍微好一点吧，老图的话没有缓存都是要回源的，可能更容易爬跨人家网站。

[bxb100]

额，什么时候请求数和网络流量关联在一起了

[Perry]

楼主你要是分享了代码，煎蛋说不定就真的要挂

[opengps]

都不能好好的看图嘛？

[taresky]

ID 贴切

[kaifeii]

你们天天这么搞，干脆煎蛋做个开放 api 卖钱得了，或者做个延迟同步的共享读库

[cyn]

煎蛋是什么

[Ryosan]

id 如本人

[chnyang]

@cnyang。。。你好混 ID 的同志