这两天在学 Python，写了一个 Pixiv 热榜的爬虫，不知道有没有人感兴趣

[cdxem713]

不得不感慨二次元才是第一生产力，废寝忘食的各种查资料，总算是写完，能够正常运行了。

整体功能比较简单（简陋）。就是抓取热榜列表页，遍历提取其中的 illust_id,并组织成对应的 pixiv 详情页，在详情页中抽取出大图的地址，通过 ImagePipeline 来下载图片。 PixivMetaPipline 实现了 Item 的本地存储。

最后生成的目录结构如下：

daily
├── 20150901
│   ├── full
│ │ ├──97b4941fjw1e44ghlhrwdj20tk15o7r7.jpg
│ │ ├──......
│   └── meta.json
weekly
├── 20150901
monthly
├── 20150901
.....

GITHUB 地址： pixiv_crawl

[lidonghao]

up~

[TheC]

作为曾经造作这个轮子的人...感叹一句这个轮子真的已经被造过无数次了

顺便给我的轮子打个广告： http://rakuen.thec.me/PixivRss/

[cdxem713]

@TheC 总的来说是比较经典的应用了。
PIXIV 对爬虫也比较宽容，之前没有对请求做限制的时候 IP 也不会被封。

[Starduster]

唔其实我也是想在学 Python 的时候做 P 站爬虫的 233 感觉已经看过很多人做了

[cdxem713]

@Starduster 需求驱动(・ω・)ノ

[geew]

@TheC 居然还提供 RSS 简直赞 话说官方有 rss 么

[nikubenki]

可不可以爬不在链接里的图呢

[cdxem713]

@nikubenki 额，不在链接里是指？

[nikubenki]

@cdxem713 就是说服务器里有这张图，但是没有链接指向它。

[LancerComet]

@TheC B 站基佬？

[Velacielad]

hhhh 我一开始学爬虫第一个程序也是爬 P 站日榜

[cdxem713]

@Velacielad ^_^

[nccer]

我的第一个爬虫是爬我们学校的成绩表和个人信息

[deadEgg]

赞！

[TheC]

@geew 我一直觉得正是因为官方不提供 rss 才造成前前后后这么多人去爬 Pixiv 排行 233
@LancerComet 是 B 站不是基佬！