首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
华为云
V2EX  ›  程序员

爬取了煎蛋网 2 个月内点赞最多的妹子图。

  •  4
     
  •   wyan453351466 · 2017-10-30 11:49:32 +08:00 · 37822 次点击
    这是一个创建于 384 天前的主题,其中的信息可能已经有所发展或是发生改变。

    链接:

    http://www.yanshuo.me/r/meizi/rank

    由于煎蛋会定期删除旧的妹子图。所以也爬取不到更旧的了。

    对爬虫感谢的同学欢迎加群讨论:566806792

    另外问下大家,如果我把爬虫开源,做一个爬虫共享社区。多少人会感兴趣?

    就是每个人可以在上面基于一个相同的框架、规范,共享自己的爬虫代码,这样已有的代码大家就不用再去写了。就是不知道有没有啥子法律问题,比如要实名认证之类的?

    这又扯到一个题外话:国家出台的跟帖评论实名制的政策,不遵守会有什么后果?看到 v 站、煎蛋等一些网站还没有实行实名制。有懂法律的同学请解答一下谢谢!(还有如果共享代码的话,不实名制是否可以)

    第 1 条附言  ·  2017-10-30 13:50:23 +08:00
    网站由于同时在线人数过多。出现了 502 的情况。正在紧急抢救中 - 2017.10.30 13:50
    第 2 条附言  ·  2017-10-30 14:13:05 +08:00
    网站加了缓存,现在已经恢复了哈 ^ ^
    第 3 条附言  ·  2017-10-30 15:38:04 +08:00
    友情提示:请勿在四周有人时打开! NSFW
    247 回复  |  直到 2018-10-29 14:52:10 +08:00
    1  2  3  
        201
    Xxss   2017-10-31 10:27:47 +08:00
    翻页=3=
        202
    warcraft1236   2017-10-31 10:28:04 +08:00
    为啥叫煎蛋?我看网站叫言说啊
        203
    maskwang   2017-10-31 10:28:10 +08:00
    666
        204
    Xxss   2017-10-31 10:28:27 +08:00
    翻页失败=3=
        205
    linuxchild   2017-10-31 10:28:53 +08:00
    @yulitian888 not safe for work
        206
    yu099   2017-10-31 11:01:29 +08:00 via Android
    @lyhapple 自己上那个爬别人站的垃圾网站爬呀
        207
    Grubber   2017-10-31 11:36:24 +08:00
    我艹,我撸个小代码抓你的网站的,建错了个 ~ 目录,然后脑一抽执行了 rm -rf ~ ,然后又立马取消,不知道有没有什么影响
        208
    SaltedFish12138   2017-10-31 11:46:34 +08:00 via Android   ♥ 3
    抵制所有爬煎蛋的行为。抵制楼主
        209
    lyhapple   2017-10-31 11:51:01 +08:00
    @yu099 犯懒癌了, 回家就不想开电脑写代码了,当然也不能在公司里做这种事
        210
    lyhapple   2017-10-31 11:51:56 +08:00
    @timothyye 700M 很正常, QQ 邮箱中转站, 速度嗖嗖的. 拜托啦 :)
        211
    cqcn1991   2017-10-31 12:04:06 +08:00
    已撸
        212
    coderwan   2017-10-31 12:33:38 +08:00
    真坑。技术社区发这个。公司里啊
        213
    kylix   2017-10-31 12:40:56 +08:00
    我去,我就在办公室打开的,,,
        214
    zhenchao   2017-10-31 12:56:01 +08:00 via Android
    拿小站玩爬虫真缺德
        215
    mylab   2017-10-31 13:31:20 +08:00
    我只关心社区用什么语言开发的?
        216
    superhan   2017-10-31 13:41:33 +08:00 via Android
    这网站真不错
        217
    chuanwu   2017-10-31 13:57:49 +08:00
    @asomepig +1

    已 block。
        218
    zlyang   2017-10-31 14:08:41 +08:00 via iPhone
    -_-!!! 爬点有意义的内容。block +1
        219
    Nick930826   2017-10-31 14:15:47 +08:00
    营养跟不上了
        220
    ltm   2017-10-31 14:20:34 +08:00 via Android
    蛋友们,打哭😭这孙子
        221
    gogothq   2017-10-31 14:24:27 +08:00
    xx 工作区域打开的,wtfc
        222
    allure1008   2017-10-31 15:34:28 +08:00
    营养快线又喝完了,我得赶紧去定几箱
        223
    MartinWu   2017-10-31 15:41:49 +08:00
    让我想起那句话:雪崩前,每一片雪花都认为自己不会引起雪崩。
        224
    lomot   2017-10-31 15:54:02 +08:00 via Android
    都点开了(*≧m≦*) ,友情提醒怎么在最下面
        225
    loria618   2017-10-31 16:04:28 +08:00
    可能正中你博关注的心态吧,但是还是想说。在煎蛋看到许多人都在无聊图和没品的陪伴下走出低谷,不想因为有你这种人存在让那么多人少了一个精神寄托。不知道 colt 和 sein 怎么想,连我这种只刷煎蛋一两年的路人看着都难受。
    ……虽然不是每个人都会替别人着想的,但是希望那样的人越少越好。
        226
    Chappako   2017-10-31 16:08:31 +08:00
    @mylab http://yadmin.yanshuju.com/Admin/login
    从这里看是 ThinkPHP 5+
        227
    lioz   2017-10-31 16:45:05 +08:00 via Android
    真的不错
        228
    mineqiqi   2017-10-31 16:49:37 +08:00
    nfsw 写到第一行吧,我已经中招了
        229
    mineqiqi   2017-10-31 16:49:52 +08:00
    @mineqiqi nsfw
        230
    HankAviator   2017-10-31 16:53:37 +08:00
    多大仇,都拒绝爬虫还爬人家网站,还指控没有实名。管天管地
        232
    zhqy   2017-10-31 18:27:27 +08:00
    坐等 colt 怒对一波,话说还是别爬煎蛋了,自己去看就好了嘛,再者这也没有什么技术含量。
        233
    only25133   2017-10-31 21:39:40 +08:00
    还有没有良心啦~
        234
    jsjgjbzhang   2017-10-31 22:01:51 +08:00
    煎蛋是得罪了多少程序员啦,次次被爬
        235
    timothyye   2017-11-01 09:09:37 +08:00 via Android
    @lyhapple 你加我 tg @TimothyYe
        236
    jiar   2017-11-01 10:07:21 +08:00
    还好我手快关掉了。
        237
    darksc   2017-11-01 10:59:19 +08:00
    @jiar #236 还好我手快,我也关掉了。。简直 A 级。。。
        238
    ren2881971   2017-11-01 12:42:17 +08:00
    可憐的煎蛋。。
        239
    Gitbook   2017-11-01 12:52:08 +08:00
    爬完了
        240
    ren2881971   2017-11-01 12:59:18 +08:00
    必须 block !!! 每天上煎蛋 不希望被你们玩坏了!
        242
    cnyang   2017-11-01 17:44:18 +08:00
    @lyhapple http://13.112.66.207/imgs.tar
    http://13.112.66.207/img.tar
    第一个 700 多 M
    第二个是这贴的,2.2G ,oo-xx>100 加删除重复
    https://www.v2ex.com/t/402582
        243
    cnyang   2017-11-01 18:11:29 +08:00
    才发现刚才没传完,第 2 个文件下载不完整的重下吧
        244
    wisper   2017-11-01 20:21:54 +08:00
    特意注册账号,你这种人真是那种缺少来自父母关爱的非典型智力障碍。爬虫爬别人站自己建个爬虫站?都说成这样子了还要公开?
        245
    lingo   2017-11-01 20:26:13 +08:00
    我觉得有必要顶上去让大家看到 244 楼。
        246
    lyhapple   2017-11-01 22:19:16 +08:00
    @cnyang 跪谢大神,真的跪了.
        247
    zyp0921   20 天前
    打不开了耶 咋回事哦
    1  2  3  
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3597 人在线   最高记录 3821   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.1 · 35ms · UTC 03:11 · PVG 11:11 · LAX 19:11 · JFK 22:11
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1