首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

现在爬取什么信息比较有意思呢?

  •  
  •   vincik · 2016-05-12 16:35:32 +08:00 · 6582 次点击
    这是一个创建于 1071 天前的主题,其中的信息可能已经有所发展或是发生改变。

    闲置的服务器,花钱的,不用可惜了。

    第 1 条附言  ·  2016-05-13 09:40:40 +08:00

    采纳 @Orzzzz 建议, 将建立 知乎关系网 ,新进展会新开贴,即时将在本文附上机票

    62 回复  |  直到 2016-05-14 10:44:50 +08:00
        1
    nellace   2016-05-12 16:42:20 +08:00
    爬点 1024 咯 顺便开开车
        2
    murmur   2016-05-12 16:45:43 +08:00
    当然是爬知乎-两栖动物
        3
    mirrosite   2016-05-12 16:56:14 +08:00
        4
    vincik   2016-05-12 17:14:18 +08:00
    @mirrosite 不是要程序, 是爬取建议哈
        5
    vincik   2016-05-12 17:14:38 +08:00
    @nellace 开车的都是老司机
        6
    vincik   2016-05-12 17:14:54 +08:00
    @murmur 知乎有什么好爬的呢?
        7
    assassinpig   2016-05-12 17:15:07 +08:00
    楼主你啥取向呢???比较有意思可是因人而异啊
        8
    wdlth   2016-05-12 17:16:14 +08:00
    爬 BGP 信息,做 BGPlay
        9
    waterinet   2016-05-12 17:21:08 +08:00
    楼上都好污。。。
        10
    laoyuan   2016-05-12 17:24:41 +08:00   ♥ 1
    爬斗鱼弹幕,分析热词趋势
        11
    qq515391365   2016-05-12 17:34:37 +08:00
    @laoyuan top1:6666
        12
    coolair   2016-05-12 17:34:39 +08:00
    @wdlth
    @waterinet
    请问 BGP 是什么意思?
        13
    vincik   2016-05-12 17:38:27 +08:00
    @laoyuan 有点意思
        14
    vincik   2016-05-12 17:38:58 +08:00
    @assassinpig 大众喜欢的 数据
        15
    murmur   2016-05-12 18:16:20 +08:00
    @vincik 当然是轶可赛艇的东西
        16
    assassinpig   2016-05-12 18:32:53 +08:00
    @vincik 要是这么说的话,那还是很多的,大众喜欢的东西很广泛,新闻热点类的往往更多一些
        17
    dolphinv   2016-05-12 18:38:05 +08:00 via iPhone
    爬来干嘛
        18
    datafactory   2016-05-12 19:05:23 +08:00
    关于爬虫能玩出啥花样,推荐大家知乎专栏的这篇文章: https://zhuanlan.zhihu.com/p/20858208?refer=data-factory ,绝对干货
        19
    iyaozhen   2016-05-12 19:06:14 +08:00
    @laoyuan 有点意思。不错
        20
    SourceMan   2016-05-12 19:08:30 +08:00 via iPhone
    爬个互联网存在哪些爬虫
        21
    vincik   2016-05-12 19:24:02 +08:00
    @SourceMan 你是说 爬取 爬虫程序 然后解析他的 规则 然后 在放到自己的规则里面 再 爬行 , 233333
        22
    vincik   2016-05-12 19:30:51 +08:00
    @datafactory 比这个更有意思的 23333
        23
    vincik   2016-05-12 19:31:19 +08:00
    @murmur 啥?
        24
    joye1230   2016-05-12 22:05:46 +08:00
    硬盘女神???????
        25
    mrsolo   2016-05-12 22:14:22 +08:00
    我比较喜欢污的东西,然后大家也好喜欢,爬这个吧, yeah
        26
    coolloves   2016-05-12 22:18:52 +08:00 via Android
    马克
        27
    lslqtz   2016-05-12 22:21:26 +08:00 via iPhone
    @nellace 以前我采集过 1024(滑稽)
        28
    cxbats   2016-05-12 22:35:02 +08:00
    推荐爬一下 g-e.hentai.org (逃
        29
    vincik   2016-05-12 23:13:54 +08:00 via iPhone
    @cxbats 别跑,页面打不开
        30
    vincik   2016-05-12 23:14:32 +08:00 via iPhone
    @joye1230 23333 女票就在身边,不需要存硬盘
        31
    ChiangDi   2016-05-12 23:17:24 +08:00 via Android
    希崎杰西卡
        32
    cwlmxwb   2016-05-12 23:30:03 +08:00 via iPhone
    @vincik 别跑+1
        33
    malaohu   2016-05-12 23:42:01 +08:00
    爬美图。
        34
    Orzzzz   2016-05-12 23:48:33 +08:00
    爬知乎头像, ID ,个性域名,关注者,被关注者,关注关系网....

    这么多好玩的东西可以爬呢~
        35
    vincik   2016-05-13 00:03:46 +08:00 via iPhone
    @Orzzzz 少年,你这建议不错
        36
    vincik   2016-05-13 00:04:02 +08:00 via iPhone
    @ChiangDi 啥玩意?
        37
    Orzzzz   2016-05-13 00:06:04 +08:00
    @vincik 我还有十台机子,帮你跑呀~
        38
    cpygui   2016-05-13 05:21:27 +08:00
    @wdlth 能不能提供几个关键词?比较木。。。。想不出爬 BGP 信息有什么高级 play
        39
    vincik   2016-05-13 08:41:36 +08:00 via iPhone
    @Orzzzz 可以的骚年
        40
    Orzzzz   2016-05-13 10:48:11 +08:00
    @vincik 脚本写好记得喊我哟~(づ ̄ 3  ̄)づ
        41
    shajiquan   2016-05-13 11:35:57 +08:00
    91 啊。
        42
    shajiquan   2016-05-13 11:36:32 +08:00
    楼主你说说机票是什么情况……
        43
    vincik   2016-05-13 11:56:58 +08:00 via iPhone
    @shajiquan 就是直达链接
        44
    vincik   2016-05-13 11:57:10 +08:00 via iPhone
    @Orzzzz 可以的,少年
        45
    winiex   2016-05-13 12:31:10 +08:00
    很感兴趣,带上我啊少年。比较想做一个大事件的传播路径图。
        46
    x86   2016-05-13 12:39:08 +08:00 via iPhone
    当然是爬 javzoo 那种
        47
    loading   2016-05-13 12:46:28 +08:00 via Android   ♥ 1
    爬光所有论文,然后共享出来!
        48
    liqingcan   2016-05-13 13:32:55 +08:00
    用什么写? python3 ?
        49
    aaronzjw   2016-05-13 14:16:56 +08:00
    @nellace experienced driver! Could you drive me for a while?
        50
    yoa1q7y   2016-05-13 14:20:22 +08:00
    @laoyuan 基本都是 666666
        51
    DualWield   2016-05-13 14:39:07 +08:00
    caoniu
        52
    easonleo   2016-05-13 14:55:15 +08:00
    「知乎关系网」确实不错,期待。
    然后关系这种信息要怎么呈现呢,纯文字感觉不好说明,图形化又很容易乱
        53
    vincik   2016-05-13 14:59:46 +08:00 via iPhone
    @easonleo 如何让数据说话?
        54
    vincik   2016-05-13 15:00:01 +08:00 via iPhone
        55
    vincik   2016-05-13 15:06:02 +08:00
    @DualWield nishuoshaya?
        56
    Tyrion   2016-05-13 15:15:16 +08:00
    为什么不爬取几家 P2P 平台的信息呢,现在互联网金融这么好玩,也可以看看。好吧其实是我自己想爬但是爬不来~
        57
    nellace   2016-05-13 15:22:43 +08:00
    @aaronzjw 车还是自己开的稳,我开的容易翻车。。。。
        58
    EthanLiao   2016-05-13 15:33:45 +08:00
    @wdlth BGP 是什么?
        59
    Victor215   2016-05-13 16:04:38 +08:00
    @lslqtz 我能说我爬了 1024 ,为公司贡献代码了么……
        60
    DualWield   2016-05-13 16:12:10 +08:00
    @vincik https://github.com/yangyangwithgnu/hardseed 这个现在不好用了,可以考虑做一个 py 版的
        61
    Chigogo   2016-05-13 16:14:29 +08:00
    @SourceMan 递归爬?
        62
    HaoC12   2016-05-14 10:44:50 +08:00
    @DualWield 好酷
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3389 人在线   最高记录 4385   ·  
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 26ms · UTC 05:12 · PVG 13:12 · LAX 22:12 · JFK 01:12
    ♥ Do have faith in what you're doing.
    沪ICP备16043287号-1