首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
vincik
V2EX  ›  程序员

现在爬取什么信息比较有意思呢?

  •  
  •   vincik · 2016-05-12 16:35:32 +08:00 · 6937 次点击
    这是一个创建于 1351 天前的主题,其中的信息可能已经有所发展或是发生改变。

    闲置的服务器,花钱的,不用可惜了。

    第 1 条附言  ·  2016-05-13 09:40:40 +08:00

    采纳 @Orzzzz 建议, 将建立 知乎关系网 ,新进展会新开贴,即时将在本文附上机票

    62 回复  |  直到 2016-05-14 10:44:50 +08:00
    nellace
        1
    nellace   2016-05-12 16:42:20 +08:00
    爬点 1024 咯 顺便开开车
    murmur
        2
    murmur   2016-05-12 16:45:43 +08:00
    当然是爬知乎-两栖动物
    mirrosite
        3
    mirrosite   2016-05-12 16:56:14 +08:00
    vincik
        4
    vincik   2016-05-12 17:14:18 +08:00
    @mirrosite 不是要程序, 是爬取建议哈
    vincik
        5
    vincik   2016-05-12 17:14:38 +08:00
    @nellace 开车的都是老司机
    vincik
        6
    vincik   2016-05-12 17:14:54 +08:00
    @murmur 知乎有什么好爬的呢?
    assassinpig
        7
    assassinpig   2016-05-12 17:15:07 +08:00
    楼主你啥取向呢???比较有意思可是因人而异啊
    wdlth
        8
    wdlth   2016-05-12 17:16:14 +08:00
    爬 BGP 信息,做 BGPlay
    waterinet
        9
    waterinet   2016-05-12 17:21:08 +08:00
    楼上都好污。。。
    laoyuan
        10
    laoyuan   2016-05-12 17:24:41 +08:00   ♥ 1
    爬斗鱼弹幕,分析热词趋势
    qq515391365
        11
    qq515391365   2016-05-12 17:34:37 +08:00
    @laoyuan top1:6666
    coolair
        12
    coolair   2016-05-12 17:34:39 +08:00
    @wdlth
    @waterinet
    请问 BGP 是什么意思?
    vincik
        13
    vincik   2016-05-12 17:38:27 +08:00
    @laoyuan 有点意思
    vincik
        14
    vincik   2016-05-12 17:38:58 +08:00
    @assassinpig 大众喜欢的 数据
    murmur
        15
    murmur   2016-05-12 18:16:20 +08:00
    @vincik 当然是轶可赛艇的东西
    assassinpig
        16
    assassinpig   2016-05-12 18:32:53 +08:00
    @vincik 要是这么说的话,那还是很多的,大众喜欢的东西很广泛,新闻热点类的往往更多一些
    dolphinv
        17
    dolphinv   2016-05-12 18:38:05 +08:00 via iPhone
    爬来干嘛
    datafactory
        18
    datafactory   2016-05-12 19:05:23 +08:00
    关于爬虫能玩出啥花样,推荐大家知乎专栏的这篇文章: https://zhuanlan.zhihu.com/p/20858208?refer=data-factory ,绝对干货
    iyaozhen
        19
    iyaozhen   2016-05-12 19:06:14 +08:00
    @laoyuan 有点意思。不错
    SourceMan
        20
    SourceMan   2016-05-12 19:08:30 +08:00 via iPhone
    爬个互联网存在哪些爬虫
    vincik
        21
    vincik   2016-05-12 19:24:02 +08:00
    @SourceMan 你是说 爬取 爬虫程序 然后解析他的 规则 然后 在放到自己的规则里面 再 爬行 , 233333
    vincik
        22
    vincik   2016-05-12 19:30:51 +08:00
    @datafactory 比这个更有意思的 23333
    vincik
        23
    vincik   2016-05-12 19:31:19 +08:00
    @murmur 啥?
    joye1230
        24
    joye1230   2016-05-12 22:05:46 +08:00
    硬盘女神???????
    mrsolo
        25
    mrsolo   2016-05-12 22:14:22 +08:00
    我比较喜欢污的东西,然后大家也好喜欢,爬这个吧, yeah
    coolloves
        26
    coolloves   2016-05-12 22:18:52 +08:00 via Android
    马克
    lslqtz
        27
    lslqtz   2016-05-12 22:21:26 +08:00 via iPhone
    @nellace 以前我采集过 1024(滑稽)
    cxbats
        28
    cxbats   2016-05-12 22:35:02 +08:00
    推荐爬一下 g-e.hentai.org (逃
    vincik
        29
    vincik   2016-05-12 23:13:54 +08:00 via iPhone
    @cxbats 别跑,页面打不开
    vincik
        30
    vincik   2016-05-12 23:14:32 +08:00 via iPhone
    @joye1230 23333 女票就在身边,不需要存硬盘
    ChiangDi
        31
    ChiangDi   2016-05-12 23:17:24 +08:00 via Android
    希崎杰西卡
    cwlmxwb
        32
    cwlmxwb   2016-05-12 23:30:03 +08:00 via iPhone
    @vincik 别跑+1
    malaohu
        33
    malaohu   2016-05-12 23:42:01 +08:00
    爬美图。
    Orzzzz
        34
    Orzzzz   2016-05-12 23:48:33 +08:00
    爬知乎头像, ID ,个性域名,关注者,被关注者,关注关系网....

    这么多好玩的东西可以爬呢~
    vincik
        35
    vincik   2016-05-13 00:03:46 +08:00 via iPhone
    @Orzzzz 少年,你这建议不错
    vincik
        36
    vincik   2016-05-13 00:04:02 +08:00 via iPhone
    @ChiangDi 啥玩意?
    Orzzzz
        37
    Orzzzz   2016-05-13 00:06:04 +08:00
    @vincik 我还有十台机子,帮你跑呀~
    cpygui
        38
    cpygui   2016-05-13 05:21:27 +08:00
    @wdlth 能不能提供几个关键词?比较木。。。。想不出爬 BGP 信息有什么高级 play
    vincik
        39
    vincik   2016-05-13 08:41:36 +08:00 via iPhone
    @Orzzzz 可以的骚年
    Orzzzz
        40
    Orzzzz   2016-05-13 10:48:11 +08:00
    @vincik 脚本写好记得喊我哟~(づ ̄ 3  ̄)づ
    shajiquan
        41
    shajiquan   2016-05-13 11:35:57 +08:00
    91 啊。
    shajiquan
        42
    shajiquan   2016-05-13 11:36:32 +08:00
    楼主你说说机票是什么情况……
    vincik
        43
    vincik   2016-05-13 11:56:58 +08:00 via iPhone
    @shajiquan 就是直达链接
    vincik
        44
    vincik   2016-05-13 11:57:10 +08:00 via iPhone
    @Orzzzz 可以的,少年
    winiex
        45
    winiex   2016-05-13 12:31:10 +08:00
    很感兴趣,带上我啊少年。比较想做一个大事件的传播路径图。
    x86
        46
    x86   2016-05-13 12:39:08 +08:00 via iPhone
    当然是爬 javzoo 那种
    loading
        47
    loading   2016-05-13 12:46:28 +08:00 via Android   ♥ 1
    爬光所有论文,然后共享出来!
    liqingcan
        48
    liqingcan   2016-05-13 13:32:55 +08:00
    用什么写? python3 ?
    aaronzjw
        49
    aaronzjw   2016-05-13 14:16:56 +08:00
    @nellace experienced driver! Could you drive me for a while?
    yoa1q7y
        50
    yoa1q7y   2016-05-13 14:20:22 +08:00
    @laoyuan 基本都是 666666
    DualWield
        51
    DualWield   2016-05-13 14:39:07 +08:00
    caoniu
    easonleo
        52
    easonleo   2016-05-13 14:55:15 +08:00
    「知乎关系网」确实不错,期待。
    然后关系这种信息要怎么呈现呢,纯文字感觉不好说明,图形化又很容易乱
    vincik
        53
    vincik   2016-05-13 14:59:46 +08:00 via iPhone
    @easonleo 如何让数据说话?
    vincik
        54
    vincik   2016-05-13 15:00:01 +08:00 via iPhone
    vincik
        55
    vincik   2016-05-13 15:06:02 +08:00
    @DualWield nishuoshaya?
    Tyrion
        56
    Tyrion   2016-05-13 15:15:16 +08:00
    为什么不爬取几家 P2P 平台的信息呢,现在互联网金融这么好玩,也可以看看。好吧其实是我自己想爬但是爬不来~
    nellace
        57
    nellace   2016-05-13 15:22:43 +08:00
    @aaronzjw 车还是自己开的稳,我开的容易翻车。。。。
    EthanLiao
        58
    EthanLiao   2016-05-13 15:33:45 +08:00
    @wdlth BGP 是什么?
    Victor215
        59
    Victor215   2016-05-13 16:04:38 +08:00
    @lslqtz 我能说我爬了 1024 ,为公司贡献代码了么……
    DualWield
        60
    DualWield   2016-05-13 16:12:10 +08:00
    @vincik https://github.com/yangyangwithgnu/hardseed 这个现在不好用了,可以考虑做一个 py 版的
    Chigogo
        61
    Chigogo   2016-05-13 16:14:29 +08:00
    @SourceMan 递归爬?
    HaoC12
        62
    HaoC12   2016-05-14 10:44:50 +08:00
    @DualWield 好酷
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   947 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 39ms · UTC 17:59 · PVG 01:59 · LAX 09:59 · JFK 12:59
    ♥ Do have faith in what you're doing.