首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
snappyone
V2EX  ›  程序员

互联网大厂里面都有爬虫团队吗,主要负责爬什么样的数据啊

  •  
  •   snappyone · 325 天前 · 2395 次点击
    这是一个创建于 325 天前的主题,其中的信息可能已经有所发展或是发生改变。

    好像这样的团队都很神秘,于是想了解下

    13 回复  |  直到 2019-03-02 20:30:10 +08:00
    matsuz
        1
    matsuz   325 天前
    互联网大厂一般不需要爬虫,他们自己的系统里面有数据,不需要从外面爬

    需要爬数据一般有互联网小厂、传统行业公司。

    其中传统行业大厂一般会把数据需求外包出去,传统行业小厂请不起爬虫(就算请得起也不会专门养一个爬虫)。所以真正需要爬虫的多是互联网小厂

    所以说现在爬虫其实没啥前途的。

    (当然,有一个例外是搞搜索引擎爬虫的)
    lincanbin
        2
    lincanbin   325 天前 via Android
    爬虫有法务风险,现在上规模的厂都很少搞这个了
    chengxiao
        3
    chengxiao   325 天前
    @lincanbin 越大的厂 越需要爬虫的
    爬虫可做的事情很多 大厂对于舆情这块儿重视程度比小厂多了去了 是肯定有部门负责这部分的
    andylsr
        4
    andylsr   325 天前 via Android
    天眼查~~算互联网么
    luoleng
        5
    luoleng   325 天前
    一些搞大数据的公司会需要爬虫
    hoythan
        6
    hoythan   325 天前
    @matsuz 你视界太小了,爬虫团队很重要。
    monkey110
        7
    monkey110   325 天前
    还行吧 我们这个厂是生产汽车的厂 有个舆论管控小组 专门爬取互联网上的关于厂区产品的负面言论 明面上是收集故障意见等 其实也就是删删贴 发表些正面的帖子
    xmtudgzy
        8
    xmtudgzy   325 天前
    别说公网,在 PT 站也见到过,还是国内大厂!
    lynskylate
        9
    lynskylate   325 天前 via Android
    美团做 12306 抢票的算爬虫吗,头条部分新闻是官方授权然后去抓取的算吗?不过大厂做爬虫的确实少,而且爬虫也只是一个小部分,所以说爬虫没前途大部分情况都是对的
    lavawong
        10
    lavawong   324 天前 via iPhone
    大厂绝对有只是你不知道而已,据我所知国内大厂都有专门的团队搞这事
    gabon
        11
    gabon   324 天前 via Android
    @matsuz 竞对的数据你不爬等着别人爬你吗
    envylee
        12
    envylee   324 天前
    看完上面的回复我甚至怀疑是不是巴基斯坦或者印度新过来了一些会中文的从业者,,,
    julyclyde
        13
    julyclyde   324 天前
    @matsuz 你眼界太小了
    爬竞争对手是个很重要的事
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1204 人在线   最高记录 5168   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 61ms · UTC 18:07 · PVG 02:07 · LAX 10:07 · JFK 13:07
    ♥ Do have faith in what you're doing.