V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
captray
V2EX  ›  问与答

微信的 robots.txt 是否涉嫌违反《反垄断法》?

  •  1
     
  •   captray · 338 天前 · 5419 次点击
    这是一个创建于 338 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近搜东西时,发现微信的 robots.txt 文件禁止了除首页和几个页面的爬虫索引: https://mp.weixin.qq.com/robots.txt

    User-Agent: *
    Allow: /$     #关于此指令解释在链接 [2] 文末
    Allow: /debug/
    Allow: /qa/
    Allow: /wiki
    Allow: /cgi-bin/loginpage
    Allow: /cgi-bin/wx
    Disallow: /
    

    作为中文互联网最大的内容平台之一,微信竟然只对其他搜索引擎开放了几个页面[1],如果需要搜微信公众号的文章必须得在微信内,或者腾讯系搜索引擎——搜狗内进行搜索,这是否已经涉嫌违反了《反垄断法》?

    [1] https://www.google.com/search?q=site:mp.weixin.qq.com

    [1] https://www.baidu.com/s?wd=site%3Amp.weixin.qq.com

    [2] https://developers.google.com/search/reference/robots_txt

    30 条回复    2020-12-26 12:58:14 +08:00
    PureWhiteWu
        1
    PureWhiteWu   338 天前   ❤️ 4
    不涉嫌。
    这是知识产权问题。
    lakehylia
        2
    lakehylia   338 天前   ❤️ 3
    不涉嫌,这是 WWW 的设计问题,robots.txt 就是一个行业自律协议而已,没有法律效力的。
    takemeaway
        3
    takemeaway   338 天前   ❤️ 14
    微信本身就涉嫌垄断了,还需要管 robots 文件?
    captray
        4
    captray   338 天前
    @lakehylia
    @PureWhiteWu
    了解,谢谢回答

    @takemeaway
    确实,感觉目前我国的反垄断法条还需进一步改进哈
    helionzzz
        5
    helionzzz   338 天前
    一个日活 12 亿的软件本身已经处在实质垄断的地位了,不缺你一个行业自律 txt
    Jooooooooo
        6
    Jooooooooo   338 天前
    那淘宝也应该开放百度抓取?
    longaiwp
        7
    longaiwp   338 天前   ❤️ 4
    这个文件完全没有任何违规,但是微信垄断也不需要这个文件来证明,我们从它的行为已经能判断出它垄断了。
    PureWhiteWu
        8
    PureWhiteWu   338 天前
    @lakehylia robots.txt 有法律效力。
    jfdnet
        10
    jfdnet   338 天前
    @longaiwp
    微软垄断官司当年不是打了好多年 差点被分拆 也极大影响了微软的产品策略 不然可能都不会错过移动时代。
    luoqeng
        11
    luoqeng   338 天前   ❤️ 1
    南山必胜客了解下
    natashahollyz
        12
    natashahollyz   338 天前
    第一 wx 本身就是垄断了,和 robots 无关

    第二 你家不让人进,这不是很正常吗?
    duhongle
        13
    duhongle   338 天前
    robots 可以遵守也可以不遵守。。。关键是你爬取微信文章使用。。。微信直接搞死你
    EminemW
        14
    EminemW   338 天前 via iPhone
    想啥呢?
    maichael
        15
    maichael   338 天前
    @luoqeng #10 现在南山必胜客也没用了,阿里遭了下一个就是腾讯,这些互联网大公司这段时间会一个接一个被砍几刀。
    glennv2ex
        16
    glennv2ex   338 天前
    robots 就是个君子协议
    passerbytiny
        17
    passerbytiny   338 天前 via Android
    如果微信公众号占有市场主导地位,那么这么做是垄断的。在这一点上确实没垄断,因为微信公众号在内容平台市场不具有主导地位,事实上也不可能有任何商业公司能够主导国内的内容平台市场。
    prodcd
        18
    prodcd   338 天前
    https://www.taobao.com/robots.txt

    User-agent: Baiduspider
    Disallow: /

    User-agent: baiduspider
    Disallow: /
    xhpan10
        19
    xhpan10   338 天前
    是垄断了。。用户发的文章,他不能去强制决定这篇文章不能被其它搜索引擎收录
    x86
        20
    x86   338 天前 via iPhone   ❤️ 1
    写爬虫还理直气壮了咋不要求微信给你个 api 直接调呢
    aegon466
        21
    aegon466   338 天前
    @x86 👍
    juziss
        22
    juziss   338 天前
    @x86 这个跟对方的反爬机制太强了,直接投诉对方的行为是一样的
    Cielsky
        23
    Cielsky   338 天前 via Android
    @xhpan10 用户可以自己选择多处发表吧
    zhoushiya
        24
    zhoushiya   338 天前
    求问如果直接在 robots.txt 里写了禁止爬虫的目录,比如后台 admin 目录。。。但是通过网址直接打开 http://xxx.com/robots.txt 不就看到了后台的地址?
    mmdsun
        25
    mmdsun   338 天前 via Android
    腾讯:只要我招聘国家退休官员够多,永远别想搞我反垄断。(梗来源于腾讯招要求)
    watzds
        26
    watzds   338 天前 via Android
    说得好!淘宝禁止百度爬商品带的头
    Urutora
        27
    Urutora   338 天前 via iPhone
    整天盯着蚊子吸你血,吸血鬼当没看见,服了。行政机关的垄断算不算垄断呢?怎么没人不服?
    iamsad3508
        28
    iamsad3508   337 天前 via Android
    1.法律.txt 不改也行
    2.以前有 MSN,QQ 不构成垄断。现在有钉钉,说不定还是不能构成垄断呢
    3.360 的案子好像是说明 robot 还是有一些效力的吧?
    dfkjgklfdjg
        29
    dfkjgklfdjg   337 天前 via iPhone
    @zhoushiya
    Disallow: /,然后 allow 你想要开放的目录就可以了,方向思考一下呗
    zhoushiya
        30
    zhoushiya   337 天前
    @dfkjgklfdjg #29 明白了,先禁用所有,然后打开指定目录,多谢
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   1058 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 18:36 · PVG 02:36 · LAX 10:36 · JFK 13:36
    ♥ Do have faith in what you're doing.