首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  程序员

用爬虫抓取数据,这样的行为是否合法

  •  
  •   nina2000 · 2016-04-05 10:55:09 +08:00 · 23320 次点击
    这是一个创建于 1233 天前的主题,其中的信息可能已经有所发展或是发生改变。
    有个问题,求教一下给位,望知情的人告知下,用爬虫抓取数据,这样的行为有没有违法,如果算,相关的条例出处望告知下,谢谢啊!
    32 回复  |  直到 2018-02-07 11:04:39 +08:00
        1
    dphdjy   2016-04-05 11:06:28 +08:00 via Android   ♥ 1
    互联网公开资源爬取并不违法,不过要看具体怎么说,每个站都不一样,但是不对对方造成巨大影响一般没事

    但是需要尊重 Robots 协议,这是协议不是命令,不过不接受容易被 ban
        2
    zhjits   2016-04-05 12:06:26 +08:00 via iPhone
    看站点 TOS
        3
    pimin   2016-04-05 12:25:35 +08:00 via Android
    我觉得爬虫抓到的都是对方允许访问的公开数据,抓数据并不违法
    通常争论比较大的应该是怎么处理数据
    比如抄别人文章发布到自己网站上
        4
    wy315700   2016-04-05 12:28:55 +08:00
    之前有人爬 facebook ,然后被抓了,坐牢的
        5
    Shura   2016-04-05 12:54:07 +08:00 via Android
    @wy315700 请给出正确的新闻来源?
        6
    fway   2016-04-05 12:59:40 +08:00
    百毒,360 属于法外之地
        7
    nina2000   2016-04-05 13:41:48 +08:00
    @zhjits TOS 是什么 能提供个链接么?
        8
    freewarcraft   2016-04-05 13:46:17 +08:00
    @nina2000 Term Of Serivce 用户协议
        9
    imn1   2016-04-05 13:47:32 +08:00
    1.前提是网站的使用协议
    2.低频没给人家网站造成问题
    3.再利用的方式见 1 ,一般自己阅读用都是允许的,二次发布就难说了
        10
    paulagent   2016-04-05 13:49:02 +08:00
    @nina2000 服务协议,每个网站都有,你抓之前去网站看一眼。
        11
    dallaslu   2016-04-05 13:53:52 +08:00
    @nina2000 Terms of service
        12
    nina2000   2016-04-05 13:54:53 +08:00
    @freewarcraft 好的 了解了
        13
    lecher   2016-04-05 14:11:09 +08:00 via Android   ♥ 1
    法律上的规定是,抓取公共展示的信息不违法,允许抓取网站内容,对公众展示内容必须提供来源及源站地址,若有版权纠纷,必须配合版权方进行内容下架,否则可以到工信部投诉举报侵权网站,投诉多了有取消域名备案的风险。
    涉及版权的经济损失,可以提起诉讼申请经济赔偿。
        14
    nina2000   2016-04-05 14:29:27 +08:00
    @lecher 能提供下出处么 先前对这块没有重视 想学习一下相关的知识
        15
    liamxd   2016-04-05 15:44:27 +08:00
    互相抄已经是趋势。你的东西被人抄,你也同时抄别人的东西。

    有的人抄了,就没事。有的人抄了就有事。看别人想不想搞你。

    保持自己不吃亏吧。
        16
    root787   2016-04-05 16:09:44 +08:00
    关注。
        17
    lecher   2016-04-05 16:22:40 +08:00 via Android   ♥ 2
    做信息聚合的都可以看看这个条例:避风港原则。
    目前来说,做搜索引擎的都在往这上面靠就是抓取、索引、展示部分信息,只要不是全文展示并及时配合版权方将无版权内容下架,可以获得避风港原则的豁免权,不用承担法律责任。

    最新出的互联网版权管理条例对信息展示增加了版权限制,未获得版权的内容,禁止对公众发布。

    按这两个条例而言,抓取是无罪的,国家更看重的是展示这方面的管理。
        18
    nina2000   2016-04-05 16:35:21 +08:00
    @lecher 好的 了解了 去学习一下 谢谢!
        19
    binux   2016-04-05 16:37:24 +08:00
    你用浏览器浏览「数据」合法吗?同样作为 user-agent ,爬虫怎么就不合法了。
    你非得说浏览器是你自己点出来的,那如果你装了自动翻页插件呢?

    爬虫是你写的,在你的授权和指导下运行,访问公开你通过浏览器同样可以访问的内容,怎么就不合法了。
    是否违法是在数据的使用环节,而不是抓取环节。
        20
    SlipStupig   2016-04-05 22:02:57 +08:00
    个人一直在想这个问题,以前写的爬虫爬到了网站备份的数据库下来,我这个算犯法嘛?
        21
    caspartse   2016-04-05 23:09:21 +08:00
    @SlipStupig 不公开,应该不违法吧。
        22
    caspartse   2016-04-05 23:12:44 +08:00
    前段时间,用爬虫从有道词典和爱词霸扒了三十多万的常用词语,做成本地离线词典。
        23
    caspartse   2016-04-05 23:15:23 +08:00
    @binux “是否违法是在数据的使用环节,而不是抓取环节。” 同意这个说法。
        24
    Kirscheis   2016-04-06 01:49:41 +08:00 via Android
    一直很疑惑,讲道理的话 SQL 注入也算是“合法”访问到了网站“公开允许访问的内容”,那这算不算违法?
    对需要 POST 数据才能访问到的内容(比如某些应用的 API)进行遍历采集算不算合法的访问?
    法律上究竟有没有界定多深入的访问内容算是非公开访问的内容?
        25
    SlipStupig   2016-04-06 01:57:34 +08:00
    @Kirscheis 同样困惑啊,病毒程序到底是什么,它和普通程序怎么区分,比如我写了个收集本地文件的程序会上传本地的 word 文件这个算不算病毒程序呢?如果下载一个杀毒软件,它也会上传我的 word 文件,那它是不是就是病毒呢?
        26
    realpg   2016-04-06 02:05:37 +08:00
    抓取并储存,一般来说除非对方网站 TOS 有明确说明禁止,有版权问题,都是不违法的。
    但是你再二次展示,就很可能侵犯版权方的权益了。
        27
    binux   2016-04-06 02:20:44 +08:00
    @Kirscheis 如果你能证明你注入的那段 SQL 是你家猫写的,你完全不知道是什么意思的话。应该不算违法吧
        28
    blacklee   2016-04-06 08:55:06 +08:00 via iPhone
    商业用途?
    如果不是的话你随便搞就是了!
        29
    caoyujia2000   2016-04-06 19:45:44 +08:00
    正在找相关的资料呢, mark
        30
    pandashuai   2016-09-11 20:47:18 +08:00 via Android
    我喜欢看小说,为此我用 nodejs 写了一个爬虫把一个小说网站的所有小说全部下载下来了
        31
    istommao   2017-05-05 11:35:53 +08:00
    只爬标题违法吗?比如爬取一些资讯网站然后整合到自己的网站上只放标题等内容,然后链接还是跳转到对方网站
        32
    winstars   2018-02-07 11:04:39 +08:00
    @istommao 不违法,这个就是搜索引擎干的事。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3569 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 22ms · UTC 10:01 · PVG 18:01 · LAX 03:01 · JFK 06:01
    ♥ Do have faith in what you're doing.