爬虫写得好，坐牢坐到老。现在大家还敢干爬虫的活吗？

[suanbing]

在谈的外包项目，有几个是爬虫的。

犹豫要不要接。今年接活很难，想挣点钱。

但现在好像爬虫项目都有一定的风险。

[abcbuzhiming]

@zhybzc 你弄错了核心，核心是别人允许你爬了吗？没允许你爬，你用任何方法爬都是错的。

[zictos]

@abcbuzhiming 那很多大公司不也爬吗？天眼查爬取数据公开贩卖

[zictos]

@abcbuzhiming 凭什么普通人就要被抓？

[zictos]

@abcbuzhiming 之前还有人在网上代买火车票被判刑，跟携程的模式差不多，凭什么携程就没事。

[kiwier]

@Cmdhelp 有人告你，就管了

[kakeiri]

钱到位，也值得

[evilic]

我的不知道算不算是爬……
我就写了两个 py 脚本：一个脚本模拟键盘，随机间隔时间向浏览器发送 alt-d, ctrl-v, enter ；另外一个是 mitm 的脚本，把指定网址返回的数据直接加时间扔到 mongdb 里……

[evilic]

我还有另外一个操作，就是写了一个 chrome 插件，把网页里面的数据直接传到我自己服务器的接口上。
接口也是直接加时间扔到 mongodb 里。

[JCZ2MkKb5S8ZX9pq]

不是用什么技术的问题，是本身业务逻辑是否合法的问题。

人家不给看的，有访问限制的，次数限制的，硬要大量获取，违法。
人家给看的，但无视版权限制，拿来当成自己的去公开发布，违法。
合法取得合法利用，应该就没太大问题。

[bzsh]

@also24 我们抓携程的时候，抓到了招安链接

[bzsh]

@zhybzc 这么说吧，那些 robot 协议禁止的，严格来说都有很大风险

[rockyou12]

其实就是有个美女穿得很少，但也不是你骚扰人家的理由。只要人家数据完全公开，我觉得都有风险

[libook]

对相关法律不了解，不过如果爬虫犯法，那么是不是就不会出现公共搜索引擎行业，比如百度、谷歌、必应。

个人看法是爬取公共信息没有问题，但不能违法其他方面的的法律规定：比如高并发致使源站满负载无法响应正常用户的请求、通过破解手段爬取源站明确禁止爬的数据、爬取的数据用于盗版等违法用途。

要是真的担心风险，可以尝试咨询真正的律师，或者签署相关免责协议（如乙方提供的代码和程序不得用于任何违法用途）。

[newmlp]

爬公共信息当然没有问题，另外就是不要产生严重后果导致对方报案

[won]

问题来了，爬军方服务器和直接入侵哪个性质更严重？

[wolfan]

法律学的好，虫子写的好。

[abcbuzhiming]

@zhybzc 没错啊，大公司爬啊，问题是大公司手上有的资源你有吗，人家背后的律师团队，你有吗？天眼查是商务部国家中小企业信息化推进项目的指定企业，人家拿信息是官方钦定，你有吗？

[abcbuzhiming]

@zhybzc 因为人类就是社群动物，全世界都是有组织的干翻没组织的，组织强的干翻组织弱，你一普通人欢迎去西方挑战一下大企业，看看人家大企业的律师团队如何花式吊打普通人。
凭什么普通人就要被抓？这个问法当真可笑

[abcbuzhiming]

@zhybzc 因为携程是大型企业，所以他如果违规，最多罚个款，退钱，下次不干了，就了了，不公平是吧？对，但是全世界的大企业大公司都有这特权，天然就能抵一部分罪，除此以外还有企业干很多事的税率都比普通人低。你以为为什么无论国内国外那些真正有想法的人都削尖脑袋去办企业开公司？光是为了赚钱吗？

[zjx1993]

爬 pornhub 会有人管吗？谁有好用的 pornhub 爬虫