爬虫真的有法律风险吗，个人弄了一个爬取晨星国内基金的爬取，然后对数据进行聚合，过滤，分析，输出，但是并不商用

[jackyLu]

其实就是爬取所有的国内场外基金某一个季度的数据，然后重点关注你需要的数据，比如晨星评级，持仓股，总资产等等。根据你的指标过滤，整合汇总，输出。这样就可以分析出高晨星评价的基金，还有就是哪些股票是基金重仓股。有了很多个季度的数据之后，就可以分析出变化趋势来。

做这个项目一直忐忑不安的。万一真的触碰到法律了，还是就麻烦的。各位 V2EX 们可以讨论，给给建议

[lisxour]

1. 只采集本就公开的数据
2. 没违反网站反爬虫采集规则、Robots 协议、转载声明、数据使用说明等
3. 不涉及个人信息倒卖

那么基本就没啥问题

[MMMMMMMMMMMMMMMM]

挂代理爬，他没证据的

[x86]

我拷，刑呀

[ScoutWang]

面向监狱编程

[zictos]

@lisxour #41 要账号登录但账号是免费注册的算公开吗？

[Aumujun]

爬虫自己藏着用就行了，还放出来嘚瑟，我身边好几个被搞，你传 github 他们报警也能找到你

[stroh]

我前前前同事就是这么进去的，关了半年，出来，找工作没人要，自己开饭馆了

[xingHI]

判断爬虫行为是否违法。从法律专业角度来看，首先要看爬取行为本身是否合法，然后是对于数据的使用是否合法。
OP 爬取晨星国内基金的数据，从技术方法来看采用模拟登陆然后获取数据的方式，并未去破坏晨星国内基金的平台正常使用，可以看作是用户正常登陆后，记录所看到的内容，并非采用入侵等方式，所以爬取行为合法。然后再来看对于数据的使用，从目前来看 OP 将其公布在 Github 上，并演示了简单的分析；对于公布数据这个行为，晨星国内基金的数据也是通过合法爬虫的方式来获取，其属于不完全独创性的数据库（法律上暂未明确），但楼主的简单分析显然是合理使用行为，不构成侵权，但将数据公布在 Github 上具有一定法律风险。

来自计算机+法律双专业学生的建议：只公开技术方法，不公开数据本身。

[lijiangang886]

说的这么详细，你到底是来咨询爬虫法律风险的还是来推销你的项目的？

[Weixiao0725]

看这 fork 数量比 star 还要多。。

[RuralHunter]

爬取公开的数据根本没问题，不要听楼上那些神神经经瞎扯的。

[stonesirsir]

这个吧，据说爬国外没事，国内的的话就。。。

[luojiyin87]

未经授权，都是违法。

[Aloento]

这种事情还是建议你人在国外再干

[llldean]

看来企查查和天眼查还是牛逼阿

[interim]

@maggch97 地图炮又开起来了？

[likang8210]

sqlalchemy.exc.ProgrammingError: (pymysql.err.ProgrammingError) (1146, "Table 'fund_work.fund_morning_manager_assoc' doesn't exist") 运行 11 的时候，少了表

[weeei]

@Frankcox 如果触犯当地法律，这属于跨国的网络犯罪。最多网上封你号，抓不了你。

[Joeith]

先 folk 为敬

[cheng6563]

你看这个口袋又大又宽