最近想做一个便民类的 app 或者小程序,但是苦于没有官方的接口可以调用,想到一个思路是通过解析 ZF 网站的 HTML 页面从而提取到相关内容,最终做成一个接口供调用。考虑到以后该 app 可能加广告盈利(后话),不知这样做是否违法?
首先谢谢大家的解惑。 可能没说清楚,我的操作其实很简单,就是别人请求我的接口时,我在接口中请求一次对应的ZF公示页面(已公开,任何人都可以用浏览器访问),然后解析得到的 HTML 字符串,加工成我需要的信息。
1
uselessVisitor 2021-06-21 15:46:16 +08:00
不是人家公开开放的数据都是非法的吧
|
2
vindac 2021-06-21 15:49:45 +08:00
页面地址发出来
|
3
poorcai OP @beichenhpy #1 但是这个数据( HTML 页面)是公开的呀,我只是通过加工一下 HTML 页面给自己提供接口
|
5
tsungkang 2021-06-21 15:51:42 +08:00
不要去搞他们的内部接口,理论上来说问题不大……
当然,具体背后有什么操作我就不知道了,公交地铁满地打广告的查老板查企业的那个网站,他们的数据就是抓取于[国家企业信用信息公示系统]( http://www.gsxt.gov.cn/) ,我看他们现在反而还挺生龙活虎的。 |
8
x86 2021-06-21 15:53:00 +08:00
理论上 gov 的东西你没它的授权就不要去碰
|
9
ronman 2021-06-21 15:53:44 +08:00 via Android
这种东西没事就没事,要真要找你茬,怎么着不都能给你扣个帽子?
|
10
uselessVisitor 2021-06-21 15:55:12 +08:00
@tsungkang #5 公示的可以用啊。。
|
12
EmotionV 2021-06-21 15:57:38 +08:00
爬一下放自己服务器,再接口调用,没啥问题
|
13
czfy 2021-06-21 16:00:35 +08:00
不盈利还好说,盈利的话 gov 如果想搞你总是能找到依据
|
14
clino 2021-06-21 16:01:59 +08:00
是不是给结果的时候提供来源地址会好一些?
|
16
CYKun 2021-06-21 16:07:08 +08:00 via iPhone 1
建议谨慎,如果要搞的话一定做好限流。这类网站普遍容量不大,万一你的 app 火了然后把公务网站拉崩了,少不得得喝顿茶。
|
18
zhaokun 2021-06-21 16:37:13 +08:00
这不是 google 、百度干的事儿嘛
|
19
l0wkey 2021-06-21 17:14:04 +08:00
别每次请求都去爬,自己缓存就可以。
|
21
locoz 2021-06-21 17:19:54 +08:00 via Android
爬了自己展示处理后的数据可以,直接做成跟反代差不多的接口不行。
|
22
jjianwen68 2021-06-21 17:23:21 +08:00
统一 21L
|
23
poorcai OP |
24
ho121 2021-06-21 17:27:52 +08:00
之前好像有过一个人爬到了还未正式发布的文件并自行公开,然后进去了
|
25
cpstar 2021-06-21 17:35:24 +08:00 1
16# 说的直接上缓存就行了
信息本来就是公开的,只不过你做了一个聚合罢了。没啥事。 |
26
scxiazi 2021-06-21 19:08:37 +08:00
进去的不少 你可以试试
|
27
akira 2021-06-21 23:29:35 +08:00
自动抓取应该是有风险的,具体咨询下律师吧
|