请教, 大数据行业兄弟们,类似这样的数据一般是如何收集来的

1 月 21 日
 Hermitist

只想知道如何最低成本合法的拿到类似的公开数据, 比如各国企业信息, 海关信息等.

avocadata.com/

3277 次点击
所在节点    程序员
9 条回复
tiezlk443
1 月 21 日
凉了
rayyume
1 月 21 日
wind bloomberg
oness
1 月 21 日
低成本是不可能的,早期网站没有风控时采集的。天眼查、企查查都是很早的时候( 2015 前)积累的数据。
JoeJoeJoe
1 月 21 日
慎重爬取 gov 数据
tunggt
1 月 21 日
在国内的话,机关单位和央国企的数据,别乱采集。

即使是公开的,你采集了,随时可以抓你。
rossroma
1 月 21 日
这类企业一般都有国资背景,纯私企没后台是干不了的
CaptainD
1 月 21 日
一般有何政府合作的机构售卖

以专利数据为例,专利法规定专利数据必须公开,USPTO 、EPO 等主要国家地区的知产数据都有公开可下载的链接,中国知识产权局也会每周打包放在网站供下载,也有知识产权出版社售卖这些数据

但是中国知识产权局网站很不稳定,无论爬虫还是下载都会经常失败,我怀疑他们是故意的,明面遵守专利法公开数据,私下找机构获利
Hermitist
1 月 21 日
@JoeJoeJoe @tunggt 国内的狗都不碰, 也不值钱.

@CaptainD 你的回复很珍贵, 我主要就是想拿到国外的数据,请问有更具体的路径吗? 方便加你联系方式请教吗?
CaptainD
1 月 21 日
@Hermitist #8 我对专利数据研究比较多,其他我不了解,微信:enNieTE0MDAwNDY2OTk=

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1187209

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX