求教类似天眼查，企查查等爬虫公司，他们的数据源是哪里来的？商业爬虫项目有哪些挑战？

[cnscorpions]

一直有一个 idea，想要开发一个类似天眼查的项目，不知道他们的数据源怎么来的？商业爬虫项目的挑战有哪些？

有了解相关情况老哥，可以报料下，爬虫经验比较丰富的老哥也说下哈

[locoz]

天眼查、企查查相关问题可以先看看我在知乎上的这个回答： https://www.zhihu.com/answer/1310865497

商业爬虫项目的挑战…其实就和普通商业开发项目一样，有钱为所欲为、没钱全是挑战。

[snw]

国家企业信用信息公示系统 www.gsxt.gov.cn
还有各地的税务系统、法律文书系统等等。

至于挑战，除了技术之外，你需要联系好合作或者找到靠山，不然爬着爬着你自己就爬进去了。

[cnscorpions]

@locoz @snw 谢谢两位老哥，我看下

[lau52y]

感觉这些公司很恶心，搞得 gov 系统正常人都很难进去

[cnscorpions]

@lau52y 政务系统，都外包出去了，都不太好用😅