有写过企查查抓取脚本的没!有个问题想要咨询一下!

2020-11-27 10:19:56 +08:00
 jerfoxu
最近企查查升级版本了!将更多的弹窗电话代码放在了最底部 ,这要怎么抓取呢!

虽然之前写的脚本在链接上加上&old=true,还可以照常用老的脚本,但感觉不久企查查就会给取消掉吧!
res=requests.get('https://www.qcc.com/search?key='+nameNew+'&old=true',headers=headers)
res=requests.get('https://www.qcc.com/search?key='+nameNew,headers=headers)

两个结果不一样,后面一个是企查查升级后的版本,更多里面的联系方式放在了代码的最后了!

有什么解决办法吗?也不知道我有没有描述清楚。
4122 次点击
所在节点    Python
17 条回复
GM
2020-11-27 10:37:18 +08:00
善意提醒:注意安全。

毕竟已经有不少案例了,爬虫写得好,牢饭吃得饱。
efaun
2020-11-27 10:39:33 +08:00
套娃?
murmur
2020-11-27 10:39:34 +08:00
v 站应该有企查查的员工吧,可以动手了
whx20202
2020-11-27 10:41:09 +08:00
无言以对。。。
jerfoxu
2020-11-27 10:53:50 +08:00
@murmur 大家误会了吧! 我本身就是企查查的会员,抓取只是为了自己方便而已!否则我得一个一个去复制。因为我们一部分信息是来自中标网站,中标信息中的企业信息是用企查查会员再查询获取号码的!
wafm
2020-11-27 10:59:57 +08:00
@jerfoxu 别用于盈利 没问题 放心玩
NCry
2020-11-27 11:01:21 +08:00
一句话一个感叹号这种打字方式,我怎么觉得那么眼熟呢
hakono
2020-11-27 11:02:01 +08:00
@jerfoxu 你是愿意出钱的用户的话,那就乖乖用官方的 API
https://openapi.qcc.com/data
jerfoxu
2020-11-27 11:04:38 +08:00
@hakono API 不会目前不会写哦,有这样的工具用也可以。总之我这边的需求就是,根据提供的企业名称获取:省份,电话,法人 就够了。
hakono
2020-11-27 11:09:32 +08:00
@jerfoxu https://openapi.qcc.com/dataApi/dataDetail?apiId=f738e318-62b5-11e7-bbdd-00155d0ab207
那就请求这个 API 吧,官方已经把 API 的 URL 和详细调用方法写得一清二楚了,如果还不会页面里还有 Python 例子,复制粘贴就能直接无脑用了

充钱就能变强
murmur
2020-11-27 11:14:44 +08:00
jerfoxu
2020-11-27 11:18:06 +08:00
@hakono OK 后面研究一下!他这个次数应该是成功计算的吧!如果判断没有手机号码,我们是不要的!

如果是按请求就太贵了!如果是按获取成功一次计价完全可以接受
hakono
2020-11-27 11:20:32 +08:00
@jerfoxu
https://openapi.qcc.com/FAQ
这些问题你翻翻 FAQ 就能找到啊。。。。

7 、目前开放平台是怎么扣次 /扣费的?如果我查询出来是 201,未查找到结果会扣费吗?
当前开放平台只有返回状态是 200 的情况下才扣次 /扣费,其余 201,202,203 等状态皆不扣费 /扣次。
jerfoxu
2020-11-27 11:27:06 +08:00
@hakono 非常感谢。
kennyliu
2020-11-27 14:33:41 +08:00
凯盛员工?
gogomarine
2020-11-27 17:35:58 +08:00
难道企查查本身不就是爬虫出身的么?
llsquaer
2020-11-28 12:12:24 +08:00
不知道你具体查哪些内容...我是 vip 用户.之前我也想过爬数据.. 后来发现企查查 vip 提供了批量导出就没用过了..导出的数据信息挺全的..除了没有企业关系图.

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/729753

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX