bing 和 google 的爬虫是怎么知道我新注册了域名的?

2023-01-17 17:03:30 +08:00
 edis0n0
随便打了 4 个单词在 godaddy 上注册了个长 com 域名用于自用的 api (本身连起来是无意义的,不用随机字母数字是怕公司网管当木马通信域名给 ban 了),觉得没有人会找到,首页都是 404 ,结果从注册那一天起 bing 和 google 的爬虫天天来好几趟
2503 次点击
所在节点    程序员
13 条回复
kincaid
2023-01-17 17:13:21 +08:00
举一条途径,当然不一定是这个 https://czds.icann.org/zone-requests/all
也可能跟注册商、解析服务商之间有什么 PY 交易
fuzzsh
2023-01-17 17:15:16 +08:00
Browser 会上报
hez2010
2023-01-17 17:17:00 +08:00
你要知道 GoDaddy 是微软的合作伙伴之一。另外 Google 有自己的域名服务,域名厂商之间数据大概是共享的。
systemcall
2023-01-17 17:17:59 +08:00
注册商那边上报给搜索引擎了吧
看看注册域名的协议,有没有提到
kincaid
2023-01-17 17:19:02 +08:00
@fuzzsh 正解,我看域名访问日志的时候发现如果有人要 Edge 访问我网站的时候还会同时去爬 robots
crab
2023-01-17 17:54:41 +08:00
开个抓包工具,你会发现浏览器会提交一些不是你请求的数据。
hcocoa
2023-01-17 18:49:19 +08:00
你用什么浏览器上网?
baobao1270
2023-01-17 19:57:33 +08:00
说几个可能性:
1 、浏览器上报
2 、CDN 上报
3 、权威 NS 解析服务商上报
em70
2023-01-17 20:06:02 +08:00
为什么都是 bing,google 爬虫来,百度,搜狗,360 怎么不来
abersheeran
2023-01-17 20:14:23 +08:00
@em70 因为百度垄断大陆市场,它是站长的亲爹,自己提交还爱理不理的。Google 有不少人抢它份额,搜索效果不好别人就转投其他搜索引擎了。
MurkeyMua
2023-01-18 07:00:20 +08:00
你或许用的 chrome 或者 edge
ragnaroks
2023-01-18 09:05:33 +08:00
浏览器上报、证书透明度、NS 新增记录
stabc
2023-01-18 17:01:28 +08:00
不觉得是所谓”上报“,应该是之前有人注册过,域名掉很久搜索引擎都会尝试爬

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/909525

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX