阿里云的服务器, Gooele 爬虫访问好像有点问题

6 月 3 日
 RinGress
事情是这样的,帮朋友公司挂的个公司首页,挂了三个月了想检查一下搜索引擎索引。百度、Bing 都正常,唯独发现 Google 的索引没了。
上 Gooele Search Console 一看,robots 和 sitemap 都抓不到了,网址检查还是抓不到。
然后就上服务器开访问日志测试,发现做抓取测试时 bing 、baidu 等的爬虫的访问日志都有,唯独 Google 啥也没有。
再然后用海外的抓取工具测试,也 OK 。

2 月份上线的网站,上线当月是有收录的,4 月 1 号后就没了。sitemap 最后一次读取时间是 3 月 5 日。

也不知道再之后怎么排查了,流量可能都没到我机器上。我的前面也没我知道的其它安全设备了。
机器是阿里云成都的轻量应用服务器,现在就尬住。
难道要开个 CDN 做全球加速?
1689 次点击
所在节点    站长
2 条回复
RinGress
6 月 3 日
刚刚抓包看了下,GoogleBot 的机器是有来尝试请求连接,发了 SYN ,我方机器也回了 SYN-ACK ,但是后续没有收到 GoogleBot 的 ACK 了,即 TCP 握手失败。
把抓包证据给阿里云提工单了。
RinGress
6 月 4 日
阿里云工单回复:属于跨境链路不稳定导致的,建议将站点搬到海外,或使用全球加速。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1217717

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX