GSC 站点地图无法抓取

3 小时 56 分钟前
 jsxyzb

最近做了个网站,提交 Google Search Console ,站点地图始终无法抓取,诸位大神有什么建议吗?

之前提交 Google Search Console ,没有遇到过站点地图无法抓取的问题,这次遇到了,而且前后反复修改了一个多月了,还是不行。目前的现状是,Cloudflare 安全性下清晰显示,Bing 、baidu 等均能正常请求 sitemap, googlebot 请求了网站的其他资源,唯独没有请求 sitemap!

这不是推广帖,求助帖!别又给我划到推广了!

已经尝试过的修改:

  1. 检查 sitemap / robots 基础可访问性,robots.txt 正常; sitemap.xml 返回 200 application/xml

  2. 校验 sitemap 内容格式,sitemap.xml 通过 XML 校验; sitemap-static.xml 通过 XML 校验 (新建的一个静态文件);静态 sitemap 也失败,排除 Next metadata route 单点问题

  3. 模拟不同抓取请求方式,Googlebot UA 返回 200 ; HTTP/1.1 返回 200 ; gzip/compressed response 正常

  4. 检查 Cloudflare 安全/爬虫拦截,AI Crawl Control 正常; Security Events 里 Googlebot / Google-InspectionTool 未被 Block 或 Challenge ;已配置 Allow Verified Bots 规则

  5. 检查 Cloudflare DNS / 自定义域名 / SSL ,SSL enabled ; DNS CNAME 指向 Pages ; DNSSEC 无异常

  6. 修复并验证 Cloudflare Pages 构建链路,移除 next/font/google ;改用 system font stack ; npm run build 和 build:cf 通过;构建产物确认包含 sitemap / robots

  7. 迁移测试到 Cloudflare Workers + OpenNext ,部署 Worker ;配置 OpenNext / Wrangler / R2 binding ;测试 worker ; Worker 正常返回,确认 x-opennext: 1

  8. 把正式域名从 Pages 切到 Workers 后重试,页面、robots 、sitemap 均返回正常; GSC 重新提交 sitemap.xml 仍失败

  9. 尝试提交带 query 参数的 sitemap,https://xxx/sitemap.xml?google=please; 本地访问正常; GSC 仍显示无法抓取( reddit 上看到有人这么干成功的)

  10. 迁移到 Vercel 部署, 页面、robots 、sitemap 均返回正常; GSC 重新提交 sitemap.xml 仍失败

还测试过其他的方法,感觉都没有解决问题,实在没辙了! 网站地址:videosnap.cc 请诸位大神指点

234 次点击
所在节点    程序员
5 条回复
Perchouli
3 小时 17 分钟前
看描述真是疑难问题了。是说 Bing 能正常抓取 sitemap.xml ?是不是可以排除连通性问题。

这个 GSC 的提交失败 Status 一直不成功,是[失败]?在 GSC 顶部的搜索栏直接输入 sitemap.xml 的地址是绿色吗
nc
2 小时 59 分钟前
这是 Google 的问题,过几个月再重试吧,没有站点地图不影响 Google 正常索引你的网站。
iszengmh
45 分钟前
我用的 cloudflare 部署免费静态网站和免费静态域名,也是在搜索引擎找不到,刚刚第一次尝试 google gsc ,等明天看看行不行
BeCool
31 分钟前
不要用 .cc 域名,经验之谈。
kdwnil
25 分钟前
sitemap 抓取失败的记录会保留很长一段时间,几个星期甚至几个月都有,并没什么影响

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1217096

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX