最近做了个网站,提交 Google Search Console ,站点地图始终无法抓取,诸位大神有什么建议吗?
之前提交 Google Search Console ,没有遇到过站点地图无法抓取的问题,这次遇到了,而且前后反复修改了一个多月了,还是不行。目前的现状是,Cloudflare 安全性下清晰显示,Bing 、baidu 等均能正常请求 sitemap, googlebot 请求了网站的其他资源,唯独没有请求 sitemap!
这不是推广帖,求助帖!别又给我划到推广了!
已经尝试过的修改:
检查 sitemap / robots 基础可访问性,robots.txt 正常; sitemap.xml 返回 200 application/xml
校验 sitemap 内容格式,sitemap.xml 通过 XML 校验; sitemap-static.xml 通过 XML 校验 (新建的一个静态文件);静态 sitemap 也失败,排除 Next metadata route 单点问题
模拟不同抓取请求方式,Googlebot UA 返回 200 ; HTTP/1.1 返回 200 ; gzip/compressed response 正常
检查 Cloudflare 安全/爬虫拦截,AI Crawl Control 正常; Security Events 里 Googlebot / Google-InspectionTool 未被 Block 或 Challenge ;已配置 Allow Verified Bots 规则
检查 Cloudflare DNS / 自定义域名 / SSL ,SSL enabled ; DNS CNAME 指向 Pages ; DNSSEC 无异常
修复并验证 Cloudflare Pages 构建链路,移除 next/font/google ;改用 system font stack ; npm run build 和 build:cf 通过;构建产物确认包含 sitemap / robots
迁移测试到 Cloudflare Workers + OpenNext ,部署 Worker ;配置 OpenNext / Wrangler / R2 binding ;测试 worker ; Worker 正常返回,确认 x-opennext: 1
把正式域名从 Pages 切到 Workers 后重试,页面、robots 、sitemap 均返回正常; GSC 重新提交 sitemap.xml 仍失败
尝试提交带 query 参数的 sitemap,https://xxx/sitemap.xml?google=please; 本地访问正常; GSC 仍显示无法抓取( reddit 上看到有人这么干成功的)
迁移到 Vercel 部署, 页面、robots 、sitemap 均返回正常; GSC 重新提交 sitemap.xml 仍失败
还测试过其他的方法,感觉都没有解决问题,实在没辙了! 网站地址:videosnap.cc 请诸位大神指点
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.