请问大佬们, google 是不能抓取国内的网页了吗?我用的阿里云 DNS, google 一直说无法访问 robots.txt

7 天前
 moonlightpics

情况就是,所有的搜索引擎都可以访问我的 robots.txt ,唯独 google 不行。提示托管有问题,网址检查都提示:Google 无法识别此网址,测试实际网址又报错:发生网站级问题,因此无法显示这个网页。。我看有人说干脆去掉 robots.txt ,我这么做了,但是还是没啥效果。 还有个诡异的情况,之前另外一个域名在同一个服务器上,没有登陆 search-console 验证之前被收录了好几千。但是我验证之后发先哗哗的掉,开始出现托管错误。。 给管理员发消息一周了也没有回复。。请各位大佬指点指点。 网址: https://yinxiao.cc

405 次点击
所在节点    搜索引擎优化
5 条回复
Jesmora
7 天前
不是 404 吗
moonlightpics
7 天前
@Jesmora 不是,我现在把 robots.txt 删了,所以访问 robots.txt 是 404,但是即使删除了 robots.txt ,google 还是没法抓取我的网页。
Kwnthink
3 天前
我记得之前可以提交单文件的,专门提交,以及让 google 去 ping 下 robots 文件,现在后台好久没登录不知道功能有没有改
moonlightpics
3 天前
@Kwnthink 就是 google 没法 ping 通我的 robots 。。别的搜索都可以,所以我怀疑是不是 google 不能访问大陆 IP ?但是别的网站收录都挺好的啊,,,奇怪。
moonlightpics
3 天前
而且挺搞笑的,他显示我带 www 的域名可以访问 robots ,不带 www 的却不行,,关键我带 www 的是 301 定向到不带 www 的,纳闷.

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1190369

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX