气人的 Google，蜘蛛乱抓页面

[pinews]

因为是个人网站，很多地方比较马虎，因为用这 chrome，google 就把我的测试页面抓取了，这些测试页面只在 chrome 上打开过，从来没在网上公开过。

[anUglyDog]

还算合理吧,毕竟是一家的.

[Tianao]

请正确配置 robots.txt 。

[mrchi]

测试页面公网能访问吗？你写 robots.txt 了没？

[Tianao]

另请参考 developers.谷歌.康姆 /search/reference/robots_meta_tag 。

[mnssbe]

chrome 里有个设置会把 url 发送给 google，你可以反选

[wolfan]

roobts 对国产作用不大，但对国外的多少比国内的强。

[dot2017]

你这个测试页面上有外链出去到别的被索引过的页面吗，google bot 抓取展现是双向的

[deplives]

是否正确配置 robots ？ 如果有，再来吐槽。如果没有，请找自己的原因

[dobelee]

能公网访问就别抱怨。。

[pinews]

@mnssbe 隐私和安全性里的东西我都没有开启。
@anUglyDog 开发人员有时会测试一些敏感信息，这也能被抓取？

@dot2017 这。。。，好吧，有的。

[pinews]

@dot2017 但是 google 怎么可能知道，除非还是通过 chrome 记录的，我没开启啊

[iasuna]

@pinews 看来是没设置 robots.txt 那既然在公网上了 也没啥不能抓取的啊

[daozhihun]

你没设 robots，google spider 咋知道哪些是敏感的

[alan0liang]

Google 把我们 gitea 一大堆 repo 的所有语言版本都索引了😂

[aureole999]

@pinews 比如你链接的页面是属于 Google 的或者有 Google ads，analytics 之类的，那 Google 肯定能拿到 referer 啊，referer 就是你自己的页面了。

[binux]

把 Google 换成 360 浏览器再来看看评论

[miaomiao888]

@binux 你这种叫啥来着？ 算了还是给你拉红一下

[mxalbert1996]

你有敏感信息就不要放公网上，放公网上就设个访问限制，你放公网上又不设访问限制又不写 robots 被抓了还怪人家？

[binux]

@miaomiao888 #17 人的本质就是双标
https://m.mydrivers.com/newsview/239408.html?ref=

[ksdd521lr]

google 的骚操作哈哈

[laqow]

我理解这个事实上都不用从 chrome 抓，在注册域名的时候就抓了，甚至可能你拿 8888 做 dns 时候就抓了。

[pinews]

我把我的意思明确一下，本质上不是蜘蛛抓取未公开的页面，
而是 google chrome 将我的访问记录下来，并公布在网络上了，恰好是我的自己的网站，所以正好发现了。