360 蜘蛛爬取了隐藏的 https 路径

[whyorwhynot]

楼主在本地用 hfs 小工具搭建了一个 http 下载服务，然后通过 nps 映射到了海外的一台服务器上，通过 nginx 又对服务加了一层 ssl，用的 let's encrypt 的证书

为了方便平时安全交换文件，我将 hfs 的一个文件目录设置为隐藏 url 了，无法通过列网站目录等方式获得这个目录的 url，外界人员也就无法得知这个交换地址。但是今天查看系统日志，发现存在一条 360 蜘蛛的访问记录，

1:18:44 42.236.10.114:10648 Requested GET /这里是 16 位字符随机地址 / 1:18:45 42.236.10.114:10661 Requested GET /?mode=jquery

理论上这个地址外界应该是不可能知道的，到底是哪一环节出了问题。。。。

[codingadog]

你自己用的 360 浏览器或相关的东西访问过？

[whyorwhynot]

@codingadog 用 360 浏览器访问过一次，可能是这个原因

[1490213]

我们公司严禁安装任何 360 公司的软件

[vc1]

你在 qq 、wx 发一下也会有腾讯的请求去爬

[swulling]

你有设置 robots.txt 么

[imn1]

2 楼结贴

[whyorwhynot]

@swulling 没有 rebots.txt

[whyorwhynot]

@vc1 本想搞个私密连接，直接被 360 顺走了，难受

[vc1]

@whyorwhynot 像问卷投票的链接只在群里发也能被搜到，都有网址安全检查的，没有屏蔽搜索引擎

[hstdt]

感觉是个大瓜

[0312birdzhang]

用 nginx 的话把这个路径加个认证吧

[autoxbc]

@hstdt #10 厂商都这么做十几二十年了