比如解析了一个二级 /域名，蜘蛛是如何知道存在这个二级 /域名的？
域名后缀那么多，挨个扫？不现实吧？
域名后缀那么多，挨个扫？不现实吧？
推荐书目
› 高性能网站建设进阶指南
› High Performance Web Sites
› Google Hacks: Tips & Tools for Finding and Using the World's Information
关于 Google SEO 最好的一本书
› High Performance Web Sites
› Google Hacks: Tips & Tools for Finding and Using the World's Information
关于 Google SEO 最好的一本书
This topic created in 2408 days ago, the information mentioned may be changed or developed.
 |
opengpsApr 6, 2020
1
蜘蛛不会知道的。
如果没有外链，没有主动推送提交，没有 sitemap 引路，那么你这个二级域名的站点几乎等同于沉入了“暗网” |
 |
chinvoApr 6, 2020 via iPhone
2
Google 同时还会用 chrome 去获取新链接
|
 |
OneManApr 6, 2020
3
你要自己去提交。
做个出名蜘蛛很爽吧，这边主动喂料，那边主动交钱。 |
 |
xyjincanApr 6, 2020 via Android
4
跑字典，或者直接在 dns 哪里批量获取？
|
 |
UltramanApr 6, 2020 via Android
5
这里是 cloudflare 的解释。
https://www.cloudflare.com/learning/bots/what-is-a-web-crawler/ web crawler bots start from a seed, or a list of known URLs. They crawl the webpages at those URLs first. As they crawl those webpages, they will find hyperlinks to other URLs, and they add those to the list of pages to crawl next. |
|
UltramanApr 6, 2020 via Android
7
不如自行挂一个网页随便放点什么东西，再绑一个从来没用过的（二级）域名，你自己也不要访问避免如上老哥讲浏览器上传 URL 这种情况，然后等几天回来观察访问记录看 bot 能不能发现。
|
 |
LukeChienApr 7, 2020 via Android
8
通过 dns，公共 dns 谷歌、百度、阿里都有。权威 dns 最早 dnspod 是和各家搜索引擎合作的。
|
 |
binfengApr 7, 2020 via iPhone
9
dns
|
 |
chihiro2014Apr 7, 2020
10
一般是自己提交，然后爬虫会去爬
|
 |
11
一般你用 Chrome 联网访问过就会被 Google 知道了
|
 |
dream7758522Apr 7, 2020 via Android
12
据说 36x 的蜘蛛，只要是同款浏览器再隐蔽的链接也能被抓
|
Select Language