这是一个创建于 1726 天前的主题，其中的信息可能已经有所发展或是发生改变。
想对某一个网站较快的方法得出其网站链接总数。
 |
1
sleepm 2019-07-29 15:33:47 +08:00  1
在谷歌中 site:site.domain
在网页中找 sitemap.xml 找网站所使用的程序，举个例子，比如文章列表页，多少个目录，一页多少个，共多少，累加 得到完全具体的数字数字那是不可能的，自己建的站都不知道多少链接。。。。 |
 |
2
silencefent 2019-07-29 17:00:28 +08:00
开个爬虫,一级域名通配符一页页抓 url,放 redis 里面用布隆过滤器去重
|
Select Language