获取全网可访问的网址

[1903372529]

我想获取我可以访问的所有网址信息，原因：我所知道的网址都是通过各大网站推荐、搜索引擎找到、朋友推荐，这种形式获取的，但总有我未曾发现的非常好的网站，我想通过这种方式获取一些我感兴趣的新网站。（非黄）

我想尝试获取所有的可以正常访问的网址，并输出网址+标题。 通过搜索发现一篇文章《域名遍历搜索 python 实现》： https://blog.csdn.net/qq_33848737/article/details/77879841

但博主已经没有更新了，我尝试将他的程序跑起来，发现 domainqueue 在进程池中的协程中调用时为空，而主进程初始化时不为空。由于对 python、对多进程、多线程不够了解，尝试了两天，有些束手无策，但始终难以消除心中的这个想法。希望有大佬可以帮帮我。

[heyeshuang]

想起了一篇科幻小说：《诗云》。我用里面的一首诗来回答你吧：
啊啊啊啊啊啊啊
啊啊啊啊啊啊啊
啊啊啊啊啊啊啊
啊啊啊啊啊啊嗷

[nfroot]

@Hk4Fun 又不是每个网站都可以直接通过 IP 访问，遍历 IP 没有用的

[tony601818]

听说你想复制谷歌？

[lzxgh621]

域名最长 63 位 总共 63 个字符排列组合 遍历一遍

[Ultraman]

真找出来了你能一个一个看过去吗…？

[nfroot]

你要是觉得遍历 IP 肯定是行不通的，一个 IP 上面可能有一千个域名绑定了。
遍历域名更行不通，短域名有可能，稍微长一点的不现实。

不过并不是没有办法，每个域名后缀都有一个组织维护，你只需要找一批雇佣兵，一个个地点摸过去，让他们交出该后缀下所有域名。

也可以去找那些非权威 dns 服务器(就是类似 114.114.114.114 这种公共 dns，或者运营商 dns 服务器)，他们也有列表，不过不是那么完整，不过一个个摸过去绝对可以得到大部分。

[lzxgh621]

@lzxgh621 #24 是 37

[kerr92]

咨询域名注册商？

[nfroot]

现在知道为什么谷歌要建立自己的公共 dns 服务器了吧?不管你是什么域名，都需要解析，只要经过了他家的 dns 服务器，就会留下记录，然后关门上爬虫。。。

[nfroot]

完成了第一步，接下来你就会遇到第二个问题。

选择困难症

这个也是谷歌的专业。。。


所以更简单的办法是，把谷歌收购了，你的问题全都解决了，这也是可行性最高的方式。

[1903372529]

@nfroot 你说的很有意思。

[1903372529]

@inhzus 确实是一个问题。

[1903372529]

@binux 你确定谷歌能搜索到所有的网站吗？

[naiba]

@XuJianHua 这个是非主流奶爸😉

[jadec0der]

无力吐槽，真是缘木求鱼…为什么不相信推荐，要自己去发现？你买书会不相信媒体的书店的推荐，拿出版总署的书号目录一本一本看吗

[annoy1309]

@Hk4Fun 印象中 zmap 那次一小时，用的可是对等的 10G 带宽。。。

[foskazs]

你是不是想开发个暗网……

[qilishasha]

可以通过 ip 为遍历基础，然后对每一个 ip 进行域名绑定反查，就可以有效的获得在用域名了。然后对每个域名的快照内容进行你感兴趣的筛选就可以了。

[yingfengi]

关键词：钟馗之眼

但是你也得有关键词啊。。。不然难道你遍历所有域名？那还有二级域名呢，你怎么办。

[yingfengi]

@lzxgh621 二级域名，三级域名，四五六七八九十级域名怎么办。