[爬虫与 5G] 5G 的到来会对爬虫速度有质的改变吗？？

[WaJueJiPrince]

最近的 5G 技术，炒的是非常火热，大家都在畅想着，5G 的到来会对什么行业有影响，会在哪个地方有爆发？

我是写爬虫的，所以就联想到 5G 的到来，会对爬虫有质的提升吗？又会改变爬虫哪些地方呢？ 经常写爬虫的朋友应该知道，爬虫的速度慢，关键在于爬虫是 I/O 密集型的。也就是当我们发出一个请求以后，需要等待响应的回归。所以对于 CPU 的利用不是太好，我指的是用 Python 来编写爬虫。由于 Python 的 GIL 全局解释器锁。所以，我们为了提高效率，可以采用多进程的方式，也可以采用多线程的方式，甚至采用协程的方式来实现爬虫。 听说 5G 的到来。网速有相当大的改善，据说一秒钟可以下载一个电影。

• 那么这么快的速度，对于爬虫来说以后是不是意味着我们不需要编写“太好的”，异步代码或者是多线程代码。对于代码的要求，是不是就降低了呢。

• 以后我们写的爬虫，问题是不是又集中在了 CPU 密集型了呢？以及验证码，IP 这些反爬措施上。

[slanternsw]

有的没的。
“爬虫的速度慢，关键在于爬虫是 I/O 密集型的。也就是当我们发出一个请求以后，需要等待响应的回归”
“听说 5G 的到来。网速有相当大的改善，据说一秒钟可以下载一个电影。”
来说说 5G 在价格延迟网速上哪一个可以打得过万兆有线？

[chinvo]

@slanternsw #1 别问，问就低延迟高带宽，有线不存在的，光速轻易突破，是未来，是历史的车轮，你们这些螳螂是要被……

[wateryessence]

你真的写过爬虫？

[1OF7G]

吃瓜群众被无良媒体带节奏也就罢了，互联网从业人员对 5G 这样的认知也太不到位了吧！

[strcmp]

既不懂爬虫也不懂 5G

[leaflxh]

@chinvo 油炸

[kawkeye]

@strcmp 爬虫:5G/个,可用于合成光明之剑

[Abbeyok]

骗金币失败的例子

[azh7138m]

@chinvo 不用月底了，直接加急吧

[WaJueJiPrince]

@wateryessence 写过 并且还写过框架！！为什么木有速度的提升呢？？

[WaJueJiPrince]

@Abbeyok 我只想知道原因 至于喷子就不要说话了 求解答疑问！！！！！！！！

[WaJueJiPrince]

@1OF7G 求解答原因 别过说其他没用的啊 一个个评论都是浅尝辄止 也给不出原因 就说没啥用？？我想要的是结果 不是媒体带不带偏？？？？没一个给出具体答案的啊？？？

[Ley]

看了你的描述，不过感觉爬虫和移动网络没有太大关系吧，比较好奇你为什么会认为爬虫依赖移动网络？
另外一个个人的小建议是慎用超过三个感叹号，可能会影响阅读效率…

[WaJueJiPrince]

@slanternsw 您的意思是 5G 其实还是基于我们目前的有限网络吧？？ 所以速度并不会提升

[Cheons]

？？？你服务器用的移动设备

[WaJueJiPrince]

@Ley 我的了解目前 5G 速度较快 所以觉得目前可能这个速度会对爬虫比较有利 那是不是 5G 还是基于现有的有限技术？那么如果目前什么都不考虑，网站速度完全无延迟会不会对爬虫速度有提升呢？会不会降低协程 线程编程技术呢？

[Cheons]

2g 换 3g 3g 换 4g 和我

打魔兽有关系嘛？

[WaJueJiPrince]

@Cheons 我的意思只是网速的增加会不会对爬虫编写代码要求有所降低呢？

[WaJueJiPrince]

看了一个消息就是 5G 的速度是要快于电信的 100M 光纤宽带的

[HuLiY]

不如把标题改成[高带宽低延迟下，爬虫将如何发展]因为 5g 再快也不如有线网络快。
另，个人觉得网络再快也会使用多线程+分布式+代理。所以网络只能加快爬虫的速度，对爬虫的方式没有太多改变。