PHP 爬虫如何降低 cpu 占用,其实只用到一个函数 getimagesize

2020-05-17 10:27:15 +08:00
 pinews
如果是 1920x1080 的图片就存下就算 md5,不过 40%不符合要求,49%图片不存在。
现在似乎是 cpu 到顶了,10%的 cpu 一般在 7%。
2898 次点击
所在节点    程序员
11 条回复
RihcardLu
2020-05-17 11:07:47 +08:00
不要用库去获取,换系统命令或者 ffmpeg
vus520
2020-05-17 11:14:27 +08:00
这个 CPU 也不算高,兄弟。
z5864703
2020-05-17 14:51:16 +08:00
其实楼主应该想说提高效率吧,爬的太慢处理的太慢
pinews
2020-05-17 16:17:23 +08:00
@z5864703 是的,
vibbow
2020-05-17 18:14:45 +08:00
hefish
2020-05-17 21:27:34 +08:00
别是没爬到本地,而是在线获取图片然后 md5 哒。。。
PHPJit
2020-05-18 08:12:06 +08:00
协程
liuguang
2020-05-18 09:59:14 +08:00
php 是单线程的,有可能是 CPU 在下载的时候,等待 io 导致 CPU 占用高(猜测),也许可以用其它语言编写一个异步 io 的程序,说不定 CPU 就可以降不少,当然这只是猜测。到底是等待 io 造成的 CPU 占用多,还是计算图片大小,计算 md5 造成的 CPU 占用高,这个需要实际测一下才知道。
pinews
2020-05-18 20:41:13 +08:00
@hefish 就是啊,下载到本地还要删除,麻烦,需要计算 md5 的机会很少。
pinews
2020-05-18 21:27:38 +08:00
@liuguang io 不高的,ssd,文档说有 320,控制面板检测到的只有 2/秒
@vibbow 好的 我试试
pinews
2020-05-18 21:44:01 +08:00
不过磁盘使用率是

Maximum \ 34.80 %
Maximum \mnt\resource 5.97 %

不知道是什么意思?会不会这上面被限制了?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/672506

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX