关于 Python 多线程效率问题

[MrGba2z]

我这里想问的是 如果我单线程处理单个需要大概20分钟的话

现在处理100个.

是开100个线程好吗?还是开20个 每个线程处理5个. 有区别吗?

当然我知道Python的多线程是伪 但我暂时没时间去用别的语言写之类的.

就我的问题而讨论好了.

当然有比较方便优化Python脚本性能的办法, 也请不吝赐教.

Thanks in advance.

[way2exluren]

如果时间消耗在cpu上，那么python的多线程是不能提高效率的……如果是io，应该能提高点效率。

[leozy2014]

不懂程序，lz可以测试下就知道选哪个好了

[MrGba2z]

@way2exluren

Sad....就是消耗在cpu上,
意思是单线程和二十线程没啥区别么....

[mhycy]

@MrGba2z
建议多进程解决，如果瓶颈是CPU，那么单一的Python进程最多只能充分利用单一核心的处理能力。
所以100线程和20线程区别不大

建议把消耗CPU的业务分离出来使用多进程解决
那么进程数等于CPU核心数就好了

[MrGba2z]

@mhycy

请问是和线程数相同还是核心数相同?

比如15MBP r 是四核八线程的吧,

我应该开8线程处理 对吗?

[virusdefender]

楼上说的对 要考虑是io密集型还是cpu密集型

[mhycy]

@MrGba2z
开8进程（注意是进程，不是线程）

[neutrino]

@MrGba2z 不，开4线程就可以了，最多跑的时候看一下CPU线程分配。

[way2exluren]

具体开多少个进程，要实测一下比较好。
cpu有多少“线程”，就开几个进程。

[MrGba2z]

@mhycy

明白了 谢谢!

[ericyue]

python没有严格意义的线程吧 还不如多进程快

[hahastudio]

multiprocessing.Pool(processes=multiprocessing.cpu_count())

[nomaka]

@MrGba2z 8进程 然后里面再开个线程池 这样效率会好一点

[xdeng]

其实你可以 看cpu 使用率

[zerh925]

cpu密集型：multiprocessing
io密集型：multithreading

[mathgl]

如果你的代码只是单纯的计算，可以用lupa。在python调用luajit。这样可以用线程，绕过gil。

[min]

跑两遍就知道的事情，试验出来自己回答吧

[ming2281]

我一般倾向于使用多进程,进程数==CPU核心数,再管理好进程间通信