机器学习训练的时候,为啥 CPU 占用率到不了 100%?

134 天前
 QiShine

使用 scikit-learn ,训练一个随机森林。所有的数据都在内存里,但是训练时间还是很长,但是看任务管理器里面,CPU 占用一直 40%,不是应该 100%吗?是不是 Python GIL 的问题?怎么样才可以提速?

1543 次点击
所在节点    Python
6 条回复
czfy
134 天前
1. 你用的是什么 CPU
2. 占用 40%,具体是 1 核有难多核围观,还是每个核都有占用
3. 最好还是把代码列出来
Yuanlaoer
134 天前
所有数据都在“内存”里,“CPU”占用一直 40%

内存,CPU
QiShine
133 天前
```
# transform list into array
train = asarray(train)
# split into input and output columns
trainX, trainy = train[:, :-1], train[:, -1]
# fit model
model = RandomForestRegressor(n_estimators=1000)
model.fit(trainX, trainy)
# make a one-step prediction
yhat = model.predict([testX])
return yhat[0]
```
czfy
133 天前
你也没说全
先试试在 import 之后加一行 n_jobs = -1 吧
或者自己看文档 https://scikit-learn.org/stable/modules/ensemble.html#parallelization
QiShine
133 天前
@czfy 感谢回复!改成 model = RandomForestRegressor(n_estimators=1000, n_jobs=-1)之后,速度快了两倍。
czfy
130 天前
有用就好

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1003896

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX