今年想了解下 ai 相关,暂时不考虑大模型,只是为了解决应用层面一些特定场景,比如特定物品识别之类的,标注数据量也不多,训练的时候需不需要用到显卡? 现在在用 12500cpu ,没有显卡,另外也想请教下苹果 m 对这种玩票性质训练有加成吗?
1
elliottzhao87 312 天前 2
前不久跑了一个小小的模型,就是几万个参数那种,CPU 完全没问题……
|
2
xinge666 312 天前 via iPhone
TensorFlow 和 PyTorch 都已经有 mps 加速了,用来加速训练简单的模型是没问题的。
|
3
lpf0309 312 天前
CPU 显存低,bitchsize 太小,准确率和速度都会降低。苹果 m 应该也没加成
|
4
Wataru 312 天前
ultra 带 npu 可以跑
|
6
lchynn 312 天前
|
7
shellcodecow 312 天前
自来水管不用 你用吸管?
|
8
Muniesa 312 天前 via Android 1
一直都可以,就是比 GPU 慢亿点点。pytorch 有对 m 系列的 GPU 支持,比 CPU 肯定快多了。如果只是玩票可以考虑用 Google colab 用 GPU 训练,训练完可以在自己电脑 CPU 上推理,CPU 推理也慢但是没有训练慢那么多。
|
10
PsychoKidA 312 天前
物品识别肯定可以。用 .onnx 模型搭配 ONNX 框架就行。如果要加成,要看芯片商出的推理框架,比如苹果就是 CoreML ,高通就是 QNN 。
|
11
xz410236056 312 天前
mac 有 MPS 可以加速训练
|
12
Morriaty 312 天前 1
你要是没接触过,就别纠结 CPU GPU 的问题啊,先把 numpy 、torch 、transforms 这些库搞熟
|
13
siriussilen 312 天前
可以,就是慢了点
|
14
fredweili 312 天前
CPU 不行,苹果就更不行了,都是英伟达的 CUDA
|
15
CrazyRundong 312 天前 via iPhone 1
12500 cpu 是指一万两千五百个 cpu 核心的集群还是说一颗 Intel 12500 ?前者可以试试 Intel 的加速库 + MPI 分布式训练,后者够呛。即使是训 100M 级别的 CV 模型,以前用 1080Ti 都觉得慢得不行
|
18
onikage OP @CrazyRundong 就是普通的 12 代酷睿 i5
|
19
paopjian 311 天前
你这种情况为什么不白嫖 colab
|
20
736531683 311 天前
完全可以的,就是比较慢,苹果早就支持 cuda 加速了,前面不要乱说。
|
21
loryyang 311 天前
你问问题的这个方式只能说明你对模型训练的知识了解太少了。不要多问,先上手去做吧
|
22
loryyang 311 天前 1
@loryyang #21 稍微补充一下,不同的模型训练都是不一样的,底下到底用了什么框架,tf 还是 pytorch ,都是不太一样的。你应该先选择一个你感兴趣的模型,然后翻一下对应的文档(基本上都会清楚说明的),自己再去造轮子训练一下
|
23
cherryas 311 天前
铁杵可以磨成针吗和这个问题的答案一致。
|
24
cherryas 311 天前
当鸡啄完米,狗吃完面,火烧断锁就可以训练完一次了。
|
25
wangzhangup 311 天前
计算机视觉方面的模型对于算力要求比较低,但是训练的话用 CPU 不太行。
至于大模型都不是一个 GPU 能搞定的,需要 GPU 集群才能训练大模型。 |
26
charslee013 311 天前 1
当然可以呀 很早之前我就写过使用 llama.cpp 在 M1 上直接使用 CPU 来运行 llama 7B 模型 https://www.v2ex.com/t/923536
现在的话 llama.cpp 还支持 openblas 加速,CPU 跑 1.3B 或者 3B 4bit 量化后的都是没问题的 > 训练的时候需不需要用到显卡? 训练最好还是用显卡,而且还是大显存那种避免 Out of CUDA Memory 训练完毕后删掉一些不用的层转 onnx 格式直接用 CPU 跑应该是没问题的,就是速度懂得都懂 🤔 |