求 DeepSeekR1 性价比硬件推荐

196 天前
 klo424

想玩玩 DeepSeekR1 ,家里电脑太费电而且噪音大不适合一直开机,想入一个小巧一点的,噪音小点的性价比高的设备,专门跑 AI 。

是否有符合我需求的设备?

5525 次点击
所在节点    Local LLM
59 条回复
Chihaya0824
196 天前
如果要自己微调完全可以,但是首先你要准备数据集(这个部分是最花时间的)
非常可能的是你会发现调完之后很可能会出现变笨或者变没有思考的情况,因为你的数据集里没有 CoT 相关的,所以你还要把模型重新 align 回有 CoT 的状态
用 unsloth 的话要调比如说 14b 的话,怎么都要个 24g vram 吧,那买个 3090 就可以
当然也可以选择更小的,但是低于 14b 真的没什么实用价值
不过依我看步子最好不要一次性迈太大,部署玩明白了再去做训练也不迟,要玩训练那根本就和推理要求的不是一个级别的
可以参考的项目[这里]( https://huggingface.co/ValueFX9507/Tifa-Deepsex-14b-CoT-Q8),大概是一个正经的项目(
上面的模型就算这样也要 8 张 H20(!!!!!110 万 CNY),所以 op 可以再看看自己到底想要什么
wy315700
196 天前
如果不跑满血版的话,,试试 2080Ti 22G 的,可以跑 32b
winglight2016
195 天前
我在 MBA m4 16G 512G 配置下,跑 14B ,10token/s ,这速度我觉得还能接受了,而且自己配一个开源搜索引擎,可以绕过官方限制
neteroster
195 天前
只有 671B 是“真正的” R1 ,其他蒸馏版本都没有跑过本体的训练管线,其实不能叫 R1
szkoda
195 天前
预算多少?
terrysnake
195 天前
这种小白问题直接问 deepseek 吧,楼主自己啥调研都没做就来问一嘴,最终其实也不会实施。
你们还答得这么认真,真是辛苦你们了。
marquina
195 天前
@terrysnake #46 笑死,非常真实
ichou
195 天前
@terrysnake 真相帝啊,估计楼主要把你拉黑了 哈哈哈
nekomiao
195 天前
@terrysnake 这么多人打了这么多字。现在的互联网还是太和善,换贴吧早就明嘲暗讽狠狠嘲笑了
vpsvps
195 天前
@NamelessRain
FP16 精度的吗? 1.3T 的版本 没见过搭建成功的?
klo424
195 天前
@terrysnake 首先,我很感谢能认真回答的朋友,我也认真看了每一个回复。


其次,我承认自己在这方面了解的不多,也正是因为了解的不多,才需要推荐,否则我不是可以自己就知道选什么了,更不需要问了。


然后呢,我提问之前是有想过问问 AI 的,但我凭之前的使用经验就知道这个问题 AI 是给不了我满意的答案的。


最后,我把原问题给了 deepseek ,回复是这样的:

-----------------------------------------------------------------
要满足你的需求(噪音小、预算少、性价比高、专门跑 DeepSeekR1 ),以下是几种硬件推荐:

1. NVIDIA Jetson Nano
优点: 低功耗、静音、性价比高,专为 AI 设计。

缺点: 性能有限,适合轻量级 AI 任务。

价格: 约 100-150 美元。

2. NVIDIA Jetson Xavier NX
优点: 性能优于 Jetson Nano ,功耗和噪音依然较低。

缺点: 价格较高。

价格: 约 400-500 美元。

3. Intel NUC with NVIDIA GPU
优点: 小巧、静音、可扩展性强。

缺点: 需要额外购买 GPU ,整体成本较高。

价格: 约 500-800 美元(不含 GPU )。

4. Raspberry Pi 4 with Coral USB Accelerator
优点: 极低功耗、静音、成本低。

缺点: 性能有限,适合轻量级 AI 任务。

价格: 约 100-150 美元(含 Coral USB Accelerator )。

5. Mini PC with Integrated GPU
优点: 小巧、静音、性价比高。

缺点: 性能有限,适合轻量级 AI 任务。

价格: 约 300-500 美元。

6. 二手工作站
优点: 性价比高,性能强劲。

缺点: 噪音和功耗可能较高。

价格: 约 300-600 美元。

7. 云服务
优点: 无需硬件投入,按需付费。

缺点: 长期使用成本较高。

价格: 按使用量计费。

总结
预算有限且任务轻量: 选择 NVIDIA Jetson Nano 或 Raspberry Pi 4 with Coral USB Accelerator 。

预算中等且需要更好性能: 选择 NVIDIA Jetson Xavier NX 或 Mini PC with Integrated GPU 。

预算充足且需要高性能: 选择 Intel NUC with NVIDIA GPU 或 二手工作站。

根据你的具体需求和预算,选择最适合的设备。
-----------------------------------------------------------------

论坛本该是分享知识的平台,我也没觉得我在这里提问有什么问题。
NamelessRain
195 天前
@vpsvps 对的 FP16 精度的 = = 在 YouTube 看了一圈也没找着
Clannad0708
195 天前
@marquina #47 问问题没问题的,大家也很乐意给你解答,不过你的问题有点过于小白以至于大家觉得你好像在反串一样产生怀疑。
uprit
195 天前
@klo424 一般非满血的大家都不认为它是 DS ,比如,7B 、14B 、32B 这些,其实都是 QWEN ,8B 、70B 其实是 LLAMA
klo424
195 天前
@uprit 好的
terrysnake
192 天前
@klo424 你觉得没问题就没问题。实施那一天来 v2 发个 report 我敬你是条汉子。
klo424
192 天前
@terrysnake 不用激我,我不会搞,看了大家的回复,我已经意识到了自己搞这个不现实。
terrysnake
192 天前
@klo424 这个态度可以,给你点赞。不过还是建议下次提问前先自己搜索下或者 GPT 一下。
coala
192 天前
ktransformers 方案 1 万多能跑 4bit 量化

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1115350

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX