V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 972 days ago, the information mentioned may be changed or developed.
最近由于工作的原因，需要去尝试部署海外大厂的开源 LLM 模型，进行一些测试验证。逐步呢就会接触到 AI 生态中的一些概念。
Hugging Face 的 transformers 库提供了使用 PyTorch 实现的预训练 NLP 模型，这些模型通过 CUDA 支持在 GPU 上进行训练和推理。
因此对于私有化部署而言，最核心的就是把 GPU 的驱动及 CUDA 都安装好，那么 CUDA 是什么？如何完成安装？
大家可以收藏一下，后期本地部署的时候，应该能帮大家节省时间。
Select Language