 |
reecoV2EX 第 61311 号会员，加入于 2014-04-27 10:41:34 +08:00今日活跃度排名 20587 |
reeco 最近回复了
26 天前 回复了 suke119 创建的主题 › 程序员 › 企业级部署实操： SGLang 多节点集群部署 Qwen 系列大模型 |
7B 不必考虑非量化场景，单机 2 张卡，2 个实例就搞定了
26 天前 回复了 ltfree 创建的主题 › 程序员 › 最近被 OCR 识别搞得头痛 |
部署个 paddleocr 解决
88 天前 回复了 zhuwd 创建的主题 › NVIDIA › NVLink 对显卡集群的影响有多大？ |
生产环境显存足够还用 ollama 这种套壳干嘛，暴殄天物。70B 用 Triton + TensorRT-LLM 理论性能是最好的
93 天前 回复了 mrleft 创建的主题 › Local LLM › ollama 如何手动下载模型？ |
直接 huggingface 下载模型，llama.cpp 跑一下，一样的
93 天前 回复了 littlemis 创建的主题 › Local LLM › 请问如何本地部署 AI 图片或视频清晰化功能? |
驴头不对马嘴
97 天前 回复了 IndexOutOfBounds 创建的主题 › 分享创造 › Golang 中强制 LLM 返回 JSON 的无感解法 |
还是 1 的方案吧，2 ，3 的方案你换个非 openai 的模型照样不能用
114 天前 回复了 love8 创建的主题 › 分享发现 › 从小红书的翻译功能，谈 AI 普及任重道远 |
@tagtag 直接裸用大模型是因为可以快速开发，可以注入那是他们开发得简陋，prompt 写的很简单，工程化也没做好导致的问题，。
118 天前 回复了 Asyncway 创建的主题 › 问与答 › 我的猫咪生命貌似走到了尽头，我不知道该怎么办 |
我的猫咪心肌肥厚 C 期，我目前还在尽力救它，每天 4 点起床给他喂药，打针
Select Language