neteroster 最近的时间轴更新 neteroster 最近的时间轴更新 |
neterosterV2EX 第 191331 号会员，加入于 2016-09-11 21:01:55 +08:00今日活跃度排名 6907 |
neteroster 最近回复了
4 天前 回复了 2bNot2b 创建的主题 › OpenAI › 求教使用 gpt-4o 时，同样的输入输出结果不同的问题 |
OpenAI 的话，温度为 0 输出也不同是预期的，这一点无法避免。指定 seed 会好点，不过也不能保证确定性。
感觉你这个需求提高准确率得上点 RAG 结合 few-shot 或者直接用微调模型，啥都不用模型可能法律这方面知识不够。
感觉你这个需求提高准确率得上点 RAG 结合 few-shot 或者直接用微调模型，啥都不用模型可能法律这方面知识不够。
9 天前 回复了 wildlynx 创建的主题 › Windows › windows11 还是个半成品 |
Explorer 卡死和设备 / 驱动的关系一般会大些
19 天前 回复了 jim9606 创建的主题 › Windows › 新系统 Windows 的性能和响应不佳的原因 |
@weijancc 现在有什么方法可以稳定关闭 defender 嘛
21 天前 回复了 JiangNanLong 创建的主题 › 问与答 › 14 寸轻薄本推荐 |
> 处理器都是 ultra5 7 9 ，或者 R7-8845 处理器，这几款都不支持 ubuntu
不是，你从哪看到的？
---
Linux 的话各机器差别无非是各种设备的驱动兼容性和暗坑，这点可以自己按型号查已经购买的人的反馈
不是，你从哪看到的？
---
Linux 的话各机器差别无非是各种设备的驱动兼容性和暗坑，这点可以自己按型号查已经购买的人的反馈
25 天前 回复了 hjc4869 创建的主题 › 硬件 › Apple 统一内存适合运行 LLM？理想很丰满，现实很骨感 |
@neteroster #3 没注意都是用单卡测的，那就不涉及多卡推理的方式了。不过非要本地推理现在性价比高的方案应该还是游戏卡多来几张
25 天前 回复了 hjc4869 创建的主题 › 硬件 › Apple 统一内存适合运行 LLM？理想很丰满，现实很骨感 |
认同这篇文章的主要观点，它谈及了一些关于本地 LLM 推理很多人没注意但很重要的内容。
先不谈高 batch （毕竟日常不常用），大多数人都没意识到 M 芯片 prefill 很慢，而这个在上下文长的情况下是挺致命的。而且其实 decode 速度也会受上下文长度影响，很多测试仅仅是在很短的 prompt 下去测生成，得到一个看起来挺好看的数字，然而实际使用中很多情况下根本不是这种场景。
个人观点是，当前，本地 LLM 推理对于大多数普通用户或开发者没有显著的使用必要，除非是特殊需求（例如强隐私需求等）。个人用户花大价钱购买设备单纯只是去推理本地 LLM 在现在看起来是不太明智的，当然如果是其他需求顺便推模型或者单纯太有钱买来玩玩那倒也没什么。即使非要谈本地推理，Mac 的应用场景也是较窄的，文章中写的已经听明白了。
文章还谈到了投机解码，这个确实很有意义，特别是对于生成内容主要是代码的情况，加速应该是相当明显（ cursor 的自动补全就用了），期待未来这方面的发展。
作为补充，看起来文章测 text generation 的时候只是用了 llama.cpp ，他的多卡实现应该还是 pipeline parallel ，有一些后端支持 tensor parallel ，多卡情况下单 batch 性能应该还能进一步提高（但对 PCIe 速度有更高要求），希望有相关测试。
先不谈高 batch （毕竟日常不常用），大多数人都没意识到 M 芯片 prefill 很慢，而这个在上下文长的情况下是挺致命的。而且其实 decode 速度也会受上下文长度影响，很多测试仅仅是在很短的 prompt 下去测生成，得到一个看起来挺好看的数字，然而实际使用中很多情况下根本不是这种场景。
个人观点是，当前，本地 LLM 推理对于大多数普通用户或开发者没有显著的使用必要，除非是特殊需求（例如强隐私需求等）。个人用户花大价钱购买设备单纯只是去推理本地 LLM 在现在看起来是不太明智的，当然如果是其他需求顺便推模型或者单纯太有钱买来玩玩那倒也没什么。即使非要谈本地推理，Mac 的应用场景也是较窄的，文章中写的已经听明白了。
文章还谈到了投机解码，这个确实很有意义，特别是对于生成内容主要是代码的情况，加速应该是相当明显（ cursor 的自动补全就用了），期待未来这方面的发展。
作为补充，看起来文章测 text generation 的时候只是用了 llama.cpp ，他的多卡实现应该还是 pipeline parallel ，有一些后端支持 tensor parallel ，多卡情况下单 batch 性能应该还能进一步提高（但对 PCIe 速度有更高要求），希望有相关测试。
28 天前 回复了 96 创建的主题 › 买买买 › 年经贴：今年 1111 你准备买/买了什么，给大伙抄抄作业 |
机械革命翼龙 15 Pro / 8845H + 4060
更换 96G D5 RAM / 2T(SD10) + 1T SSD(RC20 ，原有) / AX210 网卡 / 相变片
>>> 合计 6298
FiiO KA3 解码小尾巴 >>> 358
更换 96G D5 RAM / 2T(SD10) + 1T SSD(RC20 ，原有) / AX210 网卡 / 相变片
>>> 合计 6298
FiiO KA3 解码小尾巴 >>> 358
31 天前 回复了 wencan 创建的主题 › OpenAI › 如果要购买 openai 和 claude，有什么好推荐？ |
35 天前 回复了 neteroster 创建的主题 › 问与答 › 笔记本双通道内存有必要买套条吗 |
40 天前 回复了 babyedi31996 创建的主题 › 程序员 › 本地部署大语言模型哪家强? |
70B M3 Max 之前看的数据 tg 大概只有 4-5 TPS ，而 M4 Pro 内存带宽只有 270G （ M3 Max 300 或 400G ）。这还只是 tg ，你上下文长的话还要忍受特有的超级缓慢 pp ，建议先对速度有个概念。（ tg 指文本生成速度，pp 指提示处理速度）
现在这个时间，70B+ 的模型还是用在线 API 性价比高些，尽管有各种问题但好歹基本都能解决，本地花这么多钱最后还慢的要死。真要本地玩也不建议 Mac
现在这个时间，70B+ 的模型还是用在线 API 性价比高些，尽管有各种问题但好歹基本都能解决，本地花这么多钱最后还慢的要死。真要本地玩也不建议 Mac
Select Language