 |
fctenV2EX 第 7940 号会员，加入于 2011-04-13 23:42:32 +08:00 |
fcten.com
fcten
fcten 最近回复了
12 天前 回复了 hangbale 创建的主题 › 摄影 › 抛开焦段不谈，索尼 2450G 和 2070G 哪个画质更好 |
画质是最不重要的。近几年新出的原厂镜头画质都很好，绝大部分人肉眼区分不出来的水平。这两个镜头是光圈和焦段的取舍。
48 天前 回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机 |
@5sheep 没试过，不过应该能跑 4bit 量化版本（ ollama 默认）
我测试了 vllm 部署 Qwen2.5 72B 4bit 量化版本，限制 --max_model_len 8192 ，20 token/s
再大的模型 48G 就不够了，需要上双卡（或者用内存跑，会慢很多，不太可用的程度了）
我测试了 vllm 部署 Qwen2.5 72B 4bit 量化版本，限制 --max_model_len 8192 ，20 token/s
再大的模型 48G 就不够了，需要上双卡（或者用内存跑，会慢很多，不太可用的程度了）
48 天前 回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机 |
@tool2dx 发布的时候还挺心动的，但是对我来说不太合适。这个机器的使用场景是推理，我有训练的需求。
另外：
1. 128G 统一内存是 LPDDR5x ，带宽只有 273 GB/s 。按带宽来估计的话，它的单机推理性能应该不如 Mac Studio 。
2. 标称 1000 TOPS 算力是 FP4 ，FP8 、FP16 、FP32 算力有多少不太清楚，猜测相当于 4070 的水平吧
3. ARM 架构，软件生态兼容性肯定不如 x86 ，有折腾的成本
4. 价格和我的整机差不多了……
不过我买了一个 jetson orin nano super 玩
另外：
1. 128G 统一内存是 LPDDR5x ，带宽只有 273 GB/s 。按带宽来估计的话，它的单机推理性能应该不如 Mac Studio 。
2. 标称 1000 TOPS 算力是 FP4 ，FP8 、FP16 、FP32 算力有多少不太清楚，猜测相当于 4070 的水平吧
3. ARM 架构，软件生态兼容性肯定不如 x86 ，有折腾的成本
4. 价格和我的整机差不多了……
不过我买了一个 jetson orin nano super 玩
48 天前 回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机 |
@wyntalgeer 个人选 4090d 而没有选 4090 的原因：
1. 显存大小是刚需，算力不是。慢 11% 可以接受。
2. 4090 48g 比 4090d 48g 贵 4000~4500
3. 4090d 不能超频，都是二手核心可能会比 4090 风险小一些？当然也可能只是自我安慰 😂
1. 显存大小是刚需，算力不是。慢 11% 可以接受。
2. 4090 48g 比 4090d 48g 贵 4000~4500
3. 4090d 不能超频，都是二手核心可能会比 4090 风险小一些？当然也可能只是自我安慰 😂
48 天前 回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机 |
@wyntalgeer 4090d 只比 4090 低 11% 的算力
48 天前 回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机 |
48 天前 回复了 fcten 创建的主题 › Local LLM › 本地 AI 工作站装机 |
@wyntalgeer 帖子中已经写了，对 48G 显存没有强需求不建议上 4090 48G
49 天前 回复了 Geekerstar 创建的主题 › Redis › Redis 运行一段时间后报错导致挂掉，有什么办法解决呢？ |
显示 aof 损坏是 redis 挂了的结果不是原因吧
你找找挂掉时的日志，是不是 OOM 了
你找找挂掉时的日志，是不是 OOM 了
68 天前 回复了 s4fea0a8321 创建的主题 › 硬件 › 有没有一种方法在家里获得一个较为稳定的电力和网络来运行自己的服务器呢？ |
拉闸的目的是啥？省电？还是防止火灾？
把需要拉闸的电路单独接一路出来不就好了。我家冰箱的电就是单独的，虽然我出门从来不拉闸。
把需要拉闸的电路单独接一路出来不就好了。我家冰箱的电就是单独的，虽然我出门从来不拉闸。
74 天前 回复了 Leoking222 创建的主题 › 程序员 › 程序员装宽带有优惠？ |
我只知道电信安装费 100 ，老哥在哪办的这么贵。。
Select Language