zoozobib

zoozobib

V2EX member #86628, joined on 2014-12-14 16:10:35 +08:00
Today's activity rank 22485
zoozobib's recent replies
2 days ago
Replied to a topic by he123 电动汽车 关于买车
pass tsl ,pass 二线,其他各有优势
turboquant 、dflash 后的 395 更没优势了 , 吃的多和跑得快完全不是一个维度
@nidhogger pcie 35-38 左右的 token , --model ./google_gemma-4-31B-it-Q4_K_L.gguf --mmproj ./mmproj-gemma-4-31B.f16.gguf -ngl 99 --tensor-split 14,26 --ctx-size 204800 --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 --cache-ram 0 -np 1
@nidhogger 32g + x570e + [4080s(或 3090 nvlink) + 3090] + c2000 2t ; 如果双显卡是 nvlink ,性能会比我当前还好,我现在是跑 pcie
@viskem 配置不错,可以关注下 mlx + turboquant 的方案,现在玩家不少了
@viskem 没试过 27B 的 gemma4 , btw 有人觉得 qwen3.5 27b 很猛,我之前也用过一段时间,不过它性能一般且废话太多;另外,moe 和 dense 在复杂任务下还是有明显区别的,moe 我之前玩下来 还是可以的,不过上下文别太大,主打一个性能绝佳,跑跑 agent 任务还可以,开 reasoning 的情况下.
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   909 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 18ms · UTC 21:05 · PVG 05:05 · LAX 14:05 · JFK 17:05
♥ Do have faith in what you're doing.