beginor

毕业前就考过了网络工程师的路过，转眼 20 年了，一次也没用到过 😭

@yjhatfdu2 现在 llama.cpp 默认转出来的 gguf 就是 f32 ， 以前是 f16 。

@wsbqdyhm 不好意思， 我搞错了，ollama 也提供了[各种量化版本的 llama-3 模型]( https://ollama.com/library/llama3/tags)，q5_k_m 量化版本是这个 https://ollama.com/library/llama3:70b-instruct-q5_K_M , 你可以拉下来看看还能不能跑起来

然而 Firefox Safari 不支持 https://caniuse.com/mdn-api_subtlecrypto_derivekey_derivedkeyalgorithm_option_pbkdf2

@wsbqdyhm ollama 只提供了 q4_0 版本的 [llama3]( https://ollama.com/library/llama3)， 这个和原始模型相比，损失比较多，不推荐。

可以从 huggingface 直接下载 [meta/llama-3]( https://huggingface.co/meta-llama/Meta-Llama-3-70B-Instruct) 的原始模型，自己量化， 也可以下载 [已经转换好的 gguf 文件]( https://huggingface.co/MaziyarPanahi/Meta-Llama-3-70B-Instruct-GGUF)

一般推荐 q5_k_m 或 q4_k_m 版本的量化模型， 接近原始模型，如果配置够的话， 更建议运行 f16 版本模型 。

依据自己电脑的配置， 建议的优先级是：f32 > f16 > q5_k_m > q4_k_m > others .

另外我不玩 ollama ，ollama 虽然简单， 却隐藏了很多细节。 我玩的是 llama.cpp ， 可以体会到更多的技术细节。

模型需要的内存大小大概就是模型文件的大小，量内存大小而行。64G 的 M1 Max 最多能分出 48G 内存来跑模型， 当然其它应用还要占用一些内存， 所以只能勉强运行 q4_k_m 的 70b 模型。

@kenvix 也有影响的，70b 的话 q5_k_m 跑不动， 提示超内存，q4_k_m 勉强能跑起来

64G 跑 70b 的 llama3 ，应该是 q4_k_m 量化版本的吧，我跑 q5_k_m 版本的会报错的？

确实，13b 以下的都只能称之为小模型，用于学习其原理或者娱乐一下还可以。

真正能用的得 30b 以上的模型，最好是非量化版本的，然而 30b 以上的模型又不是一般电脑能跑得动的。

罗技 MX Anywhere 3 ， 不过我运气比较差，已经换了两次微动了 😔