A 卡炼丹开始好起来了？

[czfy]

MLC-LLM 包可以利用 AMD 的 ROCm 进行大语言模型的编译及推理。性能方面，在 Llama2-7B/13B 上，7900 XTX 做推理可以达到 80% 4090 的水平





中文简介 https://zhuanlan.zhihu.com/p/649088095

英文原文 https://blog.mlc.ai/2023/08/09/Making-AMD-GPUs-competitive-for-LLM-inference

Github https://github.com/mlc-ai/mlc-llm/

[qq565425677]

从防垄断角度考虑非常不错，不过具体到个人使用还是先让别人把坑都踩一遍吧

[chhtdd]

CUDA 的坑踩得够多了，不想再踩一遍 opencl 的了

[czfy]

@chhtdd 我以为 CUDA 这么多年已经很成熟了，没想到还是有坑？

[chhtdd]

@czfy 都有坑，不同平台，不同版本，坑多了去了