本地跑大模型代码助手还挺好用

[songray]

用 ollama 跑的 llama3 8b 用来对话，starcode2 3b 用来补全，大概有 copilot 7 成的体验。

m2 mac mini 同时运行两个模型没啥压力。

小内存核显本也可以白嫖 cloudflare worker ai 的免费额度。

Blog: https://ray-d-song.com/zh-cn/blog/continue-free-ai-code-assistant/

[songray]

https://imgur.com/gallery/llama3-wKjlZmB

说实话，我感觉比 gpt3.5 聪明

[Mianmiss]

和通义灵马 比呢？

[songray]

@Mianmiss 英文问答的话比通义好用，中文不如

[tabc2tgacd]

以前试过在自己本地跑，但是效果很差。等空下了试试你推荐的这个

[sampeng]

mac studio 。试了试 starcode2 7b 。好像效果还可以。对话就算了。。对话一个两个问题其实体现不出来，要能解决问题才是生产力。
其实如果有能和 copliot 打的就还可以了

[tabc2tgacd]

试了下，感觉效果不咋的，暂时还是用阿里的通义灵码了。