分享最近做的一个命令行小玩具: 用 LLM 做命令生成

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

最近感觉 LLM 和 RAG (Retrieval Augmented Generation) 的应用特别的火，特别是在北美湾区这里，就想说闲下来研究一下做点什么。以练手的心态做了个开源小玩具: Termax (Github 链接)

一开始主要的功能就是能够让程序员在命令行里面使用自然语言生成想要的命令。但是考虑到大家使用的环境不一样，所以如果直接做命令生成的话效果可能不好（比如 Linux 生成了 powershell 命令），所以想到可以插入一些用户的环境数据去改善大模型的输出。

另外一种使用 RAG 的方式（我觉得很多 LLM agent 都在使用类似的思路），就是把“成功的”输出样本缓存下来给之后的模型作为参考 -- 这样大模型就会变得更加贴合用户的使用习惯。Termax 这边是会把没有报错且被用户成功运行的输出缓存下来，让之后的请求去参考，事实证明确实会让程序效果好很多。

这是一些小 demo

BTW ，作为一个很懒的人……我感觉大模型实际上可以预测我下一个命令想要做什么，比如我经常需要重复 git add ., git commit - m ..., 和 git push 这么一系列的操作。我就在想：能不能让模型帮我预测一下我的意图，然后猜出我要做什么（类似于结合上下文的命令提示）:

我在 Termax 里面做了个小功能，但是有的时候猜的不是很准 hhh