找 LLM 或 AI 职业或业余玩家一起折腾个商业项目

[bigbear2046]

我关注 AI 的发展也有段时间了，一直在考虑做个 AI 应用但同时担心其会被 AI 自身的发展所取代 反复权衡，考虑定位是：做个靠谱的 AI 律师 有折腾 LLM ，AI 的朋友有兴趣交流的话， 我们的主页:atitlab.carrd.co wx：b25lMTkxOTU0

[imes]

最近几个月已经在 v2 看到很多次要自己做 llm 的，都不知道这是个劳动密集型产业吗？能给每个人拿出 8 张 a100 卡吗？能搞到足够多的法律文书吗？能找到律师给数据做 label 吗？技术细节多一点的：用什么架构？自己写 transformer 还是用 llama2 ？谁能判断 llm 输出的质量？

[laipidov]

@imes 这个不一定是要动模型参数的，法律领域也有很多办法解决数据问题：1.法考答案 2.裁判文书（以前的留存应该有的） 3.gpt4 生成（稍微花点钱） 只是知识注入和 ai agent 这块的话，有推理模型用的卡即可（显存 40-80g ）

我觉得真正难的，是把现实中的工作拆解成 llm 可以完成的形式，因为现实世界中很多问题，仅通过和 llm 的一问一答是无法解决的，需要把问题拆解出来，形成一套 work flow 然后每一环通过 llm 去解决，最终串联起来，这个是我认为最有价值，也是最体现行业经验+llm 结合的地方。

而单纯的优化 llm ，解决其幻觉、条理等问题，或者做做 sft dpo 之类的，其实开源的模型如 qwen 、mixtral 已经可以做的不错了，就算是动参数，用 qlora 的方式也可以低资源训练，这块顶多是慢点，但是 2-4 张 a100 足以支撑很多试验了。

所以核心还是如何把行业里的经验和 llm 更好的结合，去解决更加复杂（一问一答解决不了的）的问题，单纯的优化参数和跑 benchmark ，你觉得你干的过大厂吗？

[laipidov]

持续观察楼主的项目，加油加油

[bigbear2046]

没想过要自己做 LLM ，这不是小玩家考虑的事，我们考虑的是怎么把业务流程标准化

[winglight2016]

先说说自己能投入什么，只是个 idea ，我连打开链接的动机都没有

[bigbear2046]

@winglight2016 千万别累着自己去勉强打开了一个链接...

[bigbear2046]

@laipidov 法律其实有蛮多数据的，想从一个细分的法律领域诸如劳动法开始尝试，幻觉问题依然严重，目前还没考虑过自己训练模型，还是想先取巧走个 rag ，但是也在关注低参数可本地运行的 LLM

[timeance]

持续观察楼主的项目，很棒的人类观察样本

建议 OP 开头加一句“这是能改变世界的项目”，然后不用说那么多，丢个链接就好

[Leon1234567]

这种事情你在 v2 聊是扯淡的，直接花点小钱约几个律所合伙人（他们既知道自己愿意为什么花钱又知道打官司的人愿意为什么花钱）坐下来谈，看看能不能谈出付钱（哪怕有意愿）的东西才是正道。偏 B2B 的东西最怕就是自己和狐朋狗友琢磨各种“好思路”&“好想法”，因为这块最重要的既不是 idea 也不是现代技术落地，而是对方是不是觉得值得付钱。大部分行业连各方面自动化这种看似简单的事都做不到，因为对甲方来说，起码暂时尚无花钱的意向。

[laipidov]

@bigbear2046 实话说法律领域不是很看好，通用 llm 的大厂做垂域 llm ，首选的就是法律、金融、医疗，这三个行业足够大，数据足够多，落地场景丰富，你要是做法律很容易和大厂撞车，除非能满足律所的一些定制化需求，这个确实跟上面的老哥们说的一样，要去找律师坐下来谈谈。rag 的话，很多人都能做。

[TheWalkingDead]

“靠谱的 AI 律师”
要是好做的话，早就有头部企业了，还能轮到 2024 年吗。

[Betsy]

https://www.robinai.com/
这个？

[chinaqzxh]

建议你再细分下，这个方向太大了，你不懂法律，没有优势，做的人也比较多

[bigbear2046]

@timeance 为啥要用宏大来吸引人，阿拉只想做小

[bigbear2046]

@chinaqzxh 落地必然细分，不会做整部刑法，而是某个罪名

[bigbear2046]

@laipidov 只对 2C 感兴趣：）

[bigbear2046]

@Betsy 这是一个细分，国外法律和国内有很大不同，侧重点不太一样

[bigbear2046]

期待看到实现路径的讨论 ing

[monkeyk]

AI 相关的落地商业化，做 2B 方向的依旧很困难；之前参加过钉钉的一个 AI 分享活动，他们总结的比较到位，主要有 2 点：
1. AI 拉低了 DEMO 门槛，但提升了落地难度。
2. 时灵时不灵，是当前落地最大的障碍。

[bigbear2046]

@TheWalkingDead 国外有很多细分法律 ai 独角兽了，这行是不会有头部企业一统江湖的