公司提供一个机会去做 AI 相关的工作，要不要试试

[CaptainD]

近期领导找聊天，我们内部在做一个 LLM 相关的项目，想让我过去做，说是可以提供一些显卡和一些钱组工作站在家里整这件事（家宽比较方便），估计是 4090 这个级别的卡外加几千块钱，每月补贴电费网费这样

背景

• 几个人的小作坊公司
• 我是数据工程师，比较偏后端那种
• 我对训练模型了解不多，只是自己用 langchain 做过小 demo ，私有部署过开源模型

可能用的技术

• 这个项目是一个自动化的任务，会大量调用 LLM 获得一些结果，后续可能会集成 fastapi 做成服务这样
• 我看了一些博文，我需要做的部分大概是 RAG + 指令式微调 + 单任务微调（我不太懂，可能不准确）

我的想法

这算一个研究中的项目，主要是利用 LLM 做一个工程上的东西，我还比较感兴趣，而且老板说每周大概可以抽一天时间居家办公做这件事，感觉也挺不错的

[locoz]

@CaptainD #5 公司网络差可以改公司网络，不应该存在必须要你的家宽来解决问题的必要啊，尤其是都小作坊公司了，拉个好点的宽带也不难吧？

[Eafon]

做老板都不知道自己到底想要什么，你就别瞎掺和了，除非这件事是你特别感兴趣，那玩玩无妨。

[beyondsoft]

不要自己搭建了, 单卡 4090 没有什么算力, 微调个 30b 都难. 建议去用租云 GPU, A100 也不是事,还便宜

[kuroissimo]

13B 的模型加载起来都要 27G... 单卡 4090 没有用的

[peezz]

几个人的小作坊公司，比互联网工资低很多，就是要个人来干杂活，让你在家里整，就是有备无患，云上被端了，你家里还有备份。