mushuanl 最近的时间轴更新 mushuanl 最近的时间轴更新 |
mushuanlV2EX 第 183086 号会员，加入于 2016-07-21 18:46:44 +08:00 |
mushuanl 最近回复了
68 天前 回复了 Tstxxy 创建的主题 › 程序员 › 普通人(普通程序员)如何抓住生成式 AI 的风口？ |
连接 gpt4 - 教育
本地模型 - 情感聊天
本地模型 - 情感聊天
83 天前 回复了 sunmacarenas 创建的主题 › NVIDIA › Nvidia Jetson AGX Ori 开发者套件 |
全尺寸模型，也就是 gpu 内存要求很大微调成本很高。一般就租云服务器去练习。
83 天前 回复了 sunmacarenas 创建的主题 › NVIDIA › Nvidia Jetson AGX Ori 开发者套件 |
企业微调要求全尺寸 nv gpu ，个人玩可以用量化模型。另外现在企业微调的效果并不是很好,包括 rag(提供上下文进行推理），所以现在大模型开始有点冷了，就看看谷歌出的模型如何了。
83 天前 回复了 sunmacarenas 创建的主题 › NVIDIA › Nvidia Jetson AGX Ori 开发者套件 |
现在开源大模型除了企业研究外其他普通人一般就用来生成 s 文和 s 聊天，功能太弱，最大的那个 180b 刚出，看看有没人调教，我体验过基本超过 gpt3.5 但是没到 gpt4, 不知道是否有人能发挥出它的性能
83 天前 回复了 sunmacarenas 创建的主题 › NVIDIA › Nvidia Jetson AGX Ori 开发者套件 |
要跑 llama213b 那么 13900+ddr5 也够了, llama.cpp 大概 1 秒 5token ，跟得上自己的速度。但是关键是现在没有 ai 应用场景，也就是除了 gpt4 场景外 其他的比较弱，如果你不喜欢玩 roleplay ，并且没有自己的 ai 想法，那么可能过段新鲜感时间后基本就不玩了
83 天前 回复了 sunmacarenas 创建的主题 › NVIDIA › Nvidia Jetson AGX Ori 开发者套件 |
计算力上去后大模型主要跟内存速度有关，要跑大模型并且想简单，还是建议 mac + llama.cpp, 800gb/s 速度可以直接跑 falcon 180b (得 192g 内存版本的) 个人觉得这个模型虽然微调难度大，但微调结果超过 gpt3.5
97 天前 回复了 aldehyde 创建的主题 › 程序员 › 想接触硬件开发，从哪入手比较合适？ |
硬件学习曲线高试错成本高，都找科班出身的
102 天前 回复了 yhm2046 创建的主题 › 程序员 › 目前有什么开源的语音转文字准确率高的？ |
拿最大的那个模型，不要量化，我前面直接 cpu 转的效果不错
121 天前 回复了 Roger1007380462 创建的主题 › 程序员 › 请教部署一个大模型的成本大概是多少呢？ |
有 a100 之类的卡吗？搞上 5 个以上，然后上 vllm, 但是 10b 以下可用性太差，能满足功能要求吗？一般都是 13b 起步，如果 33b 发布那么更好建议是 33b
200 天前 回复了 est 创建的主题 › 程序员 › 最近裁员有感：互联网行业的待遇来源 |
互联网挣钱的原理在于它与工业不同：
1. 工业贵的是机器，人是辅助机器的，所以重点是维护和升级机器，工人收入低，管理人员能够组织工人更好的利用机器价格会更高
2. 工业是生产实体的，需要耗费生产成本运输成本宣传成本等才能得到一点毛利率，在不知道市场真正需求容量前不敢大规模投入来摊薄成本来提高收入
互联网是反过来的，所以看互联网收入时不能把这些互联网的生产者跟工业时代的工人收入做对比
1. 工业贵的是机器，人是辅助机器的，所以重点是维护和升级机器，工人收入低，管理人员能够组织工人更好的利用机器价格会更高
2. 工业是生产实体的，需要耗费生产成本运输成本宣传成本等才能得到一点毛利率，在不知道市场真正需求容量前不敢大规模投入来摊薄成本来提高收入
互联网是反过来的，所以看互联网收入时不能把这些互联网的生产者跟工业时代的工人收入做对比
Select Language