请教大模型微调相关的问题

24 天前
 kxg3030

1.我的需求:

每天我会收集一些和股票相关的新闻,这些新闻有些是重要的(比如:xx 公司开发了新药),其他大部分都没什么价值,由于新闻太多了,看不过来,而这个又比较依赖人工的判断,不能简单的通过关键字去匹配,所以想通过微调大模型来实现,得出类似这样的结构:

{ keyword:"创新药", analysis:"新药可以带动市场情绪", label:"对股票利好" }

2.我的问题:

针对上面的问题,应该是属于哪一类任务呢,简单的文本分类不太满足,我对大模型不是很熟悉,但是常见的微调,rag,agent 都简单的玩过,请教各位大佬使用哪个模型,哪种数据结构来微调比较好(我咨询过阿里的社区,建议是使用问答来做,而不是分类,有点迷惑了),有这方面实际操作的建议吗

1573 次点击
所在节点    程序员
12 条回复
fatyu
24 天前
可以批量采集数据, 如果文本过多可以使用支持长上下文的大模型进行推理。
fatyu
24 天前
设定提示词, 角色、任务、抽取数据规则、结果格式。
fatyu
24 天前
## 角色设定
你是一名资深股票分析师,需从新闻中提取投资信号。

## 任务步骤
1. **提取关键词**:找出核心实体(公司/技术/政策)。
2. **影响分析**:分三部分:
- 短期情绪影响
- 中长期基本面影响
- 产业链扩散效应
3. **标签分类**:按 5 级体系标注( S/A/B/C/D 级或利空)。

## 输出格式(强制 JSON )
{
"keyword": str,
"analysis": str, # 限 100 字内
"label": "S 级利好" | "A 级利好" | ... | "利空"
}

## 示例参考
新闻:”国务院印发《低空经济发展规划》”
输出:{"keyword":"低空经济","analysis":"国家级战略驱动,基建+运营企业优先受益","label":"S 级利好"}--------------------------------一下是文章内容,xxxxxxxxxxxxxxxxxx----------------------------帮我按照上面要求输出结果。
litchinn
24 天前
微调不就是要数据集吗,https://modelscope.cn/datasets
这上面找找,或者自己做,自己做有点难
coefu
24 天前
这就想把最难的问题空手套白狼啊?😀
op351
24 天前
借楼问问,微调( Fine-tuning )有啥入门的教程或者例子吗?想动手做一做。
kxg3030
24 天前
@op351 如果你不会的话 可以不回答的
kxg3030
24 天前
@fatyu 这个很接近我之前参考的一个提示词 意思微调是不考虑吗
hdqzzz
23 天前
这个任务提示词就能搞定了
liant
23 天前
帮我分析一下京东还能不能涨了
fatyu
22 天前
@kxg3030 #8 针对您提的问题,我的理解是文本分析,抽取结构化数据,提示词大概率是可以实现的,关键问题在于 analysis 和 label 的判断规则梳理。 如果有高质量数据集可以做微调,用大厂的云资源选择一个基模( Qwen-7B )进行训练(训练后,模型还要部署,这些都是成本,我觉得暂时没必要😊)。
kxg3030
22 天前
@fatyu 是的 成本比较高 我试过使用提示词去做 对于我主观认为利空或者中性的消息 提示词训练后的 ai 也会返回利好 不太理想 而且 fewshot 能带的示例太少了 没法让 ai 全部学习

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1153172

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX