这是一个创建于 415 天前的主题，其中的信息可能已经有所发展或是发生改变。
使用 LoRA 进行微调
大约 1W 条微调数据，大概是四个维度各十几种排列组合来的
学习率：1e-6
训练轮数：10
学习率调节器：Inverse Square Root
学习的参数大概是这么多
trainable params: 20971520 || all params: 8051232768 || trainable%: 0.2605
图像看着倒还不错
但实际生成的 SQL 效果不升反降
求助这可能是什么原因啊？
大约 1W 条微调数据，大概是四个维度各十几种排列组合来的
学习率：1e-6
训练轮数：10
学习率调节器：Inverse Square Root
学习的参数大概是这么多
trainable params: 20971520 || all params: 8051232768 || trainable%: 0.2605
图像看着倒还不错
但实际生成的 SQL 效果不升反降
求助这可能是什么原因啊？
 |
1
chaucerling 2024-09-30 09:27:58 +08:00
轮数太多过拟合了吧，取 1000 的 checkpoint 试试效果
|
 |
2
Volekingsg 2024-09-30 13:18:10 +08:00
干脆直接整个 online evaluator 看看训练过程中的效果
|
 |
3
cowcomic OP |
|
4
Volekingsg 2024-10-01 19:48:27 +08:00
@cowcomic #3 我都是基于 Lightning 框架自己写的，LLaMA-Factory 不确定怎么加
|
|
5
cowcomic OP @Volekingsg 感谢，我去查查
|
|
6
Volekingsg 2024-10-02 17:35:23 +08:00
@cowcomic #5 就是自己加个 Callback 之类的东西，每个 epoch 或者多少次 evaluate 一次 text2sql 的性能看看
|
Select Language