如何进行大模型训练和微调?(实战)

1、在项目中,如果prompt和function calling足够好,尽量不要微调,节约成本。

以下是针对function calling的slot,评估准确率(识别准确度)、召回率(全面率),F1值。

从中可以看出,训练微调并不能比function calling增强太多。

如何进行大模型训练和微调?(实战)

2、大模型训练和微调工具

https://huggingface.co/ 

分类器示例:https://huggingface.co/datasets/cornell-movie-review-data/rotten_tomatoes 

3、模型训练数据,以开源数据库为例,包含酒店,景点,餐馆等信息。

https://github.com/thu-coai/CrossWOZ/ 

酒店数据库

https://github.com/thu-coai/CrossWOZ/blob/master/data/crosswoz/database/hotel_db.json 

可以通过训练实现下面的对话机器人。

如何进行大模型训练和微调?(实战)

4.数据增强,可以用chatgpt对以上数据库改写,得到增强数据库,更加口语化。

如何进行大模型训练和微调?(实战)

5、模型训练环境

AutoDL的4090云GPU,显存大于20GB

https://www.autodl.com/home 

如何进行大模型训练和微调?(实战)

6、训练、微调代码示例

https://github.com/agiclass/fine-tuning-lab/tree/v4

https://github.com/agiclass/fine-tuning-lab/blob/main/web_demo/web_demo.py 

7、连接租用的容器后即可进行训练、微调。

如何进行大模型训练和微调?(实战)

企业落地内容创作新闻资讯

给孩子讲讲AI:无数好答案都在等你的好问题

2026-4-4 7:10:36

前沿技术提示词技巧新闻资讯

为什么你编写不出优秀的ChatGPT提示词?

2026-4-4 7:34:05

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
购物车
优惠劵
搜索