大模型微调上手项目之—chat嬛嬛

type

status

date

slug

summary

一、前言

在了解完相关的大模型的概念之后，想找一个通俗易懂的项目上手熟悉一下。在这里找到一个优秀的大模型上手项目—chat嬛嬛（在此感谢DataWhale团队的成员做出的优秀项目）。本文都是基于此项目的readme.md里的步骤记录实验过程的。

二、准备过程

1、环境准备

在这里默认大家都是会安装Pytorch等内容的

只需要将相应的版本做一个要求罢了

---------------

ubuntu 22.04

python 3.12

cuda 12.1

pytorch 2.3.0

（更高版本也可）

---------------

pip install modelscope==1.16.1

pip install transformers==4.43.1

pip install accelerate==0.32.1

pip install peft==0.11.1

pip install datasets==2.20.0

2、数据准备

因为是对大模型进行微调，所以在数据上一定是要对准模板。

我们需要将一大段文字，转化成我们想要的格式和形式。在本测试例中，因为是chat类型的对话系统，所以我们需要有对话的形式。所以在这里我们需要有以下几个步骤：①从原始的数据中提取出角色和对话。②筛选出我们需要关注的角色（因为我们主要关注的是甄嬛，所以只需要关注甄嬛和其对话的角色）。③将对话的格式转变成我们想要的格式。

在官方项目中使用了一个extract-dialogue的项目，用于提取文章对话里面相关的内容。（但是我没有运行起来，因为里面openai的那个模块是把我墙了的），所以我只能使用处理好的json文件。

格式为这样。

先说一下为什么要用这样的格式，instruction是用户指令（是唯一必须的组成部分），告诉模型其需要完成的任务或者回答什么问题；input是用户输入（非必要输入），是完成用户指令所必须的输入内容；output是模型应该给出的输出（这个也是非必要的输出），它只是帮助模型生成更符合用户需求的输出。(但是看教程里面说是可以将这一步增加数据增强的环节，使用RAG生成一些固定风格的对话数据，但是这一步我还没有探索实现，等着后面进行实验。)