一、数据集下载
1.1 获取 YelpReviewFull 数据集
1.2 数据集结构与实例
数据集包含两个主要字段：
-
text: 评论的文本内容。 -
label: 评论的情感标签，范围从 1 到 5。
{'label': 0,'text': 'I got 'new' tires from them and within two weeks got a flat...'}
1.3 数据拆分
1.4 下载数据集代码
from datasets import load_dataset# 下载 YelpReviewFull 数据集dataset = load_dataset("yelp_review_full")
二、数据预处理
2.1 数据预处理步骤
from transformers import AutoTokenizer# 加载预训练的 BERT Tokenizertokenizer = AutoTokenizer.from_pretrained("bert-base-cased")def tokenize_function(examples):"""使用 Tokenizer 对文本进行编码，并进行填充和截断"""return tokenizer(examples["text"], padding="max_length", truncation=True)# 对数据集进行预处理tokenized_datasets = dataset.map(tokenize_function, batched=True)
2.2 数据抽样
# 从数据集中抽样 1000 个训练样本small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))# 从数据集中抽样 1000 个测试样本small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))
三、训练评估指标设置
3.1 微调训练配置
from transformers import AutoModelForSequenceClassification# 加载 BERT 模型，并设置标签数量为 5（情感评分从 1 到 5）model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)
3.2 训练超参数配置（TrainingArguments）
from transformers import TrainingArgumentsmodel_dir = "models/bert-base-cased-finetune-yelp"# 配置训练参数training_args = TrainingArguments(output_dir=model_dir,# 模型保存路径per_device_train_batch_size=16,# 每个设备的训练批次大小num_train_epochs=5,# 训练轮数logging_steps=100# 每 100 步记录一次日志)
四、训练器基本介绍
4.1 训练指标评估
import numpy as npimport evaluate# 加载准确率指标metric = evaluate.load("accuracy")def compute_metrics(eval_pred):"""计算准确率"""logits, labels = eval_predpredictions = np.argmax(logits, axis=-1)# 将 logits 转换为预测值return metric.compute(predictions=predictions, references=labels)
4.2 训练器（Trainer）
from transformers import Trainer# 实例化 Trainertrainer = Trainer(model=model,args=training_args,train_dataset=small_train_dataset,# 训练数据集eval_dataset=small_eval_dataset,# 验证数据集compute_metrics=compute_metrics # 计算指标的函数)
五、实战训练
5.1 训练过程中的指标监控
# 更新训练参数配置training_args = TrainingArguments(output_dir=model_dir,evaluation_strategy="epoch",# 每个 epoch 结束时进行评估per_device_train_batch_size=16,num_train_epochs=3,logging_steps=30# 每 30 步记录一次日志)
5.2 开始训练
# 开始训练trainer.train()
5.3 使用 nvidia-smi 监控 GPU 使用
在训练过程中，使用 nvidia-smi 命令监控 GPU 的使用情况，以确保训练过程的高效进行：
watch -n 1 nvidia-smi
六、模型保存
6.1 保存模型和训练状态
# 保存训练后的模型trainer.save_model(model_dir)# 保存训练状态trainer.save_state()
七、完整代码汇总
# 导入必要的库from datasets import load_datasetfrom transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainerimport numpy as npimport evaluate# 数据集下载dataset = load_dataset("yelp_review_full")# 数据预处理tokenizer = AutoTokenizer.from_pretrained("bert-base-cased")def tokenize_function(examples):"""使用 Tokenizer 对文本进行编码，并进行填充和截断"""return tokenizer(examples["text"], padding="max_length", truncation=True)tokenized_datasets = dataset.map(tokenize_function, batched=True)# 数据抽样small_train_dataset = tokenized_datasets["train"].shuffle(seed=42).select(range(1000))small_eval_dataset = tokenized_datasets["test"].shuffle(seed=42).select(range(1000))# 模型加载与训练配置model = AutoModelForSequenceClassification.from_pretrained("bert-base-cased", num_labels=5)model_dir = "models/bert-base-cased-finetune-yelp"training_args = TrainingArguments(output_dir=model_dir,per_device_train_batch_size=16,num_train_epochs=5,logging_steps=100)# 指标评估metric = evaluate.load("accuracy")def compute_metrics(eval_pred):"""计算准确率"""logits, labels = eval_predpredictions = np.argmax(logits, axis=-1)return metric.compute(predictions=predictions, references=labels)# 实例化 Trainertrainer = Trainer(model=model,args=training_args,train_dataset=small_train_dataset,eval_dataset=small_eval_dataset,compute_metrics=compute_metrics)# 开始训练trainer.train()# 监控 GPU 使用# 使用命令行工具: watch -n 1 nvidia-smi# 保存模型和训练状态trainer.save_model(model_dir)trainer.save_state()
八、总结
