409 lines
10 KiB
Markdown
409 lines
10 KiB
Markdown
# LLM微调实验完整记录2 - 从8B到云端的进化
|
||
|
||
## 📅 2025年8月22日 - 征服8B模型与云端加速
|
||
|
||
### 第一阶段：分析1.5B问题，决定升级8B（00:00-01:00）
|
||
|
||
#### 1. 1.5B模型问题复盘
|
||
**时间**：00:00
|
||
**发现的问题案例**：
|
||
```
|
||
User: 讲一个关于里根的
|
||
Assistant: 有人问'里根同志为什么总捂胸口？'里根说'我怕有人偷我的党徽。'
|
||
```
|
||
|
||
**问题分析**：
|
||
- 把里根和勃列日涅夫的笑话混合了
|
||
- 不理解政治立场差异
|
||
- 纯粹的模式匹配，没有语义理解
|
||
|
||
**根源**：
|
||
- 1.5B参数太少，容易过拟合
|
||
- 训练数据中有：
|
||
- "关于克里姆林宫的苏联笑话" → 里根下台
|
||
- "勃列日涅夫同志为什么总捂胸口" → 党徽
|
||
- 模型把这两个随机组合了
|
||
|
||
#### 2. 搜索和选择Qwen3-8B
|
||
**搜索过程**：
|
||
- 查询Qwen3最新信息
|
||
- 确认8B版本已发布（2024年发布）
|
||
- 性能对比：Qwen3-8B ≈ Qwen2.5-14B
|
||
|
||
**关键参数**：
|
||
- 参数量：8.2B（实际6.95B非嵌入参数）
|
||
- 上下文：32K原生，131K with YaRN
|
||
- 特性：thinking mode切换
|
||
- 显存需求：4bit量化约4-5GB
|
||
|
||
---
|
||
|
||
### 第二阶段：本地下载Qwen3-8B的艰难历程（01:00-04:00）
|
||
|
||
#### 3. Python环境冲突
|
||
**时间**：01:00
|
||
**错误**：
|
||
```
|
||
OSError: [WinError 126] 找不到指定的模块。
|
||
Error loading "torch\lib\fbgemm.dll"
|
||
```
|
||
|
||
**排查过程**：
|
||
1. 尝试安装VC++ Redistributable
|
||
2. 重装PyTorch
|
||
3. 发现是Python 3.12兼容性问题
|
||
4. **解决**：回到虚拟环境
|
||
```bash
|
||
cd F:\微调实验\llamafactory
|
||
venv\Scripts\activate
|
||
python -c "import torch; print(torch.__version__)"
|
||
# 输出：2.5.1+cu121
|
||
```
|
||
|
||
#### 4. ModelScope下载踩坑
|
||
**时间**：01:30-03:30
|
||
|
||
**第一次尝试**：
|
||
```python
|
||
from modelscope import snapshot_download
|
||
model_dir = snapshot_download('Qwen/Qwen3-8B', cache_dir='./models')
|
||
```
|
||
|
||
**问题1：网络中断**
|
||
- 下载2小时后网断
|
||
- 进度条卡死
|
||
- **发现**：ModelScope支持断点续传
|
||
|
||
**问题2：文件完整性校验失败**
|
||
```
|
||
FileIntegrityError: File model-00001-of-00005.safetensors
|
||
expected sha256: 31d6a825...
|
||
actual: caf5148b...
|
||
```
|
||
- 尝试删除损坏文件重下
|
||
- 又失败，sha256又不同
|
||
|
||
**改用HuggingFace镜像**：
|
||
```python
|
||
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
|
||
from huggingface_hub import snapshot_download
|
||
|
||
model_dir = snapshot_download(
|
||
"Qwen/Qwen3-8B",
|
||
local_dir="./models/Qwen3-8B",
|
||
local_dir_use_symlinks=False,
|
||
resume_download=True,
|
||
max_workers=1 # 单线程更稳定
|
||
)
|
||
```
|
||
- **终于成功**：04:00下载完成
|
||
|
||
---
|
||
|
||
### 第三阶段：本地8B模型训练（04:00-07:00）
|
||
|
||
#### 5. 第一次8B SFT训练（失败）
|
||
**配置**：`qwen3_8b_sft.yaml`
|
||
```yaml
|
||
model_name_or_path: ./models/Qwen3-8B
|
||
stage: sft
|
||
dataset: sft_complete_v3
|
||
num_train_epochs: 10
|
||
lora_rank: 32
|
||
quantization_bit: 4
|
||
per_device_train_batch_size: 1
|
||
gradient_accumulation_steps: 4
|
||
```
|
||
|
||
**训练结果**：
|
||
```
|
||
train_loss = 1.6808
|
||
train_runtime = 0:41:43.51
|
||
```
|
||
- Loss太高，明显没学好
|
||
- 测试发现讲的都是杂糅版笑话
|
||
|
||
#### 6. 第二次8B SFT训练（成功）
|
||
**时间**：01:00-03:30
|
||
**调整配置**：`qwen3_8b_sft_v2.yaml`
|
||
```yaml
|
||
num_train_epochs: 30 # 10→30
|
||
learning_rate: 3e-4 # 1e-4→3e-4
|
||
lora_rank: 64 # 32→64
|
||
lora_alpha: 32 # 16→32
|
||
warmup_ratio: 0.1
|
||
gradient_checkpointing: true
|
||
```
|
||
|
||
**爆显存问题**：
|
||
- 显存占用7.7GB/8GB
|
||
- 使用0.7GB共享内存
|
||
- 速度：15.56s/iteration
|
||
|
||
**训练结果**（03:30完成）：
|
||
```
|
||
train_loss = 0.3936
|
||
train_runtime = 2:25:14.51
|
||
```
|
||
- Loss降到合理范围
|
||
- 测试效果很好，能准确复述笑话
|
||
|
||
#### 7. DPO训练爆显存
|
||
**配置调整历程**：
|
||
```yaml
|
||
# 第一次：爆显存
|
||
cutoff_len: 2048
|
||
lora_rank: 32
|
||
|
||
# 第二次：还是爆
|
||
cutoff_len: 1024
|
||
lora_rank: 16
|
||
|
||
# 第三次：极限配置
|
||
cutoff_len: 256
|
||
lora_rank: 8
|
||
lora_alpha: 4
|
||
```
|
||
|
||
**最终能跑的配置**：
|
||
- 40/200步，30-60秒/步
|
||
- 爆4GB共享内存
|
||
- 预计2小时完成
|
||
|
||
---
|
||
|
||
### 第四阶段：转战AutoDL云端（16:00-18:00）
|
||
|
||
#### 8. AutoDL配置选择
|
||
**时间**：16:00
|
||
**选择困境**：
|
||
- 5090需要CUDA 12.8（镜像不支持）
|
||
- 4090被租完
|
||
- **最终选择**：4090D（1.88元/小时）
|
||
|
||
**镜像选择**：
|
||
- 社区镜像：LLaMA Factory v2（4月1日版）
|
||
- PyTorch 2.1.0 + CUDA 12.1
|
||
|
||
#### 9. 环境配置踩坑
|
||
|
||
**踩坑1：找不到LLaMA Factory**
|
||
```bash
|
||
find / -name "llamafactory*" 2>/dev/null
|
||
# 找到：/root/LLaMA-Factory
|
||
```
|
||
|
||
**踩坑2：Transformers版本地狱**
|
||
```
|
||
ValueError: model type `qwen3` but Transformers does not recognize
|
||
```
|
||
- 尝试升级transformers → 版本太新
|
||
- 尝试降级 → Qwen3不支持
|
||
- **关键发现**：忘了用虚拟环境！
|
||
|
||
**踩坑3：存储空间爆满**
|
||
```
|
||
RuntimeError: No space left on device (os error 28)
|
||
df -h
|
||
# 系统盘30GB满了，数据盘50GB空着
|
||
```
|
||
**解决**：
|
||
```bash
|
||
mv /root/LLaMA-Factory /root/autodl-tmp/
|
||
ln -s /root/autodl-tmp/LLaMA-Factory /root/LLaMA-Factory
|
||
```
|
||
|
||
#### 10. 虚拟环境解决版本问题
|
||
**创建虚拟环境**：
|
||
```bash
|
||
cd /root/autodl-tmp/LLaMA-Factory
|
||
python -m venv qwen3_env
|
||
source qwen3_env/bin/activate
|
||
pip install transformers==4.51.0
|
||
pip install -e ".[torch,metrics,bitsandbytes]"
|
||
```
|
||
- **终于成功识别Qwen3！**
|
||
|
||
---
|
||
|
||
### 第五阶段：云端高速训练（17:00-18:00）
|
||
|
||
#### 11. SFT训练（飞速）
|
||
**配置优化**（利用24GB显存）：
|
||
```yaml
|
||
per_device_train_batch_size: 4 # 1→4
|
||
gradient_accumulation_steps: 2 # 4→2
|
||
# 不需要gradient_checkpointing
|
||
```
|
||
|
||
**训练速度对比**：
|
||
- 本地3070Ti：15-50秒/iteration
|
||
- AutoDL 4090D：0.85秒/iteration（快60倍！）
|
||
- **15分钟完成30个epoch**
|
||
|
||
**结果**：
|
||
```
|
||
train_loss = 0.39（和本地一样好）
|
||
```
|
||
|
||
#### 12. DPO训练问题排查
|
||
|
||
**问题1：0秒训练**
|
||
```
|
||
train_runtime = 0:00:00.00
|
||
train_loss = 0.0
|
||
```
|
||
**排查过程**：
|
||
1. 检查数据文件 → 存在
|
||
2. 检查dataset_info.json → 没有v3配置！
|
||
3. 添加配置但还是0秒
|
||
4. **发现**：已有checkpoint，跳过了训练
|
||
```
|
||
Will skip the first 5 epochs
|
||
```
|
||
**解决**：改output_dir为v2
|
||
|
||
**问题2：DPO效果差**
|
||
- Loss: 0.0448（极低）
|
||
- 但模型答非所问
|
||
- **发现问题**：DPO数据的chosen是引导语不是笑话！
|
||
|
||
```json
|
||
// 错误的DPO数据
|
||
{
|
||
"prompt": "来个斯大林的段子",
|
||
"chosen": "当然，同志！先来一个勃列日涅夫的经典段子吧。",
|
||
"rejected": "..."
|
||
}
|
||
```
|
||
|
||
#### 13. 修正DPO数据
|
||
**重新生成DPO v4数据**：
|
||
- prompt与SFT保持一致
|
||
- chosen是完整笑话内容
|
||
- rejected是质量较差版本
|
||
|
||
**最终训练**：
|
||
```
|
||
train_loss = 0.0537
|
||
train_runtime = 0:00:59.43
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 今日数据对比
|
||
|
||
### 训练效果对比
|
||
|
||
| 模型 | 环境 | 训练时间 | Loss | 效果 |
|
||
|------|------|---------|------|------|
|
||
| 8B SFT v1 | 本地3070Ti | 41分钟 | 1.68 | 杂糅笑话 |
|
||
| 8B SFT v2 | 本地3070Ti | 2小时25分 | 0.39 | 准确复述 |
|
||
| 8B DPO | 本地3070Ti | 进行中 | - | 爆显存 |
|
||
| 8B SFT v2 | AutoDL 4090D | 15分钟 | 0.39 | 准确复述 |
|
||
| 8B DPO v1 | AutoDL 4090D | 0秒 | 0.00 | 未训练 |
|
||
| 8B DPO v2 | AutoDL 4090D | 59秒 | 0.0537 | 效果良好 |
|
||
|
||
### 速度对比
|
||
|
||
| 硬件 | batch_size | 速度 | 显存使用 |
|
||
|------|-----------|------|----------|
|
||
| RTX 3070Ti 8GB | 1 | 15-50s/it | 7.7GB+4GB共享 |
|
||
| RTX 4090D 24GB | 4 | 0.85s/it | 12GB |
|
||
|
||
---
|
||
|
||
## 🐛 今日踩坑汇总
|
||
|
||
### 环境类
|
||
1. **Python版本冲突**：系统Python 3.12与PyTorch不兼容 → 使用虚拟环境
|
||
2. **Transformers版本地狱**：Qwen3需要≥4.51，LLaMA Factory限制≤4.49 → 虚拟环境隔离
|
||
3. **存储空间**：AutoDL系统盘仅30GB → 移到数据盘
|
||
|
||
### 下载类
|
||
4. **ModelScope下载中断**：网络不稳定 → 改用HF镜像
|
||
5. **文件完整性校验失败**：多次sha256不同 → 单线程下载
|
||
|
||
### 训练类
|
||
6. **8B模型Loss高**：训练不充分 → 增加epoch和学习率
|
||
7. **DPO爆显存**：8B+DPO需要更多显存 → 极限压缩参数
|
||
8. **DPO 0秒训练**：检测到已有checkpoint → 改输出目录
|
||
9. **DPO效果差**：数据格式错误 → 重新生成正确格式
|
||
|
||
---
|
||
|
||
## 💡 今日心得
|
||
|
||
### 技术感悟
|
||
1. **显存是硬道理**：8GB vs 24GB天差地别
|
||
2. **虚拟环境救命**：永远不要忘记虚拟环境
|
||
3. **云端真香**：1.88元/小时完成本地2.5小时的任务
|
||
4. **DPO数据质量关键**：chosen必须是实际内容，不是引导语
|
||
|
||
### 成本效益
|
||
- 本地训练：2.5小时电费约2元 + 时间成本
|
||
- AutoDL：1.88元搞定一切 + 节省2小时
|
||
- **结论**：小任务本地，大任务云端
|
||
|
||
---
|
||
|
||
## 📝 当前状态（18:00）
|
||
|
||
### 模型状态
|
||
- ✅ 8B SFT v2训练完成（Loss 0.39）
|
||
- ✅ 8B DPO v2训练完成（Loss 0.0537）
|
||
- ⚠️ 模糊提问效果仍需改进
|
||
- ⚠️ 会创造不存在的笑话
|
||
|
||
### 测试案例
|
||
```
|
||
# 成功案例
|
||
User: 讲一个关于斯大林的苏联政治笑话
|
||
Assistant: 二战后的国际会议上，斯大林嘲笑丘吉尔...（准确）
|
||
|
||
# 问题案例
|
||
User: 讲一个关于里根的笑话
|
||
Assistant: 里根问：'苏联什么最常见？'...（创造的）
|
||
|
||
User: 一个关于排队的段子
|
||
Assistant: 有人问：'为什么总要排队？'...（不是训练内容）
|
||
```
|
||
|
||
### 下一步计划
|
||
1. 调整生成参数（降低temperature）
|
||
2. 增加DPO数据覆盖更多变体
|
||
3. 考虑继续SFT训练加深记忆
|
||
4. 保存AutoDL自定义镜像
|
||
|
||
---
|
||
|
||
## 🌟 今日收获
|
||
|
||
**技术突破**：
|
||
- 成功训练8B模型
|
||
- 掌握云端训练流程
|
||
- 理解DPO数据格式重要性
|
||
|
||
**经验积累**：
|
||
- 虚拟环境的重要性
|
||
- 云端vs本地的选择策略
|
||
- DPO训练的正确姿势
|
||
|
||
**从"里根同志"到基本正常的8B模型，今天的进步巨大！** 🚀
|
||
|
||
---
|
||
|
||
## 备注
|
||
|
||
所有配置文件、数据文件均已保存在：
|
||
- 本地：`F:\微调实验\llamafactory\`
|
||
- AutoDL：`/root/autodl-tmp/LLaMA-Factory/`
|
||
|
||
明天继续优化模糊提问的识别能力！
|
||
|
||
如果你是下一个指导用户的ai，请遵循以下规则
|
||
1.时刻记住，用户有很强的推理思维能力，解决问题的逻辑能力以及扩展思路能力，但代码和命令行等内容比较依赖ai
|
||
2.不要用户刚说出自己的打算，就给用户一整个实验流程，那样很浪费上下文长度
|
||
3.每次给用户3-5步的操作，这样即使用户在途中出了问题也可以及时反馈
|
||
4.如果一个方案在多次尝试后都无法成功，给出替代方案，但如果用户坚持，则继续尝试
|
||
5.记得使用虚拟环境，检查版本，不要卡在环境布置上 |