View Attach Info

Add new attachment

In order to upload a new attachment to this page, please use the following box to find the file, then click on “Upload”.

This page (revision-11) was last changed on 23-Dec-2025 16:22 by 14.155.111.65

This page was created on 18-Nov-2025 16:19 by 139.162.79.56

Only authorized users are allowed to rename pages.

Only authorized users are allowed to delete pages.

Difference between version and

At line 154 added 123 lines
__4、使用DeepSeek-R1的训练流程训练我们的模型__
注意：训练脚本只适用于Mandelbrot-V1模型的多层分词器架构
阶段一：训练R1-zero：
R1-zero是使用基于规则奖励的纯强化学习的方式，训练基座模型得到的。#lc_weight=0表示不加语言一致性奖励
python R1/run_rl_grpo.py
--reward_mode rule
--policy_model_path <基座模型>
--tokenizer_root <多层tokenizer根目录(含layer0/layer1...)>
--train_file R1/sample_data_en/train_rl.jsonl
--output_dir outputs/r1_zero
--lc_weight 0
--log_samples
阶段二：R1-zero with Cold Start（直接生成一批冷启动推理 SFT 数据，然后再 SFT 一次）
然后用 R1-Zero 作为初始化，做一次 SFT（冷启动）：
python R1/run_sft.py
--model_path outputs/r1_zero
--tokenizer_root <多层tokenizer根目录(含layer0/layer1...)>
--train_file R1/cold_start_data_en/train_sft.jsonl
--eval_file R1/cold_start_data_en/eval_sft.jsonl
--output_dir outputs_r1/cold_start_sft
--mask_prompt
再用 cold_start_sft 作为初始化，做一次 RL（GRPO）：
python R1/run_rl_grpo.py
--reward_mode rule
--policy_model_path outputs/cold_start_sft
--tokenizer_root <多层tokenizer根目录(含layer0/layer1...)>
--train_file R1/sample_data_en/train_rl.jsonl
--output_dir outputs/r1_zero_with_cold_start
--lc_weight 0.5
--log_samples
阶段三：最终 R1 的“混合 SFT”（推理数据 + 非推理数据）
论文中最终 R1 会混合“推理/非推理”监督数据。最简单的做法是把两类样本合并成同一个 JSONL：
- 推理样本：`response` 里包含 `Reasoning:` 和 `Final answer:`（或自定义的 think/final 标签）
- 非推理样本：`response` 只包含简洁答案（不包含推理段）
注意：论文中原流程是使用上一阶段训练的模型生成推理数据并进行拒绝采样，但由于我实验的模型参数规模很小，无法正常输出有效数据，所以就舍去了这一步，而是直接收集了数据。
合并后用 `run_sft.py` 再训一次基座模型：
python R1/run_sft.py
--model_path <基座模型>
--tokenizer_root <多层tokenizer根目录(含layer0/layer1...)>
--train_file <混合SFT训练集.jsonl>
--eval_file <混合SFT验证集.jsonl>
--output_dir outputs/final_sft
--mask_prompt
最后再用强化学习训练一次得到最终的R1模型：
python R1/run_rl_grpo.py
--reward_mode rule
--policy_model_path <final_sft>
--tokenizer_root <多层tokenizer根目录(含layer0/layer1...)>
--train_file R1/sample_data_en/train_rl.jsonl
--output_dir outputs/r1_final
--lc_weight 0.5
--log_samples
Version Date Modified Size Author Changes ... Change note
11 23-Dec-2025 16:22 4.949 kB 14.155.111.65 to previous
10 18-Dec-2025 19:05 4.907 kB 172.239.69.242 to previous | to last
9 18-Dec-2025 17:53 4.91 kB 172.239.69.242 to previous | to last
8 18-Dec-2025 17:46 4.85 kB 172.239.69.242 to previous | to last
7 20-Nov-2025 12:13 2.72 kB 139.162.79.56 to previous | to last
6 19-Nov-2025 20:39 2.69 kB 139.162.79.56 to previous | to last
5 19-Nov-2025 20:38 2.688 kB 139.162.79.56 to previous | to last
4 19-Nov-2025 20:36 2.685 kB 139.162.79.56 to previous | to last
3 18-Nov-2025 17:08 2.439 kB 139.162.79.56 to previous | to last
2 18-Nov-2025 16:29 2.315 kB 139.162.79.56 to previous | to last
1 18-Nov-2025 16:19 2.327 kB 139.162.79.56 to last
« This page (revision-11) was last changed on 23-Dec-2025 16:22 by 14.155.111.65