TRL documentation
LoRA 无憾
LoRA 无憾
来自 Thinking Machines Lab 团队的最新研究(Schulman et al., 2025)表明,在正确配置的情况下,LoRA 可以达到与全量微调相当的性能,同时仅使用约 67% 的计算资源。这些发现对 TRL 用户来说令人振奋,因为它们易于实现,并且能够在更小的预算下提升模型性能。
本指南提供了在 TRL 中复现该博客文章结果的简单步骤。
建议在遵循本指南之前先阅读该博客文章,或者同时参考这两种资源以获得最佳效果。
LoRA 相较于全量微调的优势
首先,让我们回顾一下LoRA 相较于全量微调的优势。
LoRA 在基础模型之上添加了适配器层,其参数量远少于基础模型本身。这种设计降低了 GPU 内存需求,并实现了更高效的训练。正如博客中所述,这种方法最初被认为存在性能权衡,但通过仔细配置可以克服这一权衡,达到与全量微调相当的性能。
使用 TRL 的示例
让我们基于该博客文章的核心发现,在 TRL 脚本中实现并训练 LoRA 适配器。之后,我们将结合 TRL 的结果重新审视每一项发现。
监督微调(SFT)
该博客文章对来自 Hub 的一系列模型和数据集执行了 SFT,我们可以在 TRL 中复现这一过程。
我们可以将这些发现与 TRL Python API 集成,如下所示:
from datasets import load_dataset
from peft import LoraConfig
from trl import SFTTrainer, SFTConfig
dataset = load_dataset("open-thoughts/OpenThoughts-114k", split="train")
peft_config = LoraConfig(r=256, lora_alpha=16, target_modules="all-linear")
training_args = SFTConfig(
learning_rate=2e-4,
per_device_train_batch_size=1,
gradient_accumulation_steps=4,
num_train_epochs=1,
report_to=["trackio"],
)
trainer = SFTTrainer(
model="Qwen/Qwen2.5-3B-Instruct",
train_dataset=dataset,
peft_config=peft_config,
args=training_args,
)
trainer.train()
hf jobs uv run \
--flavor a100-large \
--timeout 8h \
--secrets HF_TOKEN \
"https://raw.githubusercontent.com/huggingface/trl/main/trl/scripts/sft.py" \
--model_name_or_path Qwen/Qwen2.5-3B-Instruct \
--dataset_name open-thoughts/OpenThoughts-114k \
--learning_rate 2.0e-5 \
--num_train_epochs 1 \
--packing \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 16 \
--use_peft \
--lora_r 256 \
--lora_alpha 16 \
--lora_target_modules all-linear \
--output_dir Qwen2.5-3B-OpenThoughts-LoRA \
--report_to trackio \
--push_to_hub
要使用 Hugging Face Jobs,请登录 Hub(hf auth login)并确保拥有正的信用余额。有关详细信息,请参阅Jobs 文档。
uv run "https://raw.githubusercontent.com/huggingface/trl/main/trl/scripts/sft.py" \
--model_name_or_path Qwen/Qwen2.5-3B-Instruct \
--dataset_name open-thoughts/OpenThoughts-114k \
--learning_rate 2.0e-5 \
--num_train_epochs 1 \
--packing \
--per_device_train_batch_size 2 \
--gradient_accumulation_steps 16 \
--eval_strategy no \
--use_peft \
--lora_r 256 \
--lora_alpha 16 \
--lora_target_modules all-linear \
--output_dir Qwen2.5-3B-OpenThoughts-LoRA \
--report_to trackio \
--push_to_hub
要在本地运行该脚本,您需要安装 uv。有关更多详细信息,请参阅 uv 文档。
训练开始后,您可以在 Trackio 中监控进度,其中会记录 URL。
强化学习(GRPO)
该博客文章在来自 Hub 的一系列模型和数据集上执行了 GRPO,我们同样可以在 TRL 中复现这些结果。
| 模型 | 数据集 |
|---|---|
| Llama-3.1-8B-Base | GSM8k |
| Llama-3.1-8B-Base | DeepMath-103K |
| Qwen3-8b-base | DeepMath-103K |
对于强化学习,该博客使用了一个数学推理任务,我们可以将其复现为一个 Python 函数。
我们可以使用 TRL Python API 按如下方式实现这些建议:
from datasets import load_dataset
from peft import LoraConfig
from trl import GRPOConfig, GRPOTrainer
from trl.rewards import reasoning_accuracy_reward
dataset = load_dataset("HuggingFaceH4/OpenR1-Math-220k-default-verified", split="train")
peft_config = LoraConfig(
r=1,
lora_alpha=32,
target_modules="all-linear"
)
training_args = GRPOConfig(
learning_rate=5e-5,
per_device_train_batch_size=1,
gradient_accumulation_steps=4,
num_train_epochs=1,
num_generations=8,
generation_batch_size=8,
report_to=["trackio"],
)
trainer = GRPOTrainer(
model="Qwen/Qwen3-0.6B",
reward_funcs=reasoning_accuracy_reward,
args=training_args,
train_dataset=dataset,
peft_config=peft_config,
)
trainer.train()
此代码片段省略了上文定义的奖励函数,以保持示例简洁。
hf jobs uv run \
--flavor a100-large \
--timeout 4h \
--secrets HF_TOKEN \
--env PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True \
"https://huggingface.co/datasets/burtenshaw/lora-without-regrets/resolve/main/grpo.py" \
--model_name_or_path Qwen/Qwen3-0.6B \
--dataset_name HuggingFaceH4/OpenR1-Math-220k-default-verified \
--output_dir grpo-full-qwen3-0.6b \
--learning_rate 1.0e-6 \
--lr_scheduler_type cosine \
--warmup_steps 0.0 \
--max_grad_norm 1.0 \
--beta 0.0 \
--max_completion_length 4096 \
--num_generations 16 \
--generation_batch_size 16 \
--gradient_accumulation_steps 8 \
--per_device_train_batch_size 1 \
--num_train_epochs 1 \
--lora_r 1 \
--lora_alpha 32 \
--lora_dropout 0.0 \
--lora_target_modules all-linear \
--vllm_mode colocate \
--save_strategy steps \
--save_steps 50 \
--save_total_limit 1 \
--logging_steps 1 \
--max_steps 200 \
--report_to trackio要使用 Hugging Face Jobs,请登录 Hub(hf auth login)并确保拥有正的信用余额。有关详细信息,请参阅Jobs 文档。
uv run "https://huggingface.co/datasets/burtenshaw/lora-without-regrets/resolve/main/grpo.py" \
--model_name_or_path Qwen/Qwen3-0.6B \
--dataset_name HuggingFaceH4/OpenR1-Math-220k-default-verified \
--output_dir grpo-full-qwen3-0.6b \
--learning_rate 1.0e-6 \
--lr_scheduler_type cosine \
--warmup_steps 0.0 \
--max_grad_norm 1.0 \
--beta 0.0 \
--max_completion_length 4096 \
--num_generations 16 \
--generation_batch_size 16 \
--gradient_accumulation_steps 8 \
--per_device_train_batch_size 1 \
--num_train_epochs 1 \
--lora_r 1 \
--lora_alpha 32 \
--lora_dropout 0.0 \
--lora_target_modules all-linear \
--vllm_mode colocate \
--save_strategy steps \
--save_steps 50 \
--save_total_limit 1 \
--logging_steps 1 \
--max_steps 200 \
--report_to trackio要在本地运行该脚本,您需要安装 uv。有关更多详细信息,请参阅 uv 文档。
使用 GRPO 的强化学习脚本在 TRL 中实现为一个自定义脚本,其中使用了上文所示的奖励函数。您可以在 grpo.py - 使用 LoRA 进行强化学习的最佳实践中查看该脚本。
优化 LoRA 的关键发现
作者建议将 LoRA 应用于所有权重矩阵,而非仅限于注意力层,因为提高秩无法弥补这一限制。在 TRL 中,可以使用 --lora_target_modules all-linear 来配置,从而将 LoRA 应用于所有权重矩阵。
我们使用 TRL 和 SmolLM3 模型成功复现了该博客文章的结果。我们使用上述奖励函数和配置,在 Math 220k 数据集 上对模型进行了 500 步的训练。如下图所示,LoRA 模型的平均训练奖励曲线与全量微调曲线相吻合。

最重要的是,如下图所示,LoRA 模型比全量微调模型使用的内存显著更少。

以下是我们用于训练上述模型的参数
| 参数 | LoRA | 完整微调 |
|---|---|---|
--model_name_or_path | HuggingFaceTB/SmolLM3-3B | HuggingFaceTB/SmolLM3-3B |
--dataset_name | HuggingFaceH4/OpenR1-Math-220k-default-verified | HuggingFaceH4/OpenR1-Math-220k-default-verified |
--learning_rate | 1.0e-5 | 1.0e-6 |
--max_completion_length | 4096 | 4096 |
--lora_r | 1 | - |
--lora_alpha | 32 | - |
--lora_dropout | 0.0 | - |
--lora_target_modules | all-linear | - |
让我们分解一下这篇博客文章的关键发现,以及我们是如何复现这些发现的。
1. 当 LoRA 应用于所有权重矩阵时,其表现更佳
作者建议将 LoRA 应用于所有权重矩阵,而不是仅限于注意力层,因为提高秩无法弥补这一限制带来的影响。

仅使用注意力层的 LoRA 即使采用更高的秩以匹配参数量,性能仍然不佳。在 TRL 中,可以使用 --lora_target_modules all-linear 将 LoRA 应用于所有权重矩阵。在 Python 中,可以这样操作:
from peft import LoraConfig
peft_config = LoraConfig(target_modules="all-linear") 2. 适配器需要具备足够的容量才能从数据集中学习
该博客文章建议使用足够的 LoRA 秩来从数据集中学习。秩决定了 LoRA 适配器中可训练参数的数量。因此,“对于超出 LoRA 容量的数据集,LoRA 的表现不如 FullFT”。

在 TRL 脚本中,我们可以使用 --lora_r 来设置秩,并根据我们用于训练的任务和数据集进行调整。该博客文章根据任务和数据集大小推荐了以下秩:
强化学习任务通常所需的容量较低,因此可以使用更小的 LoRA 秩。这是因为策略梯度算法每个回合大约只提取 ~1 bit 的信息,对参数容量的要求极低。
该博客文章将 LoRA 达到与全量微调相同效果所需的理想数据集规模定义为“Post-training scale”。我们可以利用它来确定 SFT 和 RL LoRA 的推荐秩:
| 任务类型 | 数据集大小 | 推荐秩 |
|---|---|---|
| SFT | 后训练规模 | 256 |
| RL | 任意大小 | 1-32 |
3. “FullFT 和高秩 LoRA 具有相似的学习曲线”
反直觉的是,该博客文章建议使用比全量微调更高的学习率。在上表中,我们对 LoRA 使用了 1.0e-5,对全量微调使用了 1.0e-6。在 TRL 脚本中,我们可以使用 --learning_rate 来设置学习率。LoRA 中的 缩放机制使得最优学习率大致与秩无关。

4. “在某些场景下,LoRA 对大批量大小的容忍度低于全量微调。”
该博客文章建议使用小于 32 的有效批量大小,因为作者发现 LoRA 对大批量大小的容忍度较低,且无法通过提高 LoRA 秩来缓解此问题。在 TRL 脚本中,我们可以使用 --per_device_train_batch_size 和 --gradient_accumulation_steps 来设置批量大小。

要点
使用 TRL,你可以高效地实现 LoRA 适配器,使其性能媲美全量微调,同时应用核心经验(针对所有权重矩阵、选择合适的秩、管理批大小和学习率),而无需承担 FullFT 带来的高昂计算成本。
引用
@article{schulman2025lora,
title = {{LoRA Without Regret}},
author = {John Schulman and Thinking Machines Lab},
year = 2025,
journal = {Thinking Machines Lab: Connectionism},
doi = {10.64434/tml.20250929},
note = {https://thinkingmachines.ai/blog/lora/}
}