TRL documentation

LoRA 无憾

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LoRA 无憾

来自 Thinking Machines Lab 团队的最新研究(Schulman et al., 2025)表明,在正确配置的情况下,LoRA 可以达到与全量微调相当的性能,同时仅使用约 67% 的计算资源。这些发现对 TRL 用户来说令人振奋,因为它们易于实现,并且能够在更小的预算下提升模型性能。

本指南提供了在 TRL 中复现该博客文章结果的简单步骤。

建议在遵循本指南之前先阅读该博客文章,或者同时参考这两种资源以获得最佳效果。

LoRA 相较于全量微调的优势

首先,让我们回顾一下LoRA 相较于全量微调的优势。

LoRA 在基础模型之上添加了适配器层,其参数量远少于基础模型本身。这种设计降低了 GPU 内存需求,并实现了更高效的训练。正如博客中所述,这种方法最初被认为存在性能权衡,但通过仔细配置可以克服这一权衡,达到与全量微调相当的性能。

使用 TRL 的示例

让我们基于该博客文章的核心发现,在 TRL 脚本中实现并训练 LoRA 适配器。之后,我们将结合 TRL 的结果重新审视每一项发现。

监督微调(SFT)

该博客文章对来自 Hub 的一系列模型和数据集执行了 SFT,我们可以在 TRL 中复现这一过程。

模型数据集
Llama-3.2-1B-Instructallenai/tulu-3-sft-mixture
Llama-3.2-1B-Instructopen-thoughts/OpenThoughts-114k
Llama-3.1-8B-Instructallenai/tulu-3-sft-mixture
Llama-3.1-8B-Instructopen-thoughts/OpenThoughts-114k
python
任务
local

我们可以将这些发现与 TRL Python API 集成,如下所示:


from datasets import load_dataset
from peft import LoraConfig
from trl import SFTTrainer, SFTConfig

dataset = load_dataset("open-thoughts/OpenThoughts-114k", split="train")

peft_config = LoraConfig(r=256, lora_alpha=16, target_modules="all-linear")

training_args = SFTConfig(
    learning_rate=2e-4,
    per_device_train_batch_size=1,
    gradient_accumulation_steps=4,
    num_train_epochs=1,
    report_to=["trackio"],
)

trainer = SFTTrainer(
    model="Qwen/Qwen2.5-3B-Instruct",
    train_dataset=dataset,
    peft_config=peft_config,
    args=training_args,
)

trainer.train()

训练开始后,您可以在 Trackio 中监控进度,其中会记录 URL。

强化学习(GRPO)

该博客文章在来自 Hub 的一系列模型和数据集上执行了 GRPO,我们同样可以在 TRL 中复现这些结果。

模型数据集
Llama-3.1-8B-BaseGSM8k
Llama-3.1-8B-BaseDeepMath-103K
Qwen3-8b-baseDeepMath-103K

对于强化学习,该博客使用了一个数学推理任务,我们可以将其复现为一个 Python 函数。

python
任务
local

我们可以使用 TRL Python API 按如下方式实现这些建议:


from datasets import load_dataset
from peft import LoraConfig
from trl import GRPOConfig, GRPOTrainer
from trl.rewards import reasoning_accuracy_reward

dataset = load_dataset("HuggingFaceH4/OpenR1-Math-220k-default-verified", split="train")

peft_config = LoraConfig(
    r=1,
    lora_alpha=32,
    target_modules="all-linear"
)

training_args = GRPOConfig(
    learning_rate=5e-5,
    per_device_train_batch_size=1,
    gradient_accumulation_steps=4,
    num_train_epochs=1,
    num_generations=8,
    generation_batch_size=8,
    report_to=["trackio"],
)

trainer = GRPOTrainer(
    model="Qwen/Qwen3-0.6B",
    reward_funcs=reasoning_accuracy_reward,
    args=training_args,
    train_dataset=dataset,
    peft_config=peft_config,
)

trainer.train()

此代码片段省略了上文定义的奖励函数,以保持示例简洁。

使用 GRPO 的强化学习脚本在 TRL 中实现为一个自定义脚本,其中使用了上文所示的奖励函数。您可以在 grpo.py - 使用 LoRA 进行强化学习的最佳实践中查看该脚本。

优化 LoRA 的关键发现

作者建议将 LoRA 应用于所有权重矩阵,而非仅限于注意力层,因为提高秩无法弥补这一限制。在 TRL 中,可以使用 --lora_target_modules all-linear 来配置,从而将 LoRA 应用于所有权重矩阵。

我们使用 TRL 和 SmolLM3 模型成功复现了该博客文章的结果。我们使用上述奖励函数和配置,在 Math 220k 数据集 上对模型进行了 500 步的训练。如下图所示,LoRA 模型的平均训练奖励曲线与全量微调曲线相吻合。

train reward

最重要的是,如下图所示,LoRA 模型比全量微调模型使用的内存显著更少。

memory usage

以下是我们用于训练上述模型的参数

参数LoRA完整微调
--model_name_or_pathHuggingFaceTB/SmolLM3-3BHuggingFaceTB/SmolLM3-3B
--dataset_nameHuggingFaceH4/OpenR1-Math-220k-default-verifiedHuggingFaceH4/OpenR1-Math-220k-default-verified
--learning_rate1.0e-51.0e-6
--max_completion_length40964096
--lora_r1-
--lora_alpha32-
--lora_dropout0.0-
--lora_target_modulesall-linear-

让我们分解一下这篇博客文章的关键发现,以及我们是如何复现这些发现的。

1. 当 LoRA 应用于所有权重矩阵时,其表现更佳

作者建议将 LoRA 应用于所有权重矩阵,而不是仅限于注意力层,因为提高秩无法弥补这一限制带来的影响。

all layers

仅使用注意力层的 LoRA 即使采用更高的秩以匹配参数量,性能仍然不佳。在 TRL 中,可以使用 --lora_target_modules all-linear 将 LoRA 应用于所有权重矩阵。在 Python 中,可以这样操作:

from peft import LoraConfig  

peft_config = LoraConfig(target_modules="all-linear")  

2. 适配器需要具备足够的容量才能从数据集中学习

该博客文章建议使用足够的 LoRA 秩来从数据集中学习。秩决定了 LoRA 适配器中可训练参数的数量。因此,“对于超出 LoRA 容量的数据集,LoRA 的表现不如 FullFT”。

learning rate

在 TRL 脚本中,我们可以使用 --lora_r 来设置秩,并根据我们用于训练的任务和数据集进行调整。该博客文章根据任务和数据集大小推荐了以下秩:

强化学习任务通常所需的容量较低,因此可以使用更小的 LoRA 秩。这是因为策略梯度算法每个回合大约只提取 ~1 bit 的信息,对参数容量的要求极低。

该博客文章将 LoRA 达到与全量微调相同效果所需的理想数据集规模定义为“Post-training scale”。我们可以利用它来确定 SFT 和 RL LoRA 的推荐秩:

任务类型数据集大小推荐秩
SFT后训练规模256
RL任意大小1-32

3. “FullFT 和高秩 LoRA 具有相似的学习曲线”

反直觉的是,该博客文章建议使用比全量微调更高的学习率。在上表中,我们对 LoRA 使用了 1.0e-5,对全量微调使用了 1.0e-6。在 TRL 脚本中,我们可以使用 --learning_rate 来设置学习率。LoRA 中的 1r \frac{1}{r} 缩放机制使得最优学习率大致与秩无关。

learning rate

4. “在某些场景下,LoRA 对大批量大小的容忍度低于全量微调。”

该博客文章建议使用小于 32 的有效批量大小,因为作者发现 LoRA 对大批量大小的容忍度较低,且无法通过提高 LoRA 秩来缓解此问题。在 TRL 脚本中,我们可以使用 --per_device_train_batch_size 和 --gradient_accumulation_steps 来设置批量大小。

learning rate

要点

使用 TRL,你可以高效地实现 LoRA 适配器,使其性能媲美全量微调,同时应用核心经验(针对所有权重矩阵、选择合适的秩、管理批大小和学习率),而无需承担 FullFT 带来的高昂计算成本。

引用

@article{schulman2025lora,  
    title        = {{LoRA Without Regret}},  
    author       = {John Schulman and Thinking Machines Lab},  
    year         = 2025,  
    journal      = {Thinking Machines Lab: Connectionism},  
    doi          = {10.64434/tml.20250929},  
    note         = {https://thinkingmachines.ai/blog/lora/}  
}  
Update on GitHub