TRL documentation
A2PO
A2PO
TRL mendukung A*-PO (Optimal Advantage Regression) seperti yang dijelaskan dalam makalah Accelerating RL for LLM Reasoning with Optimal Advantage Regression oleh Kianté Brantley, Mingyu Chen, Zhaolin Gao, Jason D. Lee, Wen Sun, Wenhao Zhan, dan Xuezhou Zhang.
Abstrak dari makalah tersebut adalah sebagai berikut:
Pembelajaran penguatan (RL) telah muncul sebagai alat yang ampuh untuk penyesuaian halus (fine-tuning) model bahasa besar (LLM) guna meningkatkan kemampuan penalaran yang kompleks. Namun, metode optimasi kebijakan terkini sering kali mengalami beban komputasi dan konsumsi memori yang tinggi, terutama karena kebutuhan akan beberapa generasi per prompt dan ketergantungan pada jaringan kritikus atau estimasi keuntungan dari kebijakan saat ini. Dalam makalah ini, kami mengusulkan A*-PO, sebuah kerangka kerja optimasi kebijakan dua tahap yang baru, yang secara langsung mengaproksimasi fungsi keuntungan optimal dan memungkinkan pelatihan LLM yang efisien untuk tugas-tugas penalaran. Pada tahap pertama, kami memanfaatkan pengambilan sampel offline dari kebijakan referensi untuk mengestimasi fungsi nilai optimal V*, sehingga menghilangkan kebutuhan akan estimasi nilai online yang mahal. Pada tahap kedua, kami melakukan pembaruan on-policy menggunakan kerugian regresi kuadrat terkecil yang sederhana dengan hanya satu generasi per prompt. Secara teoretis, kami menetapkan jaminan kinerja dan membuktikan bahwa tujuan RL yang diregularisasi KL dapat dioptimalkan tanpa memerlukan strategi eksplorasi yang kompleks. Secara empiris, A*-PO mencapai kinerja yang kompetitif di berbagai benchmark penalaran matematika, sambil mengurangi waktu pelatihan hingga 2× dan penggunaan memori puncak lebih dari 30% dibandingkan dengan PPO, GRPO, dan REBEL.
Penggunaan
A*-PO mengasumsikan reward biner yang dapat diverifikasi (r ∈ {0, 1}) dan berjalan dalam dua tahap:
- Estimasi nilai offline. Sebelum pelatihan,
num_value_samplespenyelesaian diambil dari kebijakan referensi untuk setiap prompt dan diberi skor menggunakanreward_funcs. Nilai optimalV*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁))diperkirakan dan di-cache per prompt. - Regresi on-policy. Selama pelatihan, satu penyelesaian dihasilkan per prompt dari kebijakan saat ini. Loss adalah error kuadrat antara reward implisit
β₂·log(π(y|x)/π_ref(y|x))dan optimal advantager(x, y) − V*(x).
from trl.experimental.a2po import A2POConfig, A2POTrainer
# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]
training_args = A2POConfig(
output_dir="Qwen2.5-0.5B-A2PO",
num_value_samples=8, # Stage 1: samples per prompt from the reference policy to estimate V*
beta1=0.5, # Stage 1: KL temperature for the V* estimate
beta2=1e-3, # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
model="Qwen/Qwen2.5-0.5B",
reward_funcs=reward_correct,
args=training_args,
train_dataset=...,
)
trainer.train()Karena V* diperkirakan sepenuhnya dari sampel kebijakan referensi, A*-PO tidak dapat melampaui Pass@K dari kebijakan referensi. Implementasi resmi dapat ditemukan di ZhaolinGao/A-PO.
A2POTrainer
kelas trl.experimental.a2po.A2POTrainer
< source >( model: transformers.modeling_utils.PreTrainedModel | strreward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]]args: trl.experimental.a2po.a2po_config.A2POConfig | None = Nonetrain_dataset = Noneeval_dataset = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks = Noneoptimizers = (None, None) )
Parameter
- model (
PreTrainedModelataustr) — Model yang akan dilatih, atau pengidentifikasi model (string) yang diteruskan ke from_pretrained. - reward_funcs (
Callableataulist[Callable]) — Fungsi reward. Masing-masing menerimapromptsdancompletions(ditambah kolom dataset sebagai argumen kata kunci) dan mengembalikan daftar reward berupa float. Ketika beberapa fungsi diberikan, jumlah berbobot mereka (lihatA2POConfig.reward_weights) adalah reward skalarr, yang diasumsikan A*-PO bersifat biner (dalam{0, 1}). - args (experimental.a2po.A2POConfig, opsional) —
Konfigurasi untuk trainer ini. Jika
None, konfigurasi default akan digunakan. - train_dataset (Dataset, opsional) —
Dataset pelatihan. Harus berisi kolom
"prompt". - eval_dataset (Dataset, opsional) — Dataset evaluasi.
- processing_class (PreTrainedTokenizerBase, opsional) —
Kelas pemrosesan yang digunakan untuk memproses data. Jika
None, kelas ini dimuat dari nama model dengan from_pretrained. - callbacks (
list[~transformers.TrainerCallback], opsional) — Daftar callback untuk menyesuaikan loop pelatihan. - optimizers (
tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR], opsional, defaultnya(None, None)) — Tuple yang berisi optimizer dan learning rate scheduler.
Trainer untuk metode A*-PO (Optimal Advantage Regression), yang diperkenalkan dalam Accelerating RL for LLM Reasoning with Optimal Advantage Regression.
A*-PO berjalan dalam dua tahap:
- Estimasi nilai offline. Sebelum pelatihan,
num_value_samplespenyelesaian diambil dari kebijakan referensi untuk setiap prompt pelatihan dan diberi skor menggunakanreward_funcs. Nilai optimal diperkirakan sebagaiV*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1))dan di-cache per prompt. - Regresi on-policy. Selama pelatihan, satu penyelesaian dihasilkan per prompt dari kebijakan saat ini.
Fungsinya adalah kesalahan kuadrat antara imbalan implisit
beta2 * log(pi(y|x) / pi_ref(y|x))dan estimasi keuntungan optimalr(x, y) - V*(x).
Akan menyimpan model, sehingga Anda dapat memuatnya kembali menggunakan from_pretrained().
Hanya akan menyimpan dari proses utama.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Parameter
- commit_message (
str, opsional, default"End of training") — Pesan untuk commit saat melakukan push. - blocking (
bool, opsional, defaultTrue) — Apakah fungsi harus hanya mengembalikan nilai setelahgit pushselesai. - token (
str, opsional, defaultnyaNone) — Token dengan izin tulis untuk menimpa argumen asli Trainer. - revision (
str, opsional) — Revisi git untuk di-commit. Secara default menggunakan head dari branch “main”. - private (
bool, opsional) — Apakah membuat repo menjadi privat saat dibuat. Defaultnya adalahargs.hub_private_repo. Tidak berpengaruh jika repo sudah ada. - kwargs (
dict[str, Any], opsional) — Argumen kata kunci tambahan yang diteruskan ke~Trainer.create_model_card.
Unggah self.model dan self.processing_class ke 🤗 model hub di repo self.args.hub_model_id.
A2POConfig
kelas trl.experimental.a2po.A2POConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict | None = Nonetrust_remote_code: bool = Falsemax_prompt_length: int | None = 512max_completion_length: int | None = 256temperature: float = 1.0top_p: float = 1.0top_k: int | None = Nonenum_value_samples: int = 8beta1: float = 0.5filter_all_incorrect: bool = Truebeta2: float = 0.001reward_weights: list[float] | None = None )
Parameter yang mengontrol model dan model referensi
- model_init_kwargs (
dict[str, Any], opsional) — Argumen kata kunci untuk from_pretrained, digunakan ketika argumenmodeldari experimental.a2po.A2POTrainer diberikan sebagai string. Nilairevisionjuga digunakan saat memuat kelas pemrosesan. - trust_remote_code (
bool, opsional, defaultFalse) — Apakah mengizinkan pemuatan model dan tokenizer yang menyertakan kode Python kustom dari Hub. Diteruskan ke from_pretrained dan from_pretrained.
Parameter yang mengontrol pra-pemrosesan data
- remove_unused_columns (
bool, opsional, defaultFalse) — Apakah hanya kolom"prompt"yang akan dipertahankan dalam dataset. Jika Anda menggunakan fungsi reward kustom yang memerlukan kolom selain"prompts"dan"completions", Anda sebaiknya mempertahankan nilai ini sebagaiFalse.
Parameter yang mengontrol generasi
- max_prompt_length (
intatauNone, opsional, default512) — Panjang maksimum prompt. Jika prompt lebih panjang dari ini, bagian awal akan dipangkas. - max_completion_length (
intatauNone, opsional, defaultnya256) — Panjang maksimum dari penyelesaian yang dihasilkan. - temperature (
float, opsional, default1.0) — Suhu sampling, digunakan dalam generasi Stage 1 dan Stage 2. - top_p (
float, opsional, default1.0) — Float yang mengontrol probabilitas kumulatif dari token teratas yang dipertimbangkan. Harus berada dalam (0, 1]. Atur ke1.0untuk mempertimbangkan semua token. - top_k (
intatauNone, opsional) — Jumlah token kosakata dengan probabilitas tertinggi yang akan dipertahankan. JikaNone, penapisan top-k dinonaktifkan.
Parameter yang mengontrol Stage 1 (estimasi nilai optimal offline)
- num_value_samples (
int, opsional, defaultnya8) — Jumlah sampel yang diambil dari kebijakan referensi per prompt untuk memperkirakanV*. - beta1 (
float, opsional, default0.5) — Suhu KL yang digunakan untuk memperkirakanV*di Tahap 1. - filter_all_incorrect (
bool, opsional, defaultTrue) — Apakah akan membuang prompt yang semua sampel referensinya salah.
Parameter yang mengontrol Stage 2 (regresi on-policy)
Kelas konfigurasi untuk experimental.a2po.A2POTrainer.
Kelas ini hanya mencakup parameter yang spesifik untuk pelatihan A2PO. Untuk daftar lengkap argumen pelatihan, silakan merujuk ke dokumentasi TrainingArguments. Perhatikan bahwa nilai default dalam kelas ini mungkin berbeda dari yang ada di TrainingArguments.