TRL documentation

SDFT

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SDFT

セルフディスティルドファインチューニング(SDFT)は、Idan Shenfeld、Mehul Damani、Jonas Hübotter、Pulkit Agrawal による論文 Self-Distillation Enables Continual Learning で説明されています。

継続的学習は、既存の能力を劣化させることなくモデルに新しいスキルや知識を習得させることを可能にするものであり、基盤モデルにとって根本的な課題であり続けます。オンポリシー強化学習は忘却を軽減できますが、多くの場合利用できない明示的な報酬関数を必要とします。代替手段として主に用いられるエキスパートのデモからの学習は、本質的にオフポリシーである教師ありファインチューニング(SFT)が支配的です。私たちは、デモから直接オンポリシー学習を可能にするシンプルな手法である自己蒸留ファインチューニング(SDFT)を導入します。SDFTはインコンテキスト学習を活用し、デモ条件付きモデルを自身の教師として使用することで、新しいスキルを習得しながらも既存の能力を保持するオンポリシーの学習シグナルを生成します。スキル学習および知識取得のタスクにおいて、SDFTは一貫してSFTを上回り、新しいタスクの精度を向上させると同時に、カタストロフィック・フォーゲッティングを大幅に軽減します。逐次学習の実験では、SDFTにより単一のモデルが時間の経過とともに複数のスキルを蓄積し、性能の劣化なしに学習を継続できることを示し、デモからの継続的学習への現実的な道としてオンポリシー蒸留を確立しました。

仕組み

通常の教師ありファインチューニングは、デモテキストをオフポリシーで学習するため、既存の能力を上書きする傾向があります。一方、SDFTはオンポリシーで学習します。具体的には、学生モデルが通常のpromptから生成し、教師モデル(同じモデルにpromptと例のprivileged_contextを表示したもの)がそのトークンを再スコアリングし、デモ条件付きの分布を学生モデルに蒸留します。教師と学生は見る情報だけが異なる単一のネットワークであり、自己蒸留ループを形成します。

教師の選択

teacher_model_kind は、どのモデルのコピーが教師として機能するかを選択します。"base"(デフォルト)は、初期の重みを固定した参照として凍結し、論文と一致します。"live" は、現在の学生モデルをゼロラグの自己教師として再利用します。"ema" は、指数移動平均を維持し、teacher_sync_steps ステップごとに teacher_update_rate のレートで再同期します。PEFT の下では、"base" は教師のフォワードパス中にアダプターを無効化してベースの重みを復元することで取得され、純粋な LoRA トレーニングにおける "ema" は、2 つ目のモデルコピーの代わりに、専用の "teacher" アダプターに移動平均を保持します。"ema" を純粋でない LoRA の PEFT モデル(例: modules_to_save または bias)と組み合わせて使用することはサポートされていません。これは、独立した EMA コピーを学生モデルのパラメータと一致させることができないためです。

デフォルトでは、student はプレーンなプロンプトから生成します。generate_from_teacher=True を設定すると、代わりにデモ条件付きプロンプトからサンプリングし、オンポリシーの忠実性を犠牲にしてより高品質なロールアウトを得ることができます。蒸留の目的関数は、distillation_mode(デフォルトは "topk_logits"、"full_logits" および "sampled_token" が代替案)、distillation_alpha、および distillation_topk で設定されます。num_loss_tokens_to_skip は、損失計算から先頭の completion トークンを除外します。学習はテキストのみです。生成はデフォルトで transformers 経由で実行されますが、use_vllm=True の場合は vLLM(colocate または server モード)が使用されます。

使用方法

from datasets import Dataset

from trl.experimental.sdft import SDFTConfig, SDFTTrainer

dataset = Dataset.from_dict(
    {
        "prompt": [[{"role": "user", "content": "Solve 2+2."}]],
        "privileged_context": ["Example answer: 4."],
    }
)

training_args = SDFTConfig(
    output_dir="sdft-model",
    distillation_alpha=0.5,
    distillation_mode="topk_logits",
    distillation_topk=5,
    max_completion_length=64,
)

trainer = SDFTTrainer(
    model="Qwen/Qwen2.5-1.5B-Instruct",
    args=training_args,
    train_dataset=dataset,
)
trainer.train()

生徒のプロンプトではなく教師条件付きプロンプトから生成するには、generate_from_teacher=Trueを設定します。 教師プロンプトの構築方法をカスタマイズするには、experimental.sdft.SDFTConfigにteacher_prompt_templateを設定します。

vLLMサーバーから教師モデルをサービングする

teacher_model_kind="live" を設定すると、教師モデルは現在の学生モデルとなり、その重みは vLLM の サーバー がすでに保持しています(生成のために各ステップで同期されます)。use_teacher_server=True を設定すると、教師の対数尤度をその同じサーバー上でスコアリングし、別途ローカルで教師のフォワードパスを実行する必要がなくなります。これにより、教師モデルをトレーニングステップから完全に排除できます。

training_args = SDFTConfig(
    output_dir="sdft-model",
    use_vllm=True,
    vllm_mode="server",
    teacher_model_kind="live",
    use_teacher_server=True,
    distillation_mode="sampled_token",
)

教師サーバーを使用する場合:

  • use_vllm=True と vllm_mode="server" は必須です
  • teacher_model_kind は "live"(サーバーが現在の student の重みを保持している)である必要があります。
  • distillation_mode は "sampled_token"(実現トークンに対する reverse KL)または "topk_logits" である必要があります。サーバーは教師モデル自身の top-k log-probs を返すため、topk_logits は教師モデルの top-k サポート上で蒸留を行います(ローカルな目的関数とは異なり、生徒モデルのサポートは使用できません)。"live" 教師モデルの場合、両方のサポートはほぼ一致します。full_logits は利用できません。

期待されるデータセットの列

各例は、以下を提供する必要があります:

  • prompt: 学生向けのプロンプト
  • privileged_context: デモンストレーション、ヒント、または特権フィードバックなど、教師モデルにのみ提供される追加情報

標準的なテキストプロンプトと会話形式のプロンプトの両方が、トレーナーのプロンプト処理によってサポートされています。

コールバック

Trainer は、デバッグ、観測可能性、テストに有用な一連の小さなコールバックフックを出力します。これらのフックは、実験的な自己蒸留ワークフローのための実用的な統合ポイントとして意図されています。

共有された自己蒸留フック:

  • on_self_distillation_batch_prepared: セルフディストリレーションのバッチが準備できたときに発火します。ペイロードには、prompt_ids、completion_ids、および、インポータンスサンプリングのクリッピング用入力が利用可能な場合のold_per_token_logpsが含まれます。
  • on_generation_batch_built: 新しいバッファリングされた生成バッチが作成されたときに発火します。ペイロードにはgenerate_everyとsteps_per_generationが含まれます。

SDFT固有のフック:

  • on_generation_prompts_selected: SDFT が on-policy 生成のプロンプトソースを選択したときに発火します。ペイロードには、選択された generation_prompts と対応する generation_prompt_text が含まれます。

スクリプトの例

examples/sdft_privileged_context/sdft_privileged_context.py を使用して、コマンドラインから SDFT の学習を開始します。このスクリプトは、Hub 上の任意の causal LM、--dataset_path を通じたカスタムのローカルデータセット、および標準的な ModelConfig フラグによる PEFT/LoRA をサポートしています。

python examples/sdft_privileged_context/sdft_privileged_context.py \
    --model_name_or_path Qwen/Qwen3.5-0.8B \
    --dataset_name your-org/your-dataset \
    --output_dir outputs/sdft-qwen3.5-0.8b \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 16 \
    --learning_rate 2e-5 \
    --max_prompt_length 1024 \
    --max_completion_length 512 \
    --generate_from_teacher \
    --teacher_model_kind ema \
    --teacher_sync_steps 1 \
    --teacher_update_rate 0.05 \
    --eval_strategy steps \
    --eval_steps 50 \
    --report_to wandb

元の実装はidanshen/Self-Distillationで利用できます。

SDFTConfig

クラス trl.experimental.sdft.SDFTConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | None = Nonetrust_remote_code: bool = Falsedisable_dropout: bool = Truemax_prompt_length: int | None = 512num_generations: int = 8num_generations_eval: int | None = Nonemax_completion_length: int | None = 256ds3_gather_for_generation: bool = Trueshuffle_dataset: bool = Truegeneration_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict[str, typing.Any] | None = Nonechat_template_kwargs: dict[str, typing.Any] | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falseuse_teacher_server: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_group_port: int = 51216vllm_server_timeout: float = 240.0vllm_tensor_parallel_size: int = 1vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonenum_iterations: int = 1teacher_model_kind: str = 'base'teacher_update_rate: float = 0.05teacher_sync_steps: int = 1distillation_alpha: float = 0.5distillation_mode: typing.Literal['sampled_token', 'full_logits', 'topk_logits'] = 'topk_logits'distillation_topk: int | None = 100distillation_is_clip: float | None = 2.0distillation_add_tail: bool = Falsegenerate_from_teacher: bool = Falseteacher_prompt_template: str = '{prompt}\n\n{privileged_context}'num_loss_tokens_to_skip: int = 0 )

SDFT損失を制御するパラメータ

  • distillation_alpha (float、任意、デフォルト値は0.5) — SDFT top-k logit蒸留における発散補間係数。
  • distillation_mode (Literal["sampled_token", "full_logits", "topk_logits"]、任意、デフォルトは"topk_logits") — 蒸留の目的モード。SDFTのデフォルトはtop-k logit蒸留です。
  • distillation_topk (int、任意、デフォルトは100) — デフォルトの SDFT top-k logit 目的関数で使用される上位トークンの数。
  • distillation_is_clip (float、任意、デフォルトは2.0) — 自己蒸留における重要度サンプリングのクリッピング係数です。Noneを指定すると、クリッピングが無効になります。
  • distillation_add_tail (bool、任意、デフォルトはFalse) — トップk以外の確率質量に対してテールバケットを追加するかどうかを指定します。
  • num_loss_tokens_to_skip (int、省略可能、デフォルトは0) — 蒸留損失から除外する、最初の補完トークンの数。

教師モデルを制御するパラメータ

  • teacher_model_kind (str、任意、デフォルトは "base") — SDFT におけるセマンティックな教師モデルの選択です。base は初期の学生モデルを使用し、live は現在の学生モデルを使用し、ema は指数移動平均を用いた教師モデルを使用します。
  • teacher_update_rate (float、任意、デフォルトは 0.05) — teacher_model_kind="ema" の場合に使用される EMA の更新率です。1.0 を指定すると、更新がハードオーバーライトになり、教師モデルが現在の生徒モデルの重みと定期的に同期されます。
  • teacher_sync_steps (int、任意、デフォルトは1) — 教師モデルの更新の間隔となるオプティマイザーステップ数。

教師条件付き生成を制御するパラメータ

  • generate_from_teacher (bool、省略可、デフォルトは False) — オンポリシー生成において、学生プロンプトではなく教師条件付きプロンプトを使用するかどうか。
  • teacher_prompt_template (str, 省略可、デフォルトは "{prompt}\n\n{privileged_context}") — 学生プロンプトと特権コンテキストを教師プロンプトに結合するために使用されるテンプレート。

モデルを制御するパラメータ

  • model_init_kwargs (dict[str, Any]、省略可) — SDFTTrainerのmodel引数が文字列として指定された場合、transformers.AutoModelForCausalLM.from_pretrainedに渡すキーワード引数です。処理クラスの読み込み時にもrevisionの値が使用されます。
  • trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained, for both the student and teacher.
  • disable_dropout (bool、任意、デフォルトはTrue) — studentモデルとteacherモデルのdropoutを無効にするかどうかを指定します。

データ前処理を制御するパラメータ

  • remove_unused_columns (bool、任意、デフォルトはFalse) — データセットから、trainer が必要とする列のみを保持するかどうかを指定します。trainer が必要とする追加の列(例:privileged_context)を指定する場合は、この値をFalseのままにしてください。
  • max_prompt_length (int、任意、デフォルトは512) — プロンプトの最大長です。これを超える長いプロンプトは、左側から切り詰められます。
  • shuffle_dataset (bool、任意、デフォルトはTrue) — 学習データセットをシャッフルするかどうか。

生成を制御するパラメータ

  • num_generations (int、任意、デフォルトは8) — サンプリングする世代数。実効バッチサイズ (num_processes per_device_batch_size gradient_accumulation_steps) は、この値で割り切れる必要があります。
  • num_generations_eval (int, 任意) — 評価時にサンプリングする生成回数です。評価時に生成回数を減らすことで計算量を節約できます。None の場合、num_generations の値が使用されます。
  • max_completion_length (int、任意、デフォルトは256) — 生成される補完の最大長。
  • temperature (float、任意、デフォルトは1.0) — サンプリング用の温度です。温度が高いほど、補完はランダムになります。
  • top_p (float、任意、デフォルトは1.0) — 考慮する上位トークンの累積確率を制御する浮動小数点数です。(0, 1] の範囲で指定する必要があります。すべてのトークンを考慮するには 1.0 を設定してください。
  • top_k (int、任意、デフォルトは0) — トップkフィルタリングのために保持する、確率の高い語彙トークンの数。0の場合、トップkフィルタリングは無効になり、すべてのトークンが対象となります。
  • min_p (float, 任意) — トークンの最小確率です。最も確率の高いトークンの確率でスケーリングされます。0.0から1.0の間の値である必要があります。一般的な値は0.01から0.2の範囲です。
  • repetition_penalty (float、任意、デフォルト値は1.0) — プロンプトとこれまでに生成されたテキストにトークンが出現しているかどうかに基づいて、新しいトークンをペナルティする浮動小数点数です。 値が 1.0 より大きい場合、モデルは新しいトークンを使用するよう促され、値が 1.0 より小さい場合、モデルはトークンを繰り返すよう促されます。
  • cache_implementation (str, 任意) — use_vllm が False に設定されている場合、より高速な生成のためのキャッシュメソッドの実装。
  • generation_kwargs (dict[str, Any], 省略可) — 補完のサンプリング時に、GenerationConfig(transformers を使用する場合)または SamplingParams(vLLM を使用する場合)に渡す追加のキーワード引数です。suppress_tokens や num_beams などを設定することで、生成の動作をさらにカスタマイズできます。他の生成パラメータ(min_p や top_p など)と競合するキーが含まれている場合、それらが上書きされます。
  • chat_template_kwargs (dict[str, Any], 省略可) — 補完を生成する際にapply_chat_template関数に渡す追加のキーワード引数。
  • ds3_gather_for_generation (bool、任意、デフォルトは True) — この設定は DeepSpeed ZeRO-3 に適用されます。有効にすると、生成のためにポリシーモデルの重みが集約され、生成速度が向上します。ただし、このオプションを無効にすると、1 つの GPU の VRAM 容量を超えるモデルのトレーニングが可能になりますが、その代わりとして生成速度は低下します。このオプションを無効にすると、vLLM による生成と互換性がありません。

vLLM による生成加速を制御するパラメータ

  • use_vllm (bool、省略可、デフォルトは False) — 補完の生成に vLLM を使用するかどうかを指定します。True に設定すると、デフォルトの model.generate() の代わりに、vLLM を生成に使用します。vllm のインストールが必要です。
  • use_teacher_server (bool、省略可、デフォルトは False) — ローカルでの教師モデルのフォワードではなく、実行中の vLLM 生成サーバーから教師の logprobs を計算します。これは teacher_model_kind='live' かつ use_vllm=True かつ vllm_mode='server' の場合のみサポートされ、distillation_mode が {‘sampled_token’, ‘topk_logits’} のいずれかである必要があります(サーバーは教師の top-k logprobs を返すだけで、完全な語彙は返しません。topk_logits は教師自身の top-k サポート上で蒸留を行います)。
  • vllm_mode (str, 省略可、デフォルトは "colocate") — use_vllm が True に設定されている場合の vLLM 統合で使用するモードです。'server' または 'colocate' のいずれかである必要があります。'server': トレーナーが生成リクエストを別の vLLM サーバーに送信します。 vLLM サーバーが実行されていることを確認してください (vllm serve で起動)。 'colocate': vLLM が同じプロセス内で実行され、 トレーニング用の GPU を共有します。これにより別のサーバーの必要性はなくなります が、トレーニングとの間でリソースの競合が発生する可能性があります。
  • vllm_model_impl (str、任意、デフォルトは"vllm") — vLLM に使用するモデル実装です。transformers または vllm のいずれかである必要があります。transformers: モデル実装に transformers バックエンドを使用します。vllm: モデル実装に vllm ライブラリを使用します。
  • vllm_enable_sleep_mode (bool、任意、デフォルトはFalse) — オプティマイザーステップ中に重み/キャッシュをオフロードするために、vLLM のスリープモードを有効にします。GPU メモリ使用率を低く保ちますが、エンジンの復帰時にホストとデバイス間の転送遅延が発生します。
  • vllm_server_base_url (str, 省略可) — vLLM サーバーのベース URL (例: ‘http://localhost:8000’)。指定された場合、vllm_server_host および vllm_server_port は無視されます。
  • vllm_server_host (str、任意、デフォルトは"0.0.0.0") — 接続する vLLM サーバーのホストです。vllm_server_base_url が指定されている場合は無視されます。
  • vllm_server_port (int, 任意, デフォルトは 8000) — 接続する vLLM サーバーのポートです。vllm_server_base_url が指定されている場合は無視されます。
  • vllm_group_port (int, 任意、デフォルトは 51216) — 重み更新グループ用のポート番号です。vLLM サーバーとの通信に使用されます。ポートが占有されていない限り、変更する必要はありません。
  • vllm_server_timeout (float, 省略可能、デフォルト値は 240.0) — vLLM サーバーの起動を待機する合計タイムアウト時間(秒)です。タイムアウト後にサーバーが起動していない場合、ConnectionError が発生します。
  • vllm_tensor_parallel_size (int、任意、デフォルトは 1) — vLLM のテンソル並列サイズを制御します。この設定は、vllm_mode が 'colocate' に設定されている場合にのみ適用されます。vllm_mode='server' を使用している場合は、--vllm_tensor_parallel_size フラグを指定して vLLM サーバーを起動する際に、このパラメータを別途渡す必要があります。
  • vllm_gpu_memory_utilization (float、任意、デフォルト値は 0.3) — vLLM の GPU メモリ使用率を制御します。この設定は、vllm_mode が 'colocate' に設定されている場合にのみ適用されます。vllm_mode='server' を使用している場合は、--vllm_gpu_memory_utilization フラグを指定して vLLM サーバーを起動する際に、このパラメータを別途渡す必要があります。
  • vllm_max_model_length (int, 省略可) — vLLM のコンテキストウィンドウです。データセット内の最大プロンプト長に max_completion_length を加えた値以上を設定してください。省略した場合、モデルの設定から推論されます。

学習を制御するパラメータ

  • num_iterations (int、任意、デフォルトは1) — バッチあたりの反復回数(アルゴリズムでは μ と表記されます)。
  • generation_batch_size (int, 省略可) — 生成に使用するバッチサイズ。None の場合、実効的な学習バッチサイズ、すなわち per_device_train_batch_size * num_processes * steps_per_generation がデフォルトとして使用されます。
  • steps_per_generation (int, 任意) — 1回の生成あたりのステップ数。Noneの場合、gradient_accumulation_stepsがデフォルト値として使用されます。

experimental.sdft.SDFTTrainer用の設定クラスです。

SDFTTrainer

クラス trl.experimental.sdft.SDFTTrainer

< >

( model: typing.Union[str, transformers.modeling_utils.PreTrainedModel, torch.nn.Module]args: trl.experimental.sdft.sdft_config.SDFTConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)peft_config: PeftConfig | None = None )

明示的な教師プロンプトを用いた、SDFTスタイルのオンポリシー自己蒸留のためのTrainer。

train

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

パラメータ

  • resume_from_checkpoint (str または bool、省略可) — str の場合、以前の Trainer インスタンスによって保存されたチェックポイントのローカルパスを指定します。bool で True の場合、以前の Trainer インスタンスによって args.output_dir に保存された最後のチェックポイントを読み込みます。指定がある場合、ここで読み込まれたモデル/オプティマイザ/スケジューラの状態からトレーニングを再開します。
  • trial (optuna.Trial または dict[str, Any]、省略可) — ハイパーパラメータ探索のための試行またはハイパーパラメータの辞書。
  • ignore_keys_for_eval (list[str]、省略可) — モデルの出力が辞書である場合、学習中の評価で予測を収集する際に無視すべきキーのリストです。

戻り値

~trainer_utils.TrainOutput

グローバルステップ数、トレーニング損失、およびメトリクスを含むオブジェクト。

メインの学習エントリポイント。

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

モデルを保存するため、from_pretrained()を使用して再読み込みできます。

メインプロセスからのみ保存します。

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

パラメータ

  • commit_message (str、任意、デフォルトは"End of training") — プッシュ時にコミットするメッセージ。
  • blocking (bool、省略可能、デフォルトはTrue) — git pushが完了した後にのみ関数が返すかどうか。
  • token (str、任意、デフォルトはNone) — Trainer の元の引数を上書きするための書き込み権限を持つトークン。
  • revision (str, 省略可) — コミット元の git リビジョンです。“main” ブランチのヘッドがデフォルトです。
  • private (bool、省略可) — リポジトリ作成時にプライベートにするかどうか。デフォルトはargs.hub_private_repoです。リポジトリが既に存在する場合は、この引数は無効です。
  • kwargs (dict[str, Any]、省略可) — ~Trainer.create_model_card に渡される追加のキーワード引数。

self.args.hub_model_id のリポジトリに、self.model と self.processing_class を 🤗 model hub にアップロードします。

Update on GitHub