TRL documentation

Тренер обобщенной дистилляции знаний

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Тренер обобщенной дистилляции знаний

model badge

Обзор

Обобщённая дистилляция знаний (GKD) была предложена в работе On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes Р. Агарвалом, Н. Вийярдом, Ю. Чжоу, П. Станччиком, С. Рамосом, М. Гейстом и О. Бахемом.

Аннотация из статьи следующая:

Метод дистилляции знаний (KD) широко применяется для сжатия модели-учителя с целью снижения затрат на инференс и потребления памяти путём обучения более компактной модели-ученика. Однако существующие методы KD для авто-регрессионных последовательных моделей страдают от рассогласования распределений между выходными последовательностями, на которых обучается модель, и теми, которые генерирует ученик во время инференса. Для решения этой проблемы мы предлагаем Generalized Knowledge Distillation (GKD). Вместо того чтобы полагаться исключительно на фиксированный набор выходных последовательностей, GKD обучает ученика на его собственных сгенерированных выходных последовательностях, используя обратную связь от учителя по таким последовательностям. В отличие от методов KD с учителем, GKD также обеспечивает гибкость в использовании альтернативных функций потерь между учеником и учителем, что может быть полезно, когда ученик не обладает достаточной выразительностью, чтобы имитировать распределение учителя. Кроме того, GKD позволяет бесшовно интегрировать дистилляцию с дообучением с подкреплением (RLHF). Мы демонстрируем эффективность GKD для дистилляции авто-регрессионных языковых моделей на задачах суммаризации, перевода и арифметического рассуждения, а также для дистилляции, не зависящей от конкретной задачи, в контексте instruction-tuning.

Ключевые аспекты GKD:

  1. Он устраняет рассогласование распределений между этапами обучения и инференса в авто-регрессионных последовательных моделях, обучая модель-ученика на последовательностях, сгенерированных ею самой.
  2. GKD обеспечивает гибкость при выборе различных мер расхождения между моделями-учениками и моделями-наставниками с помощью обобщённого расхождения Йенсена–Шаннона (JSD), что может быть полезно, когда модель-ученик не обладает достаточной ёмкостью для полного копирования модели-наставника.

Этот метод постобучения был предложен Kashif Rasul и Lewis Tunstall.

Советы по использованию

Класс experimental.gkd.GKDTrainer является обёрткой над классом SFTTrainer и принимает в качестве аргумента модель-учителя. Для его работы необходимо задать три параметра через experimental.gkd.GKDConfig, а именно:

  • lmbda: управляет долей данных студента, то есть пропорцией выходов, сгенерированных студентом по его собственной политике. При lmbda=0.0 функция потерь сводится к надзорному JSD, где студент обучается на токенных вероятностях учителя. При lmbda=1.0 функция потерь сводится к on-policy JSD, где студент генерирует последовательности выходов, а учитель предоставляет токенную обратную связь по этим последовательностям. Для значений в диапазоне [0, 1] выбор между этими двумя режимами происходит случайно для каждой партии в соответствии со значением lmbda.
  • seq_kd: управляет выполнением Sequence-Level KD (можно рассматривать как supervised FT на выходе, сгенерированном учителем). При seq_kd=True и lmbda=0.0 функция потерь сводится к supervised JSD, где учитель генерирует выходные последовательности, а ученик получает токен-специфичную обратную связь от учителя по этим последовательностям.
  • beta: управляет интерполяцией в обобщённой дивергенции Дженсена–Шаннона. При beta=0.0 функция потерь приближает прямую дивергенцию КЛ, а при beta=1.0 — обратную дивергенцию КЛ. Для значений в диапазоне [0, 1] происходит интерполяция между ними.

Авторы выяснили, что данные on-policy (высокое значение lmbda) показывают лучшие результаты, а оптимальное значение beta варьировалось в зависимости от задачи и метода оценки.

Убедитесь, что при обучении моделей Gemma используется attn_implementation="kernels-community/flash-attn2". В противном случае в логитах возникнут значения NaN из-за техники мягкого ограничения, применяемой в этой архитектуре.

Базовый API выглядит следующим образом:

from datasets import Dataset
from transformers import AutoModelForCausalLM, AutoTokenizer
from trl.experimental.gkd import GKDConfig, GKDTrainer

NUM_DUMMY_SAMPLES = 100

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
# The model to optimise
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
# The teacher model to calculate the KL divergence against
teacher_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-1.5B-Instruct")

train_dataset = Dataset.from_dict(
    {
        "messages": [
            [
                {"role": "user", "content": "Hi, how are you?"},
                {"role": "assistant", "content": "I'm great thanks"},
            ]
        ]
        * NUM_DUMMY_SAMPLES
    }
)
eval_dataset = Dataset.from_dict(
    {
        "messages": [
            [
                {"role": "user", "content": "What colour is the sky?"},
                {"role": "assistant", "content": "The sky is blue"},
            ]
        ]
        * NUM_DUMMY_SAMPLES
    }
)

training_args = GKDConfig(output_dir="gkd-model", per_device_train_batch_size=1)
trainer = GKDTrainer(
    model=model,
    teacher_model=teacher_model,
    args=training_args,
    processing_class=tokenizer,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
)
trainer.train()

Ожидаемый тип набора данных

Набор данных должен быть оформлен в виде списка «сообщений», где каждое сообщение представляет собой список словарей со следующими ключами:

  • role: одно из значений system, assistant или user
  • content: содержимое сообщения

GKDTrainer

класс trl.experimental.gkd.GKDTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneteacher_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str] = Noneargs: trl.experimental.gkd.gkd_config.GKDConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Noneformatting_func: collections.abc.Callable | None = None )

Параметры

  • model (PreTrainedModel или torch.nn.Module или str, необязательный) — Модель, подлежащая обучению, или строковый идентификатор модели, которая будет создана из предобученной модели.
  • teacher_model (PreTrainedModel или torch.nn.Module или str, необязательный) — Модель-учитель для дистилляции знаний или строковый идентификатор модели, которая будет создана из предобученной модели.
  • args (experimental.gkd.GKDConfig, необязательный) — Аргументы обучения.
  • data_collator (DataCollator, необязательный) — Коллатор данных для формирования батчей из образцов набора данных. По умолчанию используется experimental.utils.DataCollatorForChatML с processing_class.
  • train_dataset (Dataset, необязательный) — Набор данных для обучения.
  • eval_dataset (Dataset или dict из Dataset, необязательный) — Набор данных для оценки.
  • processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin или ProcessorMixin, необязательный) — Класс для обработки данных.
  • compute_metrics (Callable, необязательный) — Функция для вычисления метрик при оценке. Принимает EvalPrediction и возвращает словарь, сопоставляющий строки с числами с плавающей точкой.
  • callbacks (list из TrainerCallback, необязательный) — Обработчики событий, используемые во время обучения.
  • optimizers (tuple из torch.optim.Optimizer и torch.optim.lr_scheduler.LambdaLR, необязательный, по умолчанию (None, None)) — Кортеж, содержащий оптимизатор и планировщик скорости обучения, используемые для обучения.
  • preprocess_logits_for_metrics (Callable, необязательный) — Функция для предобработки logits перед вычислением метрик. Должна принимать logits и labels и возвращать logits, которые будут использоваться для вычисления метрик.
  • peft_config (PeftConfig, необязательный) — Конфигурация PEFT для использования PEFT при обучении. Если None, PEFT не используется. Если указано, model будет обёрнута с помощью указанного адаптера PEFT.
  • formatting_func (Callable, необязательный) — Функция для форматирования набора данных. Должна принимать пример и возвращать пример.

Trainer для обобщённой дистилляции знаний (GKD) языковых моделей.

Подробнее о GKD см. в статье: Дистилляция языковых моделей с на-политикой: обучение на собственных ошибках.

обучение

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Параметры

  • resume_from_checkpoint (str или bool, необязательный) — Если передано значение типа str, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляром Trainer. Если передано значение типа bool и оно равно True, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляром Trainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки.
  • trial (optuna.Trial или dict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров.
  • ignore_keys_for_eval (list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.

Возвращает

~trainer_utils.TrainOutput

Объект, содержащий количество глобальных шагов, потерю обучения и метрики.

Основная точка входа для обучения.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().

Сохранение будет выполняться только из основного процесса.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Параметры

  • commit_message (str, необязательный, по умолчанию "End of training") — Сообщение для коммита при отправке.
  • blocking (bool, необязательный, по умолчанию True) — Определяет, должна ли функция возвращаться только после завершения git push.
  • token (str, необязательный, по умолчанию None) — Токен с правом записи для перезаписи исходных аргументов Trainer.
  • revision (str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”.
  • private (bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значение args.hub_private_repo. Не имеет эффекта, если репозиторий уже существует.
  • kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в ~Trainer.create_model_card.

Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.

GKDConfig

класс trl.experimental.gkd.GKDConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 2e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonechat_template_path: str | None = Nonedataset_text_field: str = 'text'dataset_kwargs: dict[str, typing.Any] | str | None = Nonedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'shuffle_dataset: bool = Falsepacking: bool = Falsepacking_strategy: str = 'bfd'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'eval_packing: bool | None = Nonecompletion_only_loss: bool | None = Noneassistant_only_loss: bool = Falseloss_type: str = 'nll'activation_offloading: bool = Falsepad_token: str | None = Nonetemperature: float = 0.9lmbda: float = 0.5beta: float = 0.5max_new_tokens: int = 128teacher_model_name_or_path: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Nonedisable_dropout: bool = Trueseq_kd: bool = False )

Параметры

  • temperature (float, необязательный, по умолчанию 0.9) — Температура для выборки. Чем выше температура, тем более случайными будут завершения.
  • lmbda (float, необязательный, по умолчанию 0.5) — Параметр Lambda, управляющий долей данных студента (т. е. пропорцией выходов, сгенерированных студентом по его собственной политике).
  • beta (float, необязательный, по умолчанию 0.5) — Коэффициент интерполяции между 0.0 и 1.0 для функции потерь Generalized Jensen-Shannon Divergence. Если beta равно 0.0, функция потерь представляет собой KL-дивергенцию. Если beta равно 1.0, функция потерь представляет собой Inverse KL Divergence.
  • max_new_tokens (int, необязательный, по умолчанию 128) — Максимальное количество токенов, генерируемых на один запрос.
  • teacher_model_name_or_path (str, необязательный) — Имя или путь к учителю (teacher model). Если None, учитель будет тем же, что и модель, которая обучается.
  • teacher_model_init_kwargs (dict[str, Any], необязательный) — Параметры, передаваемые в AutoModelForCausalLM.from_pretrained при создании модели-учителя из строки.
  • disable_dropout (bool, необязательный, по умолчанию True) — Определяет, следует ли отключить dropout в модели.
  • seq_kd (bool, необязательный, по умолчанию False) — Параметр, управляющий выполнением Sequence-Level KD (можно рассматривать как supervised FT на выходных данных, сгенерированных teacher-моделью).

Класс конфигурации для experimental.gkd.GKDTrainer.

Этот класс содержит только параметры, специфичные для обучения GKD. Полный список аргументов обучения см. в документации TrainingArguments и SFTConfig.

Update on GitHub