TRL documentation
Тренер обобщенной дистилляции знаний
Тренер обобщенной дистилляции знаний
Обзор
Обобщённая дистилляция знаний (GKD) была предложена в работе On-Policy Distillation of Language Models: Learning from Self-Generated Mistakes Р. Агарвалом, Н. Вийярдом, Ю. Чжоу, П. Станччиком, С. Рамосом, М. Гейстом и О. Бахемом.
Аннотация из статьи следующая:
Метод дистилляции знаний (KD) широко применяется для сжатия модели-учителя с целью снижения затрат на инференс и потребления памяти путём обучения более компактной модели-ученика. Однако существующие методы KD для авто-регрессионных последовательных моделей страдают от рассогласования распределений между выходными последовательностями, на которых обучается модель, и теми, которые генерирует ученик во время инференса. Для решения этой проблемы мы предлагаем Generalized Knowledge Distillation (GKD). Вместо того чтобы полагаться исключительно на фиксированный набор выходных последовательностей, GKD обучает ученика на его собственных сгенерированных выходных последовательностях, используя обратную связь от учителя по таким последовательностям. В отличие от методов KD с учителем, GKD также обеспечивает гибкость в использовании альтернативных функций потерь между учеником и учителем, что может быть полезно, когда ученик не обладает достаточной выразительностью, чтобы имитировать распределение учителя. Кроме того, GKD позволяет бесшовно интегрировать дистилляцию с дообучением с подкреплением (RLHF). Мы демонстрируем эффективность GKD для дистилляции авто-регрессионных языковых моделей на задачах суммаризации, перевода и арифметического рассуждения, а также для дистилляции, не зависящей от конкретной задачи, в контексте instruction-tuning.
Ключевые аспекты GKD:
- Он устраняет рассогласование распределений между этапами обучения и инференса в авто-регрессионных последовательных моделях, обучая модель-ученика на последовательностях, сгенерированных ею самой.
- GKD обеспечивает гибкость при выборе различных мер расхождения между моделями-учениками и моделями-наставниками с помощью обобщённого расхождения Йенсена–Шаннона (JSD), что может быть полезно, когда модель-ученик не обладает достаточной ёмкостью для полного копирования модели-наставника.
Этот метод постобучения был предложен Kashif Rasul и Lewis Tunstall.
Советы по использованию
Класс experimental.gkd.GKDTrainer является обёрткой над классом SFTTrainer и принимает в качестве аргумента модель-учителя. Для его работы необходимо задать три параметра через experimental.gkd.GKDConfig, а именно:
lmbda: управляет долей данных студента, то есть пропорцией выходов, сгенерированных студентом по его собственной политике. Приlmbda=0.0функция потерь сводится к надзорному JSD, где студент обучается на токенных вероятностях учителя. Приlmbda=1.0функция потерь сводится к on-policy JSD, где студент генерирует последовательности выходов, а учитель предоставляет токенную обратную связь по этим последовательностям. Для значений в диапазоне [0, 1] выбор между этими двумя режимами происходит случайно для каждой партии в соответствии со значениемlmbda.seq_kd: управляет выполнением Sequence-Level KD (можно рассматривать как supervised FT на выходе, сгенерированном учителем). Приseq_kd=Trueиlmbda=0.0функция потерь сводится к supervised JSD, где учитель генерирует выходные последовательности, а ученик получает токен-специфичную обратную связь от учителя по этим последовательностям.beta: управляет интерполяцией в обобщённой дивергенции Дженсена–Шаннона. Приbeta=0.0функция потерь приближает прямую дивергенцию КЛ, а приbeta=1.0— обратную дивергенцию КЛ. Для значений в диапазоне [0, 1] происходит интерполяция между ними.
Авторы выяснили, что данные on-policy (высокое значение lmbda) показывают лучшие результаты, а оптимальное значение beta варьировалось в зависимости от задачи и метода оценки.
Убедитесь, что при обучении моделей Gemma используется
attn_implementation="kernels-community/flash-attn2". В противном случае в логитах возникнут значения NaN из-за техники мягкого ограничения, применяемой в этой архитектуре.
Базовый API выглядит следующим образом:
from datasets import Dataset
from transformers import AutoModelForCausalLM, AutoTokenizer
from trl.experimental.gkd import GKDConfig, GKDTrainer
NUM_DUMMY_SAMPLES = 100
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
# The model to optimise
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
# The teacher model to calculate the KL divergence against
teacher_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-1.5B-Instruct")
train_dataset = Dataset.from_dict(
{
"messages": [
[
{"role": "user", "content": "Hi, how are you?"},
{"role": "assistant", "content": "I'm great thanks"},
]
]
* NUM_DUMMY_SAMPLES
}
)
eval_dataset = Dataset.from_dict(
{
"messages": [
[
{"role": "user", "content": "What colour is the sky?"},
{"role": "assistant", "content": "The sky is blue"},
]
]
* NUM_DUMMY_SAMPLES
}
)
training_args = GKDConfig(output_dir="gkd-model", per_device_train_batch_size=1)
trainer = GKDTrainer(
model=model,
teacher_model=teacher_model,
args=training_args,
processing_class=tokenizer,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
)
trainer.train()Ожидаемый тип набора данных
Набор данных должен быть оформлен в виде списка «сообщений», где каждое сообщение представляет собой список словарей со следующими ключами:
role: одно из значенийsystem,assistantилиusercontent: содержимое сообщения
GKDTrainer
класс trl.experimental.gkd.GKDTrainer
< source >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneteacher_model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str] = Noneargs: trl.experimental.gkd.gkd_config.GKDConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalPrediction], dict] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Noneformatting_func: collections.abc.Callable | None = None )
Параметры
- model (PreTrainedModel или
torch.nn.Moduleилиstr, необязательный) — Модель, подлежащая обучению, или строковый идентификатор модели, которая будет создана из предобученной модели. - teacher_model (PreTrainedModel или
torch.nn.Moduleилиstr, необязательный) — Модель-учитель для дистилляции знаний или строковый идентификатор модели, которая будет создана из предобученной модели. - args (experimental.gkd.GKDConfig, необязательный) — Аргументы обучения.
- data_collator (
DataCollator, необязательный) — Коллатор данных для формирования батчей из образцов набора данных. По умолчанию используетсяexperimental.utils.DataCollatorForChatMLсprocessing_class. - train_dataset (Dataset, необязательный) — Набор данных для обучения.
- eval_dataset (Dataset или
dictиз Dataset, необязательный) — Набор данных для оценки. - processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin или ProcessorMixin, необязательный) — Класс для обработки данных.
- compute_metrics (
Callable, необязательный) — Функция для вычисления метрик при оценке. Принимает EvalPrediction и возвращает словарь, сопоставляющий строки с числами с плавающей точкой. - callbacks (
listиз TrainerCallback, необязательный) — Обработчики событий, используемые во время обучения. - optimizers (
tupleизtorch.optim.Optimizerиtorch.optim.lr_scheduler.LambdaLR, необязательный, по умолчанию(None, None)) — Кортеж, содержащий оптимизатор и планировщик скорости обучения, используемые для обучения. - preprocess_logits_for_metrics (
Callable, необязательный) — Функция для предобработки logits перед вычислением метрик. Должна приниматьlogitsиlabelsи возвращать logits, которые будут использоваться для вычисления метрик. - peft_config (
PeftConfig, необязательный) — Конфигурация PEFT для использования PEFT при обучении. ЕслиNone, PEFT не используется. Если указано,modelбудет обёрнута с помощью указанного адаптера PEFT. - formatting_func (
Callable, необязательный) — Функция для форматирования набора данных. Должна принимать пример и возвращать пример.
Trainer для обобщённой дистилляции знаний (GKD) языковых моделей.
Подробнее о GKD см. в статье: Дистилляция языковых моделей с на-политикой: обучение на собственных ошибках.
обучение
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Параметры
- resume_from_checkpoint (
strилиbool, необязательный) — Если передано значение типаstr, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляромTrainer. Если передано значение типаboolи оно равноTrue, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляромTrainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки. - trial (
optuna.Trialилиdict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров. - ignore_keys_for_eval (
list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.
Возвращает
~trainer_utils.TrainOutput
Объект, содержащий количество глобальных шагов, потерю обучения и метрики.
Основная точка входа для обучения.
Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().
Сохранение будет выполняться только из основного процесса.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Параметры
- commit_message (
str, необязательный, по умолчанию"End of training") — Сообщение для коммита при отправке. - blocking (
bool, необязательный, по умолчаниюTrue) — Определяет, должна ли функция возвращаться только после завершенияgit push. - token (
str, необязательный, по умолчаниюNone) — Токен с правом записи для перезаписи исходных аргументов Trainer. - revision (
str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”. - private (
bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значениеargs.hub_private_repo. Не имеет эффекта, если репозиторий уже существует. - kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в~Trainer.create_model_card.
Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.
GKDConfig
класс trl.experimental.gkd.GKDConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 2e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonechat_template_path: str | None = Nonedataset_text_field: str = 'text'dataset_kwargs: dict[str, typing.Any] | str | None = Nonedataset_num_proc: int | None = Noneeos_token: str | None = Nonemax_length: int | None = 1024truncation_mode: str = 'keep_start'shuffle_dataset: bool = Falsepacking: bool = Falsepacking_strategy: str = 'bfd'padding_free: bool = Falsepad_to_multiple_of: int | str | None = 'auto'eval_packing: bool | None = Nonecompletion_only_loss: bool | None = Noneassistant_only_loss: bool = Falseloss_type: str = 'nll'activation_offloading: bool = Falsepad_token: str | None = Nonetemperature: float = 0.9lmbda: float = 0.5beta: float = 0.5max_new_tokens: int = 128teacher_model_name_or_path: str | None = Noneteacher_model_init_kwargs: dict[str, typing.Any] | str | None = Nonedisable_dropout: bool = Trueseq_kd: bool = False )
Параметры
- temperature (
float, необязательный, по умолчанию0.9) — Температура для выборки. Чем выше температура, тем более случайными будут завершения. - lmbda (
float, необязательный, по умолчанию0.5) — Параметр Lambda, управляющий долей данных студента (т. е. пропорцией выходов, сгенерированных студентом по его собственной политике). - beta (
float, необязательный, по умолчанию0.5) — Коэффициент интерполяции между0.0и1.0для функции потерь Generalized Jensen-Shannon Divergence. Если beta равно0.0, функция потерь представляет собой KL-дивергенцию. Если beta равно1.0, функция потерь представляет собой Inverse KL Divergence. - max_new_tokens (
int, необязательный, по умолчанию128) — Максимальное количество токенов, генерируемых на один запрос. - teacher_model_name_or_path (
str, необязательный) — Имя или путь к учителю (teacher model). ЕслиNone, учитель будет тем же, что и модель, которая обучается. - teacher_model_init_kwargs (
dict[str, Any], необязательный) — Параметры, передаваемые вAutoModelForCausalLM.from_pretrainedпри создании модели-учителя из строки. - disable_dropout (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли отключить dropout в модели. - seq_kd (
bool, необязательный, по умолчаниюFalse) — Параметр, управляющий выполнением Sequence-Level KD (можно рассматривать как supervised FT на выходных данных, сгенерированных teacher-моделью).
Класс конфигурации для experimental.gkd.GKDTrainer.
Этот класс содержит только параметры, специфичные для обучения GKD. Полный список аргументов обучения см. в документации TrainingArguments и SFTConfig.