# SDFT

يُوصف ضبط الدقة الذاتي المُقطّر (SDFT) في ورقة [Self-Distillation Enables Continual Learning](https://huggingface.co/papers/2601.19897) التي كتبها Idan Shenfeld وMehul Damani وJonas Hübotter وPulkit Agrawal.

> يُعدّ التعلّم المستمر، الذي يمكّن النماذج من اكتساب مهارات ومعارف جديدة دون تدهور القدرات القائمة، تحديًا جوهريًا للنماذج الأساسية. وعلى الرغم من أن تعلّم التعزيز على السياسة (on-policy) يمكن أن يقلّل من النسيان، إلا أنه يتطلب دوال مكافأة صريحة غالبًا ما تكون غير متاحة. ويهيمن تعلّم الإشراف الدقيق (SFT) على البديل الرئيسي المتمثل في التعلّم من عروض الخبراء، وهو تعلّم خارج السياسة بطبيعته. نُقدّم هنا تعلّم الإشراف الدقيق بالتقطير الذاتي (SDFT)، وهو أسلوب بسيط يمكّن من التعلّم على السياسة مباشرةً من العروض. يستفيد SDFT من التعلّم في السياق (in-context learning) من خلال استخدام نموذج مشروط على العرض كمعلّم لنفسه، مما يولّد إشارات تدريب على السياسة تحافظ على القدرات السابقة أثناء اكتساب مهارات جديدة. وعلى مدى مهام اكتساب المهارات واكتساب المعرفة، يتفوق SDFT باستمرار على SFT، محققًا دقة أعلى للمهام الجديدة مع تقليل النسيان الكارثي بشكل كبير. وفي تجارب التعلّم التسلسلي، يمكّن SDFT نموذجًا واحدًا من تراكم مهارات متعددة مع مرور الوقت دون تراجع في الأداء، مما يرسّخ التقطير على السياسة كطريق عملي نحو التعلّم المستمر من العروض.

## كيف يعمل

يُدرّب الضبط الدقيق الإشرافي العادي على نص العرض خارج السياسة، مما يميل إلى تجاوز القدرات السابقة. يتعلم SDFT على السياسة بدلاً من ذلك: يولّد الطالب من `prompt` العادي، ويعيد المعلم — وهو النموذج نفسه الذي يُعرض عليه `prompt` بالإضافة إلى `privileged_context` الخاص بالمثال — تقييم تلك الرموز، ثم يُدمج توزيعه المشروط على العرض مرة أخرى في الطالب. المعلم والطالب شبكة واحدة تختلف فقط في ما تراه، مما يُنشئ حلقة *تقطير ذاتي*.

## اختيار المعلم

`teacher_model_kind` يحدد النسخة من النموذج التي تعمل كمعلم. `"base"` (الافتراضي) يجمّد الأوزان الأولية كمرجع ثابت، بما يتوافق مع الورقة البحثية؛ `"live"` يعيد استخدام الطالب الحالي كمعلم ذاتي بدون تأخير؛ `"ema"` يحافظ على متوسط متحرك أسي، يُعاد مزامنته كل `teacher_sync_steps` خطوات بمعدل `teacher_update_rate`. في إطار PEFT، يُحصل على `"base"` عن طريق تعطيل المُكيّف (adapter) أثناء التقدّم الأمامي للمعلم لاستعادة أوزان النموذج الأساسي، بينما `"ema"` مع تدريب LoRA خالص يحتفظ بالمتوسط المتحرك في مُكيّف مخصص باسم `"teacher"` بدلاً من نسخة ثانية من النموذج. `"ema"` مع نموذج PEFT غير LoRA خالص (مثل `modules_to_save` أو `bias`) غير مدعوم، لأن نسخة EMA منفصلة لا يمكن مطابقتها مع الطالب على مستوى المعاملات.

بشكل افتراضي، يولّد الطالب من الموجه العادي؛ اضبط `generate_from_teacher=True` لتوليد العينات من الموجه المشروط بالعرض بدلاً من ذلك، مما يوازن بين الأمانة على السياسة مقابل جودة أعلى للنتائج. يُحدَّد هدف التقطير بواسطة `distillation_mode` (افتراضياً `"topk_logits"`، مع بدائل `"full_logits"` و`"sampled_token"`)، و`distillation_alpha`، و`distillation_topk`؛ بينما يستبعد `num_loss_tokens_to_skip` رموز الإكمال الأولية من الخسارة. التدريب نصي فقط؛ التوليد يتم عبر transformers افتراضياً، أو عبر vLLM (وضع التشارك أو وضع الخادم) عند ضبط `use_vllm=True`.

## الاستخدام

```python
from datasets import Dataset

from trl.experimental.sdft import SDFTConfig, SDFTTrainer

dataset = Dataset.from_dict(
    {
        "prompt": [[{"role": "user", "content": "Solve 2+2."}]],
        "privileged_context": ["Example answer: 4."],
    }
)

training_args = SDFTConfig(
    output_dir="sdft-model",
    distillation_alpha=0.5,
    distillation_mode="topk_logits",
    distillation_topk=5,
    max_completion_length=64,
)

trainer = SDFTTrainer(
    model="Qwen/Qwen2.5-1.5B-Instruct",
    args=training_args,
    train_dataset=dataset,
)
trainer.train()
```

لتوليد النص من موجه المعلم المشروط بدلاً من موجه الطالب، اضبط `generate_from_teacher=True`. لتخصيص طريقة بناء موجه المعلم، اضبط `teacher_prompt_template` على [experimental.sdft.SDFTConfig](/docs/trl/v1.18.0/ar/sdft_trainer#trl.experimental.sdft.SDFTConfig).

## تقديم المعلم من خادم vLLM

عند استخدام `teacher_model_kind="live"` يكون المعلم هو الطالب الحالي، الذي تحتفظ أوزانه بالفعل بخادم **server** الخاص بـ vLLM (حيث تتم مزامنتها للتوليد في كل خطوة). اضبط `use_teacher_server=True` لتقييم احتمالات السجلات (log-probabilities) للمعلم على نفس الخادم بدلاً من تشغيل تمريرة أمامية محلية منفصلة للمعلم، مما يُزيل المعلم تماماً من خطوة التدريب:

```python
training_args = SDFTConfig(
    output_dir="sdft-model",
    use_vllm=True,
    vllm_mode="server",
    teacher_model_kind="live",
    use_teacher_server=True,
    distillation_mode="sampled_token",
)
```

عند استخدام خادم المعلم:

- `use_vllm=True` و`vllm_mode="server"` مطلوبان
- يجب أن يكون `teacher_model_kind` هو `"live"` (حيث يحتفظ الخادم بأوزان الطالب الحالية)
- يجب أن يكون `distillation_mode` إما `"sampled_token"` (KL العكسي على الرمز المُنجَز) أو `"topk_logits"`. تُرجع الخادم احتمالات السجل (log-probs) الخاصة بأفضل k من المعلم، لذا فإن `topk_logits` يُجري التقطير عبر دعم أفضل k للمعلم (لا يمكنه استخدام دعم الطالب، على عكس الهدف المحلي)؛ ومع معلم من نوع `"live"` يتطابق الدعمان تقريبًا. `full_logits` غير متوفر.

## أعمدة مجموعة البيانات المتوقعة

يجب أن يوفر كل مثال:

- `prompt`: الأمر الموجَّه إلى الطالب
- `privileged_context`: المعلومات الإضافية الخاصة بالمعلم فقط، مثل عرض توضيحي أو تلميح أو تغذية راجعة خاصة

يدعم مُعالِج المُوجِّهات في المُدرِّب كلا من المُوجِّهات النصية القياسية والمُوجِّهات الحوارية.

## المكالمات العكسية

يُصدر المُدرِّب مجموعة صغيرة من خطافات الاستدعاء (callback hooks) المفيدة للتصحيح، والمراقبة، والاختبارات. وقد صُمِّمت هذه الخطافات كنقاط تكامل عملية لتدفقات العمل التجريبية للتقطير الذاتي.

خطافات التقطير الذاتي المشتركة:

- `on_self_distillation_batch_prepared`: يُطلق عند اكتمال دفعة التلقائي التلقائي. تتضمن الحمولة `prompt_ids` و`completion_ids` و`old_per_token_logps` عندما تكون مدخلات قصّ أخذ العينات حسب الأهمية متاحة.
- `on_generation_batch_built`: يُطلق عند إنشاء دفعة توليد مخزّنة جديدة. يتضمن الحمولة `generate_every` و`steps_per_generation`.

خطاف خاص بـ SDFT:

- `on_generation_prompts_selected`: يُطلق عند اختيار SDFT لمصدر الموجّهات للتوليد وفق السياسة. تتضمن الحمولة `generation_prompts` المختارة و`generation_prompt_text` المقابلة لها.

## مثال على السكربت

استخدم [`examples/sdft_privileged_context/sdft_privileged_context.py`](https://github.com/huggingface/trl/blob/main/examples/sdft_privileged_context/sdft_privileged_context.py) لإطلاق تدريب SDFT من سطر الأوامر. يدعم هذا السكربت أي نموذج LM سببي من Hub، بالإضافة إلى مجموعات البيانات المحلية المخصصة عبر `--dataset_path`، وتقنيات PEFT/LoRA عبر أعلام `ModelConfig` القياسية.

```bash
python examples/sdft_privileged_context/sdft_privileged_context.py \
    --model_name_or_path Qwen/Qwen3.5-0.8B \
    --dataset_name your-org/your-dataset \
    --output_dir outputs/sdft-qwen3.5-0.8b \
    --per_device_train_batch_size 1 \
    --gradient_accumulation_steps 16 \
    --learning_rate 2e-5 \
    --max_prompt_length 1024 \
    --max_completion_length 512 \
    --generate_from_teacher \
    --teacher_model_kind ema \
    --teacher_sync_steps 1 \
    --teacher_update_rate 0.05 \
    --eval_strategy steps \
    --eval_steps 50 \
    --report_to wandb
```

يتوفر التنفيذ الأصلي في [idanshen/Self-Distillation](https://github.com/idanshen/Self-Distillation).

## SDFTConfig[[trl.experimental.sdft.SDFTConfig]]

#### trl.experimental.sdft.SDFTConfig[[trl.experimental.sdft.SDFTConfig]]

```python
trl.experimental.sdft.SDFTConfig(output_dir: str | None = None, per_device_train_batch_size: int = 8, num_train_epochs: float = 3.0, max_steps: int = -1, learning_rate: float = 5e-05, lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear', lr_scheduler_kwargs: dict | str | None = None, warmup_steps: float = 0, optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused', optim_args: str | None = None, weight_decay: float = 0.0, adam_beta1: float = 0.9, adam_beta2: float = 0.999, adam_epsilon: float = 1e-08, optim_target_modules: None | str | list[str] = None, gradient_accumulation_steps: int = 1, average_tokens_across_devices: bool = True, max_grad_norm: float = 1.0, label_smoothing_factor: float = 0.0, bf16: bool | None = None, fp16: bool = False, bf16_full_eval: bool = False, fp16_full_eval: bool = False, tf32: bool | None = None, activation_checkpointing: bool | None = None, activation_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, gradient_checkpointing: bool = True, gradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = None, torch_compile: bool = False, torch_compile_backend: str | None = None, torch_compile_mode: str | None = None, use_liger_kernel: bool = False, liger_kernel_config: dict[str, bool] | None = None, use_cache: bool = False, neftune_noise_alpha: float | None = None, torch_empty_cache_steps: int | None = None, auto_find_batch_size: bool = False, logging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps', logging_steps: float = 10, logging_first_step: bool = False, log_on_each_node: bool = True, logging_nan_inf_filter: bool = True, include_num_input_tokens_seen: str | bool = 'no', log_level: str = 'passive', log_level_replica: str = 'warning', disable_tqdm: bool | None = None, report_to: None | str | list[str] = 'none', run_name: str | None = None, project: str = 'huggingface', trackio_space_id: str | None = None, trackio_bucket_id: str | None = None, trackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = None, eval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no', eval_steps: float | None = None, eval_delay: float = 0, per_device_eval_batch_size: int = 8, prediction_loss_only: bool = False, eval_on_start: bool = False, eval_do_concat_batches: bool = True, eval_use_gather_object: bool = False, eval_accumulation_steps: int | None = None, include_for_metrics: list[str] = <factory>, batch_eval_metrics: bool = False, save_only_model: bool = False, save_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps', save_steps: float = 500, save_on_each_node: bool = False, save_total_limit: int | None = None, enable_jit_checkpoint: bool = False, push_to_hub: bool = False, hub_token: str | None = None, hub_private_repo: bool | None = None, hub_model_id: str | None = None, hub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save', hub_always_push: bool = False, hub_revision: str | None = None, load_best_model_at_end: bool = False, metric_for_best_model: str | None = None, greater_is_better: bool | None = None, ignore_data_skip: bool = False, restore_callback_states_from_checkpoint: bool = False, full_determinism: bool = False, seed: int = 42, data_seed: int | None = None, use_cpu: bool = False, accelerator_config: dict | str | None = None, parallelism_config: accelerate.parallelism_config.ParallelismConfig | None = None, dataloader_drop_last: bool = False, dataloader_num_workers: int = 0, dataloader_pin_memory: bool = True, dataloader_persistent_workers: bool = False, dataloader_prefetch_factor: int | None = None, dataloader_multiprocessing_context: str | None = None, dataloader_in_order: bool = True, remove_unused_columns: bool = False, label_names: list[str] | None = None, train_sampling_strategy: str = 'random', length_column_name: str = 'length', ddp_find_unused_parameters: bool | None = None, ddp_bucket_cap_mb: int | None = None, ddp_broadcast_buffers: bool | None = None, ddp_static_graph: bool | None = None, ddp_backend: str | None = None, ddp_timeout: int = 1800, fsdp: str | None = None, fsdp_config: dict[str, typing.Any] | str | None = None, deepspeed: dict | str | None = None, debug: str | list[transformers.debug_utils.DebugOption] = '', skip_memory_metrics: bool = True, do_train: bool = False, do_eval: bool = False, do_predict: bool = False, resume_from_checkpoint: str | None = None, local_rank: int = -1, model_init_kwargs: dict[str, typing.Any] | None = None, trust_remote_code: bool = False, disable_dropout: bool = True, max_prompt_length: int | None = 512, num_generations: int = 8, num_generations_eval: int | None = None, max_completion_length: int | None = 256, ds3_gather_for_generation: bool = True, shuffle_dataset: bool = True, generation_batch_size: int | None = None, steps_per_generation: int | None = None, temperature: float = 1.0, top_p: float = 1.0, top_k: int = 0, min_p: float | None = None, generation_kwargs: dict[str, typing.Any] | None = None, chat_template_kwargs: dict[str, typing.Any] | None = None, repetition_penalty: float = 1.0, cache_implementation: str | None = None, use_vllm: bool = False, use_teacher_server: bool = False, vllm_mode: str = 'colocate', vllm_model_impl: str = 'vllm', vllm_enable_sleep_mode: bool = False, vllm_server_base_url: str | None = None, vllm_server_host: str = '0.0.0.0', vllm_server_port: int = 8000, vllm_group_port: int = 51216, vllm_server_timeout: float = 240.0, vllm_tensor_parallel_size: int = 1, vllm_gpu_memory_utilization: float = 0.3, vllm_max_model_length: int | None = None, num_iterations: int = 1, teacher_model_kind: str = 'base', teacher_update_rate: float = 0.05, teacher_sync_steps: int = 1, distillation_alpha: float = 0.5, distillation_mode: typing.Literal['sampled_token', 'full_logits', 'topk_logits'] = 'topk_logits', distillation_topk: int | None = 100, distillation_is_clip: float | None = 2.0, distillation_add_tail: bool = False, generate_from_teacher: bool = False, teacher_prompt_template: str = '{prompt}\n\n{privileged_context}', num_loss_tokens_to_skip: int = 0)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/experimental/sdft/sdft_config.py#L24)

**المعاملات التي تتحكم في خسارة SDFT:**

distillation_alpha (`float`، *اختياري*، القيمة الافتراضية `0.5`) : معامل استيفاء التباعد لتقطير لوغاريتمات SDFT top-k.

distillation_mode (`Literal["sampled_token", "full_logits", "topk_logits"]`، *اختياري*، القيمة الافتراضية `"topk_logits"`) : وضع هدف التقطير. يعتمد SDFT افتراضيًا على تقطير top-k logits.

distillation_topk (`int`، *اختياري*، القيمة الافتراضية `100`) : عدد الرموز العلوية المستخدمة في هدف SDFT الافتراضي logit الخاص بـ top-k.

distillation_is_clip (`float`، *اختياري*، القيمة الافتراضية `2.0`) : معامل القصّ لعينة الأهمية في التلقائي الذاتي. تعطيل `None` القصّ.

distillation_add_tail (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب إضافة دلو ذيل لكتلة الاحتمال غير الأعلى-ك.

num_loss_tokens_to_skip (`int`، *اختياري*، القيمة الافتراضية `0`) : عدد رموز الإكمال الأولية التي يجب استبعادها من خسارة التقطير.

**المعاملات التي تتحكم في المعلم:**

teacher_model_kind (`str`، *اختياري*، القيمة الافتراضية `"base"`) : اختيار المعلم الدلالي لـ SDFT. يستخدم `base` الطالب الأولي، ويستخدم `live` الطالب الحالي، بينما يستخدم `ema` معلمًا متوسطًا أُسّيًا.

teacher_update_rate (`float`، *اختياري*، القيمة الافتراضية `0.05`) : معدل تحديث EMA المستخدم عندما يكون `teacher_model_kind="ema"`. القيمة `1.0` تقلل التحديث إلى تجاوز قاسٍ، مما يعيد مزامنة المعلم مع أوزان الطالب الحالية بشكل دوري.

teacher_sync_steps (`int`، *اختياري*، القيمة الافتراضية `1`) : عدد خطوات المُحسِّن بين تحديثات المعلم.

**المعاملات التي تتحكم في التوليد المشروط على المعلم:**

generate_from_teacher (`bool`، *اختياري*، الافتراضي `False`) : ما إذا كان يجب على التوليد وفق السياسة استخدام الموجه المشروط بالمعلم بدلاً من موجه الطالب.

teacher_prompt_template (`str`، *اختياري*، القيمة الافتراضية `"{prompt}\n\n{privileged_context}"`) : القالب المستخدم لدمج موجه الطالب والسياق المميز في موجه المعلم.

**المعاملات التي تتحكم في النموذج:**

model_init_kwargs (`dict[str, Any]`، *اختياري*) : حُجج الكلمات المفتاحية لـ`transformers.AutoModelForCausalLM.from_pretrained`، تُستخدم عندما يُقدَّم الحُجج `model` الخاص بـ`SDFTTrainer` كنص. كما يُستخدم قيمة `revision` عند تحميل فئة المعالجة.

trust_remote_code (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم السماح بتحميل النماذج ومعالجات الرموز التي تتضمن أكواد بايثون مخصصة من Hub. يتم تمرير هذا الخيار إلى [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoModelForCausalLM.from_pretrained) و [from_pretrained](https://huggingface.co/docs/transformers/v5.23.0/en/model_doc/auto#transformers.AutoProcessor.from_pretrained) لكل من الطالب والمعلم.

disable_dropout (`bool`، *اختياري*، الافتراضي `True`) : ما إذا كان سيتم تعطيل إسقاط النقاط (dropout) في نموذج الطالب ونموذج المعلم.

**المعاملات التي تتحكم في معالجة البيانات المسبقة:**

remove_unused_columns (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب الإبقاء فقط على الأعمدة المطلوبة من قِبل المُدرِّب في مجموعة البيانات. أبقِ هذه القيمة على `False` إذا كنتَ تُوفِّر أعمدة إضافية (مثل `privileged_context`) يحتاجها المُدرِّب.

max_prompt_length (`int`، *اختياري*، القيمة الافتراضية `512`) : الحد الأقصى لطول الاستدعاء. يتم اقتطاع الاستدعاءات الأطول من الجهة اليسرى.

shuffle_dataset (`bool`، *اختياري*، الافتراضي `True`) : ما إذا كان سيتم خلط مجموعة بيانات التدريب.

**المعاملات التي تتحكم في التوليد:**

num_generations (`int`، *اختياري*، القيمة الافتراضية `8`) : عدد الأجيال التي سيتم أخذ عينات منها. يجب أن يكون حجم الدفعة الفعّال (num_processes * per_device_batch_size * gradient_accumulation_steps) قابلاً للقسمة على هذا الرقم دون باقي.

num_generations_eval (`int`, *اختياري*) : عدد الأجيال التي سيتم أخذ عينات منها أثناء التقييم. يتيح ذلك استخدام عدد أقل من الأجيال أثناء التقييم لتوفير الحسابات. إذا كان `None`، يتم استخدام قيمة `num_generations`.

max_completion_length (`int`، *اختياري*، القيمة الافتراضية `256`) : الحد الأقصى لطول الإكمال المولّد.

temperature (`float`، *اختياري*، القيمة الافتراضية `1.0`) : درجة الحرارة للعينات. كلما زادت درجة الحرارة، زادت عشوائية المكملات.

top_p (`float`، *اختياري*، القيمة الافتراضية `1.0`) : قيمة عشرية تتحكم في الاحتمال التراكمي لأعلى الرموز المراد أخذها في الاعتبار. يجب أن تكون ضمن المجال (0، 1]. اضبطها على 1.0 لاعتبار جميع الرموز.

top_k (`int`، *اختياري*، القيمة الافتراضية `0`) : عدد رموز المفردات ذات أعلى احتمالات التي يجب الاحتفاظ بها لتصفية top-k. إذا كانت القيمة `0`، يتم تعطيل تصفية top-k وتُعتبر جميع الرموز.

min_p (`float`, *اختياري*) : الحد الأدنى لاحتمالية الرمز، والذي يتم تحديده بالنسبة لاحتمالية الرمز الأكثر احتمالاً. يجب أن يكون قيمة بين 0.0 و 1.0. القيم النموذجية تقع ضمن نطاق 0.01-0.2.

repetition_penalty (`float`، *اختياري*، القيمة الافتراضية `1.0`) : قيمة عشرية تعاقب الرموز الجديدة بناءً على ما إذا كانت تظهر في الاستعلام والنص المولَّد حتى الآن. القيم الأكبر من 1.0 تشجع النموذج على استخدام رموز جديدة، بينما القيم الأصغر من 1.0 تشجع النموذج على تكرار الرموز.

cache_implementation (`str`، *اختياري*) : تنفيذ طريقة التخزين المؤقت لتسريع التوليد عند ضبط use_vllm على False.

generation_kwargs (`dict[str, Any]`، *اختياري*) : حُجج إضافية بالمفتاح والقيمة تمر إلى `GenerationConfig` (عند استخدام transformers) أو `SamplingParams` (عند استخدام vLLM) عند أخذ عينات من المكملات. يمكن استخدام هذا لتخصيص سلوك التوليد بشكل أكبر، مثل تعيين `suppress_tokens`، `num_beams`، وما إلى ذلك. إذا احتوى على مفاتيح تتعارض مع معاملات التوليد الأخرى (مثل `min_p`، `top_p`، وما إلى ذلك)، فستتجاوز تلك المعاملات.

chat_template_kwargs (`dict[str, Any]`، *اختياري*) : حُجج إضافية بالكلمات المفتاحية تُمرَّر إلى دالة `apply_chat_template` عند توليد الإكمالات.

ds3_gather_for_generation (`bool`، *اختياري*، القيمة الافتراضية `True`) : تنطبق هذه الإعدادات على DeepSpeed ZeRO-3. إذا تم تفعيلها، يتم تجميع أوزان نموذج السياسة للتوليد، مما يحسّن سرعة التوليد. ومع ذلك، فإن تعطيل هذا الخيار يتيح تدريب نماذج تتجاوز سعة ذاكرة VRAM لبطاقة رسومات واحدة، على الرغم من أن ذلك يأتي على حساب بطء التوليد. إن تعطيل هذا الخيار غير متوافق مع توليد vLLM.

**المعاملات التي تتحكم في تسريع التوليد المدعوم بواسطة vLLM:**

use_vllm (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم استخدام vLLM لتوليد الإكمالات. إذا تم ضبطه على `True`، فسيستخدم المدرب vLLM للتوليد بدلاً من model.generate() الافتراضي. يتطلب تثبيت `vllm`.

use_teacher_server (`bool`, *اختياري*، القيمة الافتراضية `False`) : حساب احتمالات المعلم (logprobs) من خادم توليد vLLM النشط بدلاً من تمرير محلي للمعلم. يُدعم فقط عند استخدام `teacher_model_kind='live'` مع `use_vllm=True` و`vllm_mode='server'`، وعند أن يكون `distillation_mode` ضمن {'sampled_token', 'topk_logits'} (حيث يعيد الخادم أعلى k من احتمالات المعلم، وليس كامل المفردات؛ بينما `topk_logits` يُجري التقطير على أعلى k من دعم المعلم نفسه).

vllm_mode (`str`، *اختياري*، القيمة الافتراضية `"colocate"`) : الوضع المستخدم لتكامل vLLM عند ضبط `use_vllm` على `True`. يجب أن يكون أحد `'server'` أو `'colocate'`. `'server'`: سيقوم المدرب بإرسال طلبات التوليد إلى خادم vLLM منفصل. تأكد من أن خادم vLLM قيد التشغيل (ابدأه باستخدام `vllm serve`). `'colocate'`: سيعمل vLLM في نفس العملية ويشارك وحدات معالجة الرسوميات (GPUs) الخاصة بالتدريب. هذا يتجنب الحاجة إلى خادم منفصل لكنه قد يسبب تنافساً على الموارد مع التدريب.

vllm_model_impl (`str`، *اختياري*، القيمة الافتراضية `"vllm"`) : تنفيذ النموذج المستخدم في vLLM. يجب أن يكون أحد `transformers` أو `vllm`. `transformers`: استخدم واجهة `transformers` لتنفيذ النموذج. `vllm`: استخدم مكتبة `vllm` لتنفيذ النموذج.

vllm_enable_sleep_mode (`bool`، *اختياري*، القيمة الافتراضية `False`) : تفعيل وضع السكون في vLLM لتفريغ الأوزان/الذاكرة المؤقتة أثناء خطوة المُحسِّن. يُبقي استخدام ذاكرة وحدة معالجة الرسوميات منخفضًا، لكن استيقاظ المحرّك يضيف زمن انتقال بين المضيف والوحدة.

vllm_server_base_url (`str`, *اختياري*) : عنوان URL الأساسي لخادم vLLM (مثل 'http://localhost:8000'). إذا تم تقديمه، يتم تجاهل `vllm_server_host` و`vllm_server_port`.

vllm_server_host (`str`، *اختياري*، القيمة الافتراضية `"0.0.0.0"`) : مضيف خادم vLLM الذي سيتم الاتصال به. يتم تجاهله إذا تم توفير vllm_server_base_url.

vllm_server_port (`int`، *اختياري*، القيمة الافتراضية `8000`) : منفذ خادم vLLM الذي يجب الاتصال به. يتم تجاهله إذا تم توفير vllm_server_base_url.

vllm_group_port (`int`، *اختياري*، القيمة الافتراضية `51216`) : رقم المنفذ لمجموعة تحديث الأوزان. يُستخدم هذا للتواصل مع خادم vLLM. ما لم يكن المنفذ مشغولاً، فلا حاجة لتغييره.

vllm_server_timeout (`float`، *اختياري*، القيمة الافتراضية `240.0`) : إجمالي مدة المهلة بالثواني للانتظار حتى يصبح خادم vLLM قيد التشغيل. إذا لم يكن الخادم قيد التشغيل بعد انتهاء المهلة، يتم رفع `ConnectionError`.

vllm_tensor_parallel_size (`int`، *اختياري*، القيمة الافتراضية `1`) : يتحكم في حجم التوازي للتensors في vLLM. لا تنطبق هذه الإعدادات إلا عند ضبط `vllm_mode` على `'colocate'`. إذا كنت تستخدم `vllm_mode='server'`، فيجب تمرير هذا المعامل بشكل منفصل عند تشغيل خادم vLLM عبر علم `--vllm_tensor_parallel_size`.

vllm_gpu_memory_utilization (`float`، *اختياري*، القيمة الافتراضية `0.3`) : يتحكم في استخدام ذاكرة وحدة معالجة الرسوميات (GPU) في vLLM. لا تنطبق هذه الإعدادات إلا عند ضبط `vllm_mode` على `'colocate'`. إذا كنت تستخدم `vllm_mode='server'`، فيجب تمرير هذا المعامل بشكل منفصل عند تشغيل خادم vLLM عبر علم `--vllm_gpu_memory_utilization`.

vllm_max_model_length (`int`, *اختياري*) : نافذة السياق لـ vLLM. اضبطها على الأقل على طول الإدخال الأقصى في مجموعة البيانات مضافًا إليه `max_completion_length`؛ وإذا تم تجاهلها، فستُستنتج من إعدادات النموذج.

**المعاملات التي تتحكم في التدريب:**

num_iterations (`int`، *اختياري*، القيمة الافتراضية `1`) : عدد التكرارات لكل دفعة (يُرمز له بـ μ في الخوارزمية).

generation_batch_size (`int`، *اختياري*) : حجم الدفعة (Batch size) المستخدم للتوليد. إذا كان `None`، فإنه يتحول افتراضيًا إلى حجم دفعة التدريب الفعلية: `per_device_train_batch_size * num_processes * steps_per_generation`.

steps_per_generation (`int`, *اختياري*) : عدد الخطوات لكل عملية توليد. إذا كانت `None`، فإن القيمة الافتراضية هي `gradient_accumulation_steps`.

فئة التهيئة الخاصة بـ [experimental.sdft.SDFTTrainer](/docs/trl/v1.18.0/ar/sdft_trainer#trl.experimental.sdft.SDFTTrainer).

## SDFTTrainer[[trl.experimental.sdft.SDFTTrainer]]

#### trl.experimental.sdft.SDFTTrainer[[trl.experimental.sdft.SDFTTrainer]]

```python
trl.experimental.sdft.SDFTTrainer(model: typing.Union[str, transformers.modeling_utils.PreTrainedModel, torch.nn.Module], args: trl.experimental.sdft.sdft_config.SDFTConfig | None = None, train_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = None, eval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = None, processing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = None, callbacks: list[transformers.trainer_callback.TrainerCallback] | None = None, optimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None), peft_config: PeftConfig | None = None)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/experimental/sdft/sdft_trainer.py#L206)

Trainer للتقطير الذاتي على السياسة بنمط SDFT مع موجهات معلّم صريحة.

#### train[[trl.experimental.sdft.SDFTTrainer.train]]

```python
train(resume_from_checkpoint: str | bool | None = None, trial: optuna.Trial | dict[str, Any] | None = None, ignore_keys_for_eval: list[str] | None = None)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L1450)

**المعاملات:**

resume_from_checkpoint (`str` أو `bool`، *اختياري*) : إذا كان `str`، فهو المسار المحلي لنقطة تحقق محفوظة بواسطة نسخة سابقة من `Trainer`. إذا كان `bool` ويساوي `True`، يتم تحميل آخر نقطة تحقق في *args.output_dir* كما حفظتها نسخة سابقة من `Trainer`. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا.

trial (`optuna.Trial` أو `dict[str, Any]`، *اختياري*) : الجولة التجريبية أو قاموس معاملات الضبط للبحث في معاملات الضبط.

ignore_keys_for_eval (`list[str]`، *اختياري*) : قائمة بمفاتيح في مخرجات نموذجك (إذا كان قاموسًا) يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.

**يعيد:** `~trainer_utils.TrainOutput`

كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.

نقطة الدخول الرئيسية للتدريب.

#### save_model[[trl.experimental.sdft.SDFTTrainer.save_model]]

```python
save_model(output_dir: str | None = None, _internal_call: bool = False)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L4077)

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام `from_pretrained()`.

سيتم الحفظ من العملية الرئيسية فقط.

#### push_to_hub[[trl.experimental.sdft.SDFTTrainer.push_to_hub]]

```python
push_to_hub(commit_message: str | None = 'End of training', blocking: bool = True, token: str | None = None, revision: str | None = None, private: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L4337)

**المعاملات:**

commit_message (`str`، *اختياري*، القيمة الافتراضية `"End of training"`) : الرسالة التي سيتم الالتزام بها أثناء الدفع.

blocking (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان ينبغي للوظيفة أن تُرجع القيمة فقط بعد اكتمال `git push`.

token (`str`، *اختياري*، القيمة الافتراضية `None`) : رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.

revision (`str`، *اختياري*) : المراجعة (revision) في git التي سيتم الالتزام منها. الافتراضي هو رأس فرع "main".

private (`bool`, *اختياري*) : ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي `args.hub_private_repo`. لا يؤثر هذا الإعداد إذا كان المستودع موجودًا مسبقًا.

kwargs (`dict[str, Any]`، *اختياري*) : حُجج إضافية تُمرَّر إلى `~Trainer.create_model_card`.

**يعيد:**

عنوان URL للمستودع الذي تم دفع النموذج إليه إذا كان `blocking=False`، أو كائن `Future` يتتبع تقدم عملية الالتزام إذا كان `blocking=True`.

ارفع `self.model` و`self.processing_class` إلى مركز النماذج 🤗 في المستودع `self.args.hub_model_id`.

