# BEMA لنموذج المرجع

تُنفّذ هذه الميزة خوارزمية BEMA لتحديث النموذج المرجعي أثناء تدريب DPO.

## الاستخدام

```python
from trl.experimental.bema_for_ref_model import BEMACallback, DPOTrainer
from datasets import load_dataset

dataset = load_dataset("trl-internal-testing/zen", "standard_preference", split="train")

bema_callback = BEMACallback(update_ref_model=True)

trainer = DPOTrainer(
    model="trl-internal-testing/tiny-Qwen2ForCausalLM-2.5",
    train_dataset=dataset,
    callbacks=[bema_callback],
)
trainer.train()
```

## DPOTrainer[[trl.DPOTrainer]]

#### trl.DPOTrainer[[trl.DPOTrainer]]

```python
trl.DPOTrainer(*args, **kwargs)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/experimental/bema_for_ref_model/dpo_trainer.py#L19)

#### train[[trl.DPOTrainer.train]]

```python
train(resume_from_checkpoint: str | bool | None = None, trial: optuna.Trial | dict[str, Any] | None = None, ignore_keys_for_eval: list[str] | None = None)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L1450)

**المعاملات:**

resume_from_checkpoint (`str` أو `bool`، *اختياري*) : إذا كان `str`، فهو المسار المحلي لنقطة تحقق محفوظة بواسطة نسخة سابقة من `Trainer`. إذا كان `bool` ويساوي `True`، يتم تحميل آخر نقطة تحقق في *args.output_dir* كما حفظتها نسخة سابقة من `Trainer`. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا.

trial (`optuna.Trial` أو `dict[str, Any]`، *اختياري*) : الجولة التجريبية أو قاموس معاملات الضبط للبحث في معاملات الضبط.

ignore_keys_for_eval (`list[str]`، *اختياري*) : قائمة بمفاتيح في مخرجات نموذجك (إذا كان قاموسًا) يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.

**يعيد:** `~trainer_utils.TrainOutput`

كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.

نقطة الدخول الرئيسية للتدريب.

#### save_model[[trl.DPOTrainer.save_model]]

```python
save_model(output_dir: str | None = None, _internal_call: bool = False)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L4077)

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام `from_pretrained()`.

سيتم الحفظ من العملية الرئيسية فقط.

#### push_to_hub[[trl.DPOTrainer.push_to_hub]]

```python
push_to_hub(commit_message: str | None = 'End of training', blocking: bool = True, token: str | None = None, revision: str | None = None, private: bool | None = None, **kwargs)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/transformers/trainer.py#L4337)

**المعاملات:**

commit_message (`str`، *اختياري*، القيمة الافتراضية `"End of training"`) : الرسالة التي سيتم الالتزام بها أثناء الدفع.

blocking (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان ينبغي للوظيفة أن تُرجع القيمة فقط بعد اكتمال `git push`.

token (`str`، *اختياري*، القيمة الافتراضية `None`) : رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.

revision (`str`، *اختياري*) : المراجعة (revision) في git التي سيتم الالتزام منها. الافتراضي هو رأس فرع "main".

private (`bool`, *اختياري*) : ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي `args.hub_private_repo`. لا يؤثر هذا الإعداد إذا كان المستودع موجودًا مسبقًا.

kwargs (`dict[str, Any]`، *اختياري*) : حُجج إضافية تُمرَّر إلى `~Trainer.create_model_card`.

**يعيد:**

عنوان URL للمستودع الذي تم دفع النموذج إليه إذا كان `blocking=False`، أو كائن `Future` يتتبع تقدم عملية الالتزام إذا كان `blocking=True`.

ارفع `self.model` و`self.processing_class` إلى مركز النماذج 🤗 في المستودع `self.args.hub_model_id`.

## BEMACallback[[trl.BEMACallback]]

#### trl.BEMACallback[[trl.BEMACallback]]

```python
trl.BEMACallback(update_freq: int = 400, ema_power: float = 0.5, bias_power: float = 0.2, lag: int = 10, update_after: int = 0, multiplier: float = 1.0, min_ema_multiplier: float = 0.0, device: str = 'cpu', update_ref_model: bool = False, ref_model_update_freq: int = 400, ref_model_update_after: int = 0)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/experimental/bema_for_ref_model/callback.py#L59)

**المعاملات:**

update_freq (`int`, *اختياري*, القيمة الافتراضية `400`) : تحديث أوزان BEMA كل X خطوات. تم تسميتها \\( \phi \\) في الورقة البحثية.

ema_power (`float`، *اختياري*، القيمة الافتراضية `0.5`) : القوة الخاصة بمعامل اضمحلال EMA. يُرمز له بـ \\( \kappa \\) في الورقة البحثية. لتعطيل EMA، اضبط هذه القيمة على `0.0`.

bias_power (`float`, *اختياري*, القيمة الافتراضية `0.2`) : القوة الخاصة بمعامل توسيع BEMA. يُرمز له في الورقة العلمية بـ \\( \eta \\). القيمة الكبيرة (مثل `8.0`) تجعل \\( \alpha_t \\) تتلاشى إلى `0`، مما يقارب تعطيل تصحيح الانحياز؛ بينما `0.0` تثبّت \\( \alpha_t \\) عند `1` في كل خطوة (تصحيح أقصى غير متلاشٍ).

lag (`int`, *اختياري*, القيمة الافتراضية `10`) : الإزاحة الأولية في جدول تضاؤل الوزن، والتي تتحكم في نعومة المراحل المبكرة من خلال العمل كعمر افتراضي بدءًا للتحديثات. يُرمز إليها في الورقة العلمية بـ \\( \rho \\).

update_after (`int`, *اختياري*, القيمة الافتراضية `0`) : وقت التسخين قبل بدء تحديث أوزان BEMA. يُرمز له في الورقة العلمية بـ \\( \tau \\).

multiplier (`float`، *اختياري*، القيمة الافتراضية `1.0`) : القيمة الأولية لمعامل اضمحلال EMA. يُرمز له في الورقة العلمية بـ \\( \gamma \\).

min_ema_multiplier (`float`، *اختياري*، القيمة الافتراضية `0.0`) : القيمة الدنيا لمعامل اضمحلال EMA.

device (`str`، *اختياري*، القيمة الافتراضية `"cpu"`) : الجهاز المستخدم لذاكرة BEMA، مثل `"cpu"` أو `"cuda"`. لاحظ أنه في معظم الحالات، يجب أن يكون هذا الجهاز مختلفًا عن الجهاز المستخدم للتدريب لتجنب نفاد الذاكرة (OOM).

update_ref_model (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان سيتم تحديث النموذج المرجحي بأوزان BEMA. يؤدي هذا إلى إنشاء نسخة مؤجلة ومُنعّمة من النموذج الرئيسي لتعمل كنموذج مرجحي.

ref_model_update_freq (`int`، *اختياري*، القيمة الافتراضية `400`) : حدّث النموذج المرجعي بأوزان BEMA كل هذا العدد من الخطوات.

ref_model_update_after (`int`، *اختياري*، القيمة الافتراضية `0`) : عدد الخطوات التي يجب انتظارها قبل بدء تحديث النموذج المرجعي.

[TrainerCallback](https://huggingface.co/docs/transformers/v5.23.0/en/main_classes/callback#transformers.TrainerCallback) الذي يطبّق [BEMA](https://huggingface.co/papers/2508.00180) (متوسط الحركة الأسي المصحح من الانحياز) بواسطة [Adam Block](https://huggingface.co/abblock) و[Cyril Zhang](https://huggingface.co/cyrilzhang). الكود من https://github.com/abblock/bema تحت رخصة MIT.

تُحسب أوزان النموذج بواسطة BEMA بحيث تتناسب على النحو التالي:

$$ \theta_t' = \alpha_t \cdot (\theta_t - \theta_0) + \text{EMA}_t $$

حيث \\( \theta_t \\) هي أوزان النموذج الحالية، و\\( \theta_0 \\) هي لقطة لأوزان النموذج عند الخطوة الأولى `update_after`، و\\( \text{EMA}_t  \\) هي المتوسط المتحرك الأسي لأوزان النموذج، و\\( \alpha_t \\) هو معامل تحجيم يتناقص مع عدد الخطوات \\( t \\) على النحو التالي

$$ \alpha_t = (\rho + \gamma \cdot t)^{-\eta}. $$

يُحسب متوسط الحركة الأسي (EMA) على النحو التالي:

$$ \text{EMA}_t = (1 - \beta_t) \cdot \text{EMA}_{t-1} + \beta_t \cdot \theta_t $$

حيث \\( \beta_t \\) هو عامل اضمحلال يتناقص مع عدد الخطوات \\( t \\) على النحو التالي

$$ \beta_t = (\rho + \gamma \cdot t)^{-\kappa}. $$

مثال:

```python
>>> from trl import BEMACallback

>>> trainer = Trainer(..., callbacks=[BEMACallback()])
```

