TRL documentation

BEMA لنموذج المرجع

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

BEMA لنموذج المرجع

تُنفّذ هذه الميزة خوارزمية BEMA لتحديث النموذج المرجعي أثناء تدريب DPO.

الاستخدام

from trl.experimental.bema_for_ref_model import BEMACallback, DPOTrainer
from datasets import load_dataset

dataset = load_dataset("trl-internal-testing/zen", "standard_preference", split="train")

bema_callback = BEMACallback(update_ref_model=True)

trainer = DPOTrainer(
    model="trl-internal-testing/tiny-Qwen2ForCausalLM-2.5",
    train_dataset=dataset,
    callbacks=[bema_callback],
)
trainer.train()

DPOTrainer

فئة trl.DPOTrainer

< >

( *args**kwargs )

تدريب

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

المعاملات

  • resume_from_checkpoint (str أو bool، اختياري) — إذا كان str، فهو المسار المحلي لنقطة تفتيش محفوظة بواسطة نسخة سابقة من Trainer. وإذا كان bool ويساوي True، يتم تحميل آخر نقطة تفتيش في args.output_dir كما حفظتها نسخة سابقة من Trainer. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا.
  • trial (optuna.Trial أو dict[str, Any]، اختياري) — التجربة أو قاموس المعاملات الفائقة للبحث في المعاملات الفائقة.
  • ignore_keys_for_eval (list[str]، اختياري) — قائمة بالمفاتيح في مخرجات النموذج الخاص بك (إذا كان قاموسًا) التي يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.

يعيد

~trainer_utils.TrainOutput

كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.

نقطة الدخول الرئيسية للتدريب.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().

سيتم الحفظ من العملية الرئيسية فقط.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

المعاملات

  • commit_message (str، اختياري، الافتراضي "End of training") — الرسالة التي تُرسل عند الدفع.
  • blocking (bool، اختياري، الافتراضي True) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمال git push.
  • token (str، اختياري، القيمة الافتراضية None) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.
  • revision (str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”.
  • private (bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي args.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا.
  • kwargs (dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى ~Trainer.create_model_card.

ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.

BEMACallback

فئة trl.BEMACallback

< >

( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu'update_ref_model: bool = Falseref_model_update_freq: int = 400ref_model_update_after: int = 0 )

المعاملات

  • update_freq (int, اختياري, الافتراضي هو 400) — تحديث أوزان BEMA كل X خطوات. يُرمز لهذا الرمز في الورقة العلمية بـ {@html "ϕ \\phi ϕ"} in the paper.
  • ema_power (float, optional, defaults to 0.5) — Power for the EMA decay factor. Denoted {@html "κ \\kappa κ "} في الورقة العلمية. لتعطيل EMA، اضبط هذا على 0.0.
  • bias_power (float, اختياري, القيمة الافتراضية هي 0.2) — الأسامل عامل توسيع BEMA. يُرمز له بـ {@html "η \\eta η"} في الورقة البحثية. القيمة الكبيرة (مثل 8.0) تجعل {@html "αt \\alpha_t αt​"} تتلاشى إلى 0، مما يقارب تعطيل تصحيح الانحياز؛ بينما تثبت القيمة 0.0 {@html "αt \\alpha_t αt​"} عند 1 في كل خطوة (تصحيح أقصى غير متلاشٍ). lag (int, اختياري، القيمة الافتراضية 10) — إزاحة أولية في جدول اضمحلال الوزن تتحكم في نعومة المراحل المبكرة من خلال العمل كعمر افتراضي بدءًا للتحديثات. يُرمز له بـ {@html "ρ \\rho ρ "}η \\eta η"} in the paper. A large value (e.g. 8.0) makes {@html "αt \\alpha_t αt​"} decay to 0, approximating disabled bias-correction; 0.0 instead pins {@html "αt \\alpha_t αt​"} at 1 for every step (maximum, undecayed correction).
  • lag (int, optional, defaults to 10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ \\rho ρ"} في الورقة البحثية.
  • update_after (int, اختياري, القيمة الافتراضية هي 0) — زمن التسخين قبل بدء تحديث أوزان BEMA. يُرمز له بـ {@html "τ \\tau τ"} في الورقة البحثية. multiplier (float, اختياري، القيمة الافتراضية 1.0) — القيمة الأولية لمعامل اضمحلال EMA. يُرمز له بـ {@html "γ \\gamma γ "}τ \\tau τ"} in the paper.
  • multiplier (float, optional, defaults to 1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ \\gamma γ"} في الورقة البحثية.
  • min_ema_multiplier (float، اختياري، القيمة الافتراضية 0.0) — القيمة الدنيا لمعامل اضمحلال EMA.
  • device (str، اختياري، الافتراضي "cpu") — الجهاز المستخدم لتخزينات BEMA، مثل "cpu" أو "cuda". لاحظ أنه في معظم الحالات، يجب أن يكون هذا الجهاز مختلفًا عن الجهاز المستخدم للتدريب لتجنب نفاد الذاكرة (OOM).
  • update_ref_model (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم تحديث النموذج المرجحي بأوزان BEMA. يؤدي هذا إلى إنشاء نسخة متأخرة ومُنعّمة من النموذج الرئيسي لتعمل كنموذج مرجحي.
  • ref_model_update_freq (int، اختياري، القيمة الافتراضية 400) — حدّث النموذج المرجعي بأوزان BEMA كل هذه الخطوات.
  • ref_model_update_after (int، اختياري، القيمة الافتراضية 0) — عدد الخطوات التي يجب انتظارها قبل بدء تحديث النموذج المرجعي.

TrainerCallback يطبّق BEMA (متوسط الحركة الأسي المُصحَّح من الانحياز) بواسطة Adam Block وCyril Zhang. الكود من https://github.com/abblock/bema تحت رخصة MIT.

تُحسب أوزان النموذج بواسطة BEMA بحيث تتناسب على النحو التالي: θt′=αt⋅(θt−θ0)+EMAt \theta_t' = \alpha_t \cdot (\theta_t - \theta_0) + \text{EMA}_t

حيث θt \theta_t هي أوزان النموذج الحالية، و θ0 \theta_0 لقطة لأوزان النموذج عند الخطوة الأولى update_after ، و EMAt \text{EMA}_t لأوزان النموذج، وαt \alpha_t عامل تحجيم يتناقص مع عدد الخطوات t t على النحو التالي αt=(ρ+γ⋅t)−η. \alpha_t = (\rho + \gamma \cdot t)^{-\eta}.

يُحسب المتوسط المتحرك الأسي (EMA) على النحو التالي: EMAt=(1−βt)⋅EMAt−1+βt⋅θt \text{EMA}_t = (1 - \beta_t) \cdot \text{EMA}_{t-1} + \beta_t \cdot \theta_t

حيث βt \beta_t عامل تخميد يتناقص مع عدد الخطوات t t على النحو التالي βt=(ρ+γ⋅t)−κ. \beta_t = (\rho + \gamma \cdot t)^{-\kappa}.

مثال:

>>> from trl import BEMACallback

>>> trainer = Trainer(..., callbacks=[BEMACallback()])
Update on GitHub