TRL documentation
BEMA لنموذج المرجع
BEMA لنموذج المرجع
تُنفّذ هذه الميزة خوارزمية BEMA لتحديث النموذج المرجعي أثناء تدريب DPO.
الاستخدام
from trl.experimental.bema_for_ref_model import BEMACallback, DPOTrainer
from datasets import load_dataset
dataset = load_dataset("trl-internal-testing/zen", "standard_preference", split="train")
bema_callback = BEMACallback(update_ref_model=True)
trainer = DPOTrainer(
model="trl-internal-testing/tiny-Qwen2ForCausalLM-2.5",
train_dataset=dataset,
callbacks=[bema_callback],
)
trainer.train()DPOTrainer
تدريب
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
المعاملات
- resume_from_checkpoint (
strأوbool، اختياري) — إذا كانstr، فهو المسار المحلي لنقطة تفتيش محفوظة بواسطة نسخة سابقة منTrainer. وإذا كانboolويساويTrue، يتم تحميل آخر نقطة تفتيش في args.output_dir كما حفظتها نسخة سابقة منTrainer. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا. - trial (
optuna.Trialأوdict[str, Any]، اختياري) — التجربة أو قاموس المعاملات الفائقة للبحث في المعاملات الفائقة. - ignore_keys_for_eval (
list[str]، اختياري) — قائمة بالمفاتيح في مخرجات النموذج الخاص بك (إذا كان قاموسًا) التي يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.
يعيد
~trainer_utils.TrainOutput
كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.
نقطة الدخول الرئيسية للتدريب.
سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().
سيتم الحفظ من العملية الرئيسية فقط.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
المعاملات
- commit_message (
str، اختياري، الافتراضي"End of training") — الرسالة التي تُرسل عند الدفع. - blocking (
bool، اختياري، الافتراضيTrue) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمالgit push. - token (
str، اختياري، القيمة الافتراضيةNone) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer. - revision (
str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”. - private (
bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هيargs.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا. - kwargs (
dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى~Trainer.create_model_card.
ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.
BEMACallback
فئة trl.BEMACallback
< source >( update_freq: int = 400ema_power: float = 0.5bias_power: float = 0.2lag: int = 10update_after: int = 0multiplier: float = 1.0min_ema_multiplier: float = 0.0device: str = 'cpu'update_ref_model: bool = Falseref_model_update_freq: int = 400ref_model_update_after: int = 0 )
المعاملات
- update_freq (
int, اختياري, الافتراضي هو400) — تحديث أوزان BEMA كل X خطوات. يُرمز لهذا الرمز في الورقة العلمية بـ {@html "ϕ"} in the paper. - ema_power (
float, optional, defaults to0.5) — Power for the EMA decay factor. Denoted {@html "κ "} في الورقة العلمية. لتعطيل EMA، اضبط هذا على0.0. - bias_power (
float, اختياري, القيمة الافتراضية هي0.2) — الأسامل عامل توسيع BEMA. يُرمز له بـ {@html "η \\eta η"} في الورقة البحثية. القيمة الكبيرة (مثل 8.0) تجعل {@html "αt \\alpha_t αt"} تتلاشى إلى 0، مما يقارب تعطيل تصحيح الانحياز؛ بينما تثبت القيمة 0.0 {@html "αt \\alpha_t αt"} عند 1 في كل خطوة (تصحيح أقصى غير متلاشٍ). lag (int, اختياري، القيمة الافتراضية 10) — إزاحة أولية في جدول اضمحلال الوزن تتحكم في نعومة المراحل المبكرة من خلال العمل كعمر افتراضي بدءًا للتحديثات. يُرمز له بـ {@html "ρ \\rho ρ "}η"} in the paper. A large value (e.g.8.0) makes {@html "αt"} decay to0, approximating disabled bias-correction;0.0instead pins {@html "αt"} at1for every step (maximum, undecayed correction). - lag (
int, optional, defaults to10) — Initial offset in the weight decay schedule that controls early-stage smoothness by acting as a virtual starting age for the updates. Denoted as {@html "ρ"} في الورقة البحثية. - update_after (
int, اختياري, القيمة الافتراضية هي0) — زمن التسخين قبل بدء تحديث أوزان BEMA. يُرمز له بـ {@html "τ \\tau τ"} في الورقة البحثية. multiplier (float, اختياري، القيمة الافتراضية 1.0) — القيمة الأولية لمعامل اضمحلال EMA. يُرمز له بـ {@html "γ \\gamma γ "}τ"} in the paper. - multiplier (
float, optional, defaults to1.0) — Initial value for the EMA decay factor. Denoted as {@html "γ"} في الورقة البحثية. - min_ema_multiplier (
float، اختياري، القيمة الافتراضية0.0) — القيمة الدنيا لمعامل اضمحلال EMA. - device (
str، اختياري، الافتراضي"cpu") — الجهاز المستخدم لتخزينات BEMA، مثل"cpu"أو"cuda". لاحظ أنه في معظم الحالات، يجب أن يكون هذا الجهاز مختلفًا عن الجهاز المستخدم للتدريب لتجنب نفاد الذاكرة (OOM). - update_ref_model (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم تحديث النموذج المرجحي بأوزان BEMA. يؤدي هذا إلى إنشاء نسخة متأخرة ومُنعّمة من النموذج الرئيسي لتعمل كنموذج مرجحي. - ref_model_update_freq (
int، اختياري، القيمة الافتراضية400) — حدّث النموذج المرجعي بأوزان BEMA كل هذه الخطوات. - ref_model_update_after (
int، اختياري، القيمة الافتراضية0) — عدد الخطوات التي يجب انتظارها قبل بدء تحديث النموذج المرجعي.
TrainerCallback يطبّق BEMA (متوسط الحركة الأسي المُصحَّح من الانحياز) بواسطة Adam Block وCyril Zhang. الكود من https://github.com/abblock/bema تحت رخصة MIT.
تُحسب أوزان النموذج بواسطة BEMA بحيث تتناسب على النحو التالي:
حيث هي أوزان النموذج الحالية، و لقطة لأوزان النموذج عند الخطوة الأولى update_after ، و لأوزان النموذج، و عامل تحجيم يتناقص مع عدد الخطوات على النحو التالي
يُحسب المتوسط المتحرك الأسي (EMA) على النحو التالي:
حيث عامل تخميد يتناقص مع عدد الخطوات على النحو التالي