Transformers documentation
أدوات مساعدة للخطوط
أدوات مساعدة للخطوط
تُدرج هذه الصفحة جميع دوال الأداة التي يوفرها المكتبة للأنابيب.
لا تُفيد معظم تلك العناصر إلا إذا كنت تدرس كود النماذج الموجودة في المكتبة.
معالجة الحُجج
الواجهة الأساسية للتعامل مع الحُجج لكل Pipeline.
يتعامل مع الحُجج الخاصة بتصنيف النصوص بدون تدريب مسبق من خلال تحويل كل تسمية محتملة إلى زوج فرضية/مقدمة لنموذج الاستدلال اللغوي الطبيعي (NLI).
تنسيق البيانات
فئة transformers.PipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )
الفئة الأساسية لجميع صيغ البيانات المدعومة في خط الأنابيب، سواء للقراءة أو الكتابة. وتشمل صيغ البيانات المدعومة حاليًا:
- JSON
- CSV
- stdin/stdout (أنبوب)
يتضمن PipelineDataFormat أيضًا بعض الأدوات للعمل مع الأعمدة المتعددة، مثل تعيين أعمدة مجموعات البيانات إلى معاملات الكلمات المفتاحية للخطوط الأنابيب من خلال صيغة dataset_kwarg_1=dataset_column_1.
from_str
< source >( format: stroutput_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False ) → PipelineDataFormat
المعاملات
- format (
str) — صيغة خط الأنابيب المطلوب. القيم المقبولة هي"json"أو"csv"أو"pipe". - output_path (
str، اختياري) — المكان الذي تُحفظ فيه البيانات الصادرة. - input_path (
str، اختياري) — المكان الذي يتم فيه البحث عن البيانات المدخلة. - column (
str، اختياري) — العمود الذي سيتم قراءته. - overwrite (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم تجاوزoutput_pathأم لا.
يعيد
الصيغة الصحيحة للبيانات.
ينشئ مثيلاً من الفئة الفرعية الصحيحة لـ PipelineDataFormat اعتماداً على format.
حفظ
< source >( data: dict | list[dict] )
احفظ كائن البيانات المُقدَّم مع التمثيل الخاص بـ PipelineDataFormat الحالي.
save_binary
< source >( data: dict | list[dict] ) → str
احفظ كائن البيانات المُقدَّم كبيانات ثنائية بتنسيق pickle على القرص.
class transformers.CsvPipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )
دعم خطوط الأنابيب باستخدام صيغة بيانات CSV.
احفظ كائن البيانات المُقدَّم مع التمثيل الخاص بـ PipelineDataFormat الحالي.
class transformers.JsonPipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite = False )
دعم خطوط الأنابيب باستخدام صيغة ملفات JSON.
احفظ كائن البيانات المُقدَّم في ملف json.
فئة transformers.PipedPipelineDataFormat
< source >( output_path: str | Noneinput_path: str | Nonecolumn: str | Noneoverwrite: bool = False )
اقرأ البيانات من الإدخال المُوجَّه إلى عملية بايثون. وفي حالة البيانات متعددة الأعمدة، يجب فصل الأعمدة ب
إذا تم توفير الأعمدة، فسيكون المخرج قاموسًا بصيغة {column_x: value_x}
اطبع البيانات.
أدوات
فئة transformers.pipelines.PipelineException
< source >( task: strmodel: strreason: str )
تُستدعى بواسطة Pipeline عند معالجة call.