Swin Transformer

الفئة: ViT · الكود: timm/models/swin_transformer.py · الهندسات: 9 · الأوزان المُسبقة التدريب: 19 (13 منها بنتائج على ImageNet-1k)

Swin Transformer هو محوّل رؤية هرمي يحسب الانتباه الذاتي داخل نوافذ محلية، مع إزاحة بين الكتل المتتالية لإقامة اتصالات بين النوافذ. يتضمن أوزان S3 (AutoFormerV2).

الأوراق البحثية

الاستخدام

راجع البدء السريع لتحميل الأوزان المُسبقة التدريب ومعالجة الصور مسبقًا وضبط الدقة، وراجع استخراج الميزات لاستخدام النماذج كعمود فقري.

>>> import timm
>>> model = timm.create_model('swin_tiny_patch4_window7_224.ms_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

دعم واجهة برمجة التطبيقات للنماذج

ميزة	`SwinTransformer`
خرائط الميزات `features_only=True`	✓ (خطوات 4، 8، 16، 32)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
أي حجم إدخال، دون الحاجة إلى أي تغييرات	✗
`set_input_size()`	✓
`dynamic_img_size=True`	✓
`set_grad_checkpointing()`	✓
تلاشي معدل التعلم على مستوى الطبقات (`group_matcher()`)	✓
`reset_classifier()`	✓

✓ مدعوم، ✓ (مربع) يعمل مع الأحجام المربعة فقط، ✗ غير مدعوم، – غير مطلوب (يقبل النموذج بالفعل أي حجم إدخال). تم التحقق من ذلك بتشغيل كل ميزة على نموذج مُهيأ عشوائياً (SwinTransformer مع swin_tiny_patch4_window7_224 عند 224)، ومن المتوقع أن تتصرف البنى المعمارية الأخرى من نفس الفئة بنفس الطريقة. راجع صفحة Model API للتفاصيل.

البنى

البنية	المعاملات (مليون)	GMACs	حجم الإدخال	الأوزان المُسبقة التدريب
`swin_base_patch4_window7_224`	87.77	15.47	224	3
`swin_base_patch4_window12_384`	87.90	47.19	384	3
`swin_large_patch4_window7_224`	196.53	34.53	224	2
`swin_large_patch4_window12_384`	196.74	104.08	384	2
`swin_s3_base_224`	71.13	13.69	224	1
`swin_s3_small_224`	49.74	9.43	224	1
`swin_s3_tiny_224`	28.33	4.64	224	1
`swin_small_patch4_window7_224`	49.61	8.77	224	3
`swin_tiny_patch4_window7_224`	28.29	4.51	224	3

تُحسب قيم GMACs وعدد المعلمات لحجم المدخلات الافتراضي والتصنيف الخاص بكل معمارية، وذلك بناءً على نتائج الاختبارات المرجعية.

الأوزان المُسبقة التدريب

Top-1 هو دقة التحقق على ImageNet-1k من results-imagenet.csv عند حجم التقييم المذكور، - إذا لم يكن للوزن نتيجة على ImageNet-1k (مثل أوزان ما قبل التدريب أو أوزان الصورة-النص). Classes هو حجم المصنِّف المُدرَّب مسبقًا، ولا يوجد شيء للأوزان التي لا تحتوي على مصنِّف.

الوزن	حجم الإدخال	أعلى 1 (%)	حجم التقييم	فئات	رخصة	المركز
`swin_base_patch4_window7_224.ms_in1k`	224	83.604	224	1000	mit	timm
`swin_base_patch4_window7_224.ms_in22k`	224	-	-	21841	mit	timm
`swin_base_patch4_window7_224.ms_in22k_ft_in1k`	224	85.276	224	1000	mit	timm
`swin_base_patch4_window12_384.ms_in1k`	384	84.478	384	1000	mit	timm
`swin_base_patch4_window12_384.ms_in22k`	384	-	-	21841	mit	timm
`swin_base_patch4_window12_384.ms_in22k_ft_in1k`	384	86.442	384	1000	mit	timm
`swin_large_patch4_window7_224.ms_in22k`	224	-	-	21841	mit	timm
`swin_large_patch4_window7_224.ms_in22k_ft_in1k`	224	86.320	224	1000	mit	timm
`swin_large_patch4_window12_384.ms_in22k`	384	-	-	21841	mit	timm
`swin_large_patch4_window12_384.ms_in22k_ft_in1k`	384	87.142	384	1000	mit	timm
`swin_s3_base_224.ms_in1k`	224	83.920	224	1000	mit	timm
`swin_s3_small_224.ms_in1k`	224	83.778	224	1000	mit	timm
`swin_s3_tiny_224.ms_in1k`	224	82.128	224	1000	mit	timm
`swin_small_patch4_window7_224.ms_in1k`	224	83.228	224	1000	mit	timm
`swin_small_patch4_window7_224.ms_in22k`	224	-	-	21841	mit	timm
`swin_small_patch4_window7_224.ms_in22k_ft_in1k`	224	83.330	224	1000	mit	timm
`swin_tiny_patch4_window7_224.ms_in1k`	224	81.388	224	1000	mit	timm
`swin_tiny_patch4_window7_224.ms_in22k`	224	-	-	21841	mit	timm
`swin_tiny_patch4_window7_224.ms_in22k_ft_in1k`	224	80.966	224	1000	mit	timm

Update on GitHub