timm

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.0.31).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

CrossViT

الفئة: ViT · الكود: timm/models/crossvit.py · الهندسات: 11 · الأوزان المُسبقة التدريب: 11 (11 منها بنتائج على ImageNet-1k)

يعالج CrossViT رقعات الصور الصغيرة والكبيرة في فرعي Transformer منفصلين، ثم يدمجهما عبر الانتباه المتقاطع (cross-attention) من خلال رموز الفئة. تعطي أسماء النماذج في timm دقة الإدخال الفعلية (240 / 408 بدلاً من 224 / 384 الأصلية).

الأوراق البحثية

CrossViT: محوّل رؤية متعدد المقاييس مع انتباه متقاطع لتصنيف الصور

الاستخدام

راجع البدء السريع لتحميل الأوزان المُسبقة التدريب ومعالجة الصور مسبقًا وضبط الدقة، وراجع استخراج الميزات لاستخدام النماذج كعمود فقري.

>>> import timm
>>> model = timm.create_model('crossvit_small_240.in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

دعم واجهة برمجة التطبيقات للنماذج

ميزة	`CrossVit`
خرائط الميزات `features_only=True`	✓ (خطوات 12، 17)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
أي حجم إدخال، دون الحاجة إلى أي تغييرات	✓
`set_input_size()`	–
`dynamic_img_size=True`	–
`set_grad_checkpointing()`	✗
تلاشي معدل التعلم على مستوى الطبقات (`group_matcher()`)	✓
`reset_classifier()`	✓

✓ مدعوم، ✓ (مربع) يعمل مع الأحجام المربعة فقط، ✗ غير مدعوم، – غير مطلوب (يقبل النموذج بالفعل أي حجم إدخال). تم التحقق من ذلك بتشغيل كل ميزة على نموذج مُهيأ عشوائياً (CrossVit مع crossvit_tiny_240 عند 240)، ومن المتوقع أن تتصرف البنى المعمارية الأخرى من نفس الفئة بنفس الطريقة. راجع صفحة Model API للتفاصيل.

البنى

البنية	المعاملات (مليون)	GMACs	حجم الإدخال	الأوزان المُسبقة التدريب
`crossvit_9_240`	8.55	1.85	240	1
`crossvit_9_dagger_240`	8.78	1.99	240	1
`crossvit_15_240`	27.53	5.81	240	1
`crossvit_15_dagger_240`	28.21	6.13	240	1
`crossvit_15_dagger_408`	28.50	21.45	408	1
`crossvit_18_240`	43.27	9.05	240	1
`crossvit_18_dagger_240`	44.27	9.50	240	1
`crossvit_18_dagger_408`	44.61	32.47	408	1
`crossvit_base_240`	105.03	21.22	240	1
`crossvit_small_240`	26.86	5.63	240	1
`crossvit_tiny_240`	7.01	1.57	240	1

تُحسب قيم GMACs وعدد المعلمات لحجم المدخلات الافتراضي والتصنيف الخاص بكل معمارية، وذلك بناءً على نتائج الاختبارات المرجعية.

الأوزان المُسبقة التدريب

Top-1 هو دقة التحقق على ImageNet-1k من results-imagenet.csv عند حجم التقييم المذكور، - إذا لم يكن للوزن نتيجة على ImageNet-1k (مثل أوزان ما قبل التدريب أو أوزان الصورة-النص). Classes هو حجم المصنِّف المُدرَّب مسبقًا، ولا يوجد شيء للأوزان التي لا تحتوي على مصنِّف.

الوزن	حجم الإدخال	أعلى 1 (%)	حجم التقييم	فئات	رخصة	المركز
`crossvit_9_240.in1k`	240	73.994	240	1000	apache-2.0	timm
`crossvit_9_dagger_240.in1k`	240	76.990	240	1000	apache-2.0	timm
`crossvit_15_240.in1k`	240	81.522	240	1000	apache-2.0	timm
`crossvit_15_dagger_240.in1k`	240	82.302	240	1000	apache-2.0	timm
`crossvit_15_dagger_408.in1k`	408	83.842	408	1000	apache-2.0	timm
`crossvit_18_240.in1k`	240	82.390	240	1000	apache-2.0	timm
`crossvit_18_dagger_240.in1k`	240	82.494	240	1000	apache-2.0	timm
`crossvit_18_dagger_408.in1k`	408	84.198	408	1000	apache-2.0	timm
`crossvit_base_240.in1k`	240	82.212	240	1000	apache-2.0	timm
`crossvit_small_240.in1k`	240	81.036	240	1000	apache-2.0	timm
`crossvit_tiny_240.in1k`	240	73.352	240	1000	apache-2.0	timm

الاستشهاد

@inproceedings{
    chen2021crossvit,
    title={{CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification}},
    author={Chun-Fu (Richard) Chen and Quanfu Fan and Rameswar Panda},
    booktitle={International Conference on Computer Vision (ICCV)},
    year={2021}
}

Update on GitHub

←ConViT DaViT→