Hugging Face's logo

timm documentation

ConvNeXt

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ConvNeXt

الفئة: CNN · الكود: timm/models/convnext.py · الهندسات: 31 · الأوزان المُسبقة التدريب: 101 (61 منها بنتائج على ImageNet-1k)

ConvNeXt هو شبكة تجميعية خالصة تتبنى اختيارات تصميمية مستمدة من محولات الرؤية، مثل نوى التجميع العميق الكبيرة، والعنقات المعكوسة، وطبقة LayerNorm. يضيف ConvNeXt-V2 تطبيع الاستجابة العالمية (GRN) ويُدرَّب مسبقًا كمشفر ذاتي مقنّع تجميعي كامل (FCMAE).

الأوراق البحثية

الاستخدام

راجع البدء السريع لتحميل الأوزان المُسبقة التدريب ومعالجة الصور مسبقًا وضبط الدقة، وراجع استخراج الميزات لاستخدام النماذج كعمود فقري.

>>> import timm
>>> model = timm.create_model('convnext_tiny.in12k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

دعم واجهة برمجة التطبيقات للنماذج

ميزةConvNeXt
خرائط الميزات features_only=True✓ (خطوات 4، 8، 16، 32)
forward_intermediates()✓
prune_intermediate_layers()✓
أي حجم إدخال، دون الحاجة إلى أي تغييرات✓
set_input_size()–
dynamic_img_size=True–
set_grad_checkpointing()✓
تلاشي معدل التعلم على مستوى الطبقات (group_matcher())✓
reset_classifier()✓

✓ مدعوم، ✓ (مربع) يعمل مع الأحجام المربعة فقط، ✗ غير مدعوم، – غير مطلوب (يقبل النموذج بالفعل أي حجم إدخال). تم التحقق من ذلك بتشغيل كل ميزة على نموذج مُهيأ عشوائياً (ConvNeXt مع convnext_zepto_rms عند 224)، ومن المتوقع أن تتصرف البنى المعمارية الأخرى من نفس الفئة بنفس الطريقة. راجع صفحة Model API للتفاصيل.

البنى

البنيةالمعاملات (مليون)GMACsحجم الإدخالالأوزان المُسبقة التدريب
convnext_atto3.700.552241
convnext_atto_ols3.700.582241
convnext_atto_rms3.690.552240
convnext_base88.5915.3822416
convnext_femto5.220.792241
convnext_femto_ols5.230.822241
convnext_large197.7734.402245
convnext_large_mlp200.1370.2132010
convnext_nano15.592.462246
convnext_nano_ols15.652.652241
convnext_pico9.051.372241
convnext_pico_ols9.061.432241
convnext_small50.228.712249
convnext_tiny28.594.472249
convnext_tiny_hnf28.594.472241
convnext_xlarge350.2060.982243
convnext_xxlarge846.47198.092564
convnext_zepto_rms2.160.302241
convnext_zepto_rms_ols2.160.342241
convnextv2_atto3.710.552242
convnextv2_base88.7215.382244
convnextv2_femto5.230.792242
convnextv2_huge660.29337.963844
convnextv2_large197.9634.402244
convnextv2_nano15.622.462244
convnextv2_pico9.071.372242
convnextv2_small50.328.712240
convnextv2_tiny28.644.472244
test_convnext0.270.031601
test_convnext20.480.051601
test_convnext30.470.051601

تُحسب قيم GMACs وعدد المعلمات لحجم المدخلات الافتراضي والتصنيف الخاص بكل معمارية، وذلك بناءً على نتائج الاختبارات المرجعية.

الأوزان المُسبقة التدريب

Top-1 هو دقة التحقق على ImageNet-1k من results-imagenet.csv عند حجم التقييم المذكور، - إذا لم يكن للوزن نتيجة على ImageNet-1k (مثل أوزان ما قبل التدريب أو أوزان الصورة-النص). Classes هو حجم المصنِّف المُدرَّب مسبقًا، ولا يوجد شيء للأوزان التي لا تحتوي على مصنِّف.

تُجمَّع الأوزان حسب المصدر: الورقة البحثية أو الأصل المذكور في الإعداد المسبق، وإلا منظمة على Hub غير timm، وإلا الجزء الأول من وسم التدريب المسبق (architecture.tag). تُدرج المصادر التي تحتوي على وزن واحد تحت other.

ConvNeXt V2

تُحيل إعدادات التدريب المسبقة إلى ConvNeXt V2: تصميم مشترك وتوسيع شبكات الالتفاف مع مشفرات السيارات المقنّعة.

الوزنحجم الإدخالأعلى 1 (%)حجم التقييمفئاترخصةالمركز
convnextv2_atto.fcmae224--nonecc-by-nc-4.0timm
convnextv2_atto.fcmae_ft_in1k224 (اختبار 288)77.7942881000cc-by-nc-4.0timm
convnextv2_base.fcmae224--nonecc-by-nc-4.0timm
convnextv2_base.fcmae_ft_in1k224 (اختبار 288)85.4902881000cc-by-nc-4.0timm
convnextv2_base.fcmae_ft_in22k_in1k224 (اختبار 288)86.9942881000cc-by-nc-4.0timm
convnextv2_base.fcmae_ft_in22k_in1k_38438487.6383841000cc-by-nc-4.0timm
convnextv2_femto.fcmae224--nonecc-by-nc-4.0timm
convnextv2_femto.fcmae_ft_in1k224 (اختبار 288)79.3422881000cc-by-nc-4.0timm
convnextv2_huge.fcmae224--nonecc-by-nc-4.0timm
convnextv2_huge.fcmae_ft_in1k224 (اختبار 288)86.6182881000cc-by-nc-4.0timm
convnextv2_huge.fcmae_ft_in22k_in1k_38438488.6663841000cc-by-nc-4.0timm
convnextv2_huge.fcmae_ft_in22k_in1k_51251288.8605121000cc-by-nc-4.0timm
convnextv2_large.fcmae224--nonecc-by-nc-4.0timm
convnextv2_large.fcmae_ft_in1k224 (اختبار 288)86.1322881000cc-by-nc-4.0timm
convnextv2_large.fcmae_ft_in22k_in1k224 (اختبار 288)87.4942881000cc-by-nc-4.0timm
convnextv2_large.fcmae_ft_in22k_in1k_38438488.1803841000cc-by-nc-4.0timm
convnextv2_nano.fcmae224--nonecc-by-nc-4.0timm
convnextv2_nano.fcmae_ft_in1k224 (اختبار 288)82.4902881000cc-by-nc-4.0timm
convnextv2_nano.fcmae_ft_in22k_in1k224 (اختبار 288)82.6662881000cc-by-nc-4.0timm
convnextv2_nano.fcmae_ft_in22k_in1k_38438483.3663841000cc-by-nc-4.0timm
convnextv2_pico.fcmae224--nonecc-by-nc-4.0timm
convnextv2_pico.fcmae_ft_in1k224 (اختبار 288)81.0622881000cc-by-nc-4.0timm
convnextv2_tiny.fcmae224--nonecc-by-nc-4.0timm
convnextv2_tiny.fcmae_ft_in1k224 (اختبار 288)83.4782881000cc-by-nc-4.0timm
convnextv2_tiny.fcmae_ft_in22k_in1k224 (اختبار 288)84.4282881000cc-by-nc-4.0timm
convnextv2_tiny.fcmae_ft_in22k_in1k_38438485.0983841000cc-by-nc-4.0timm

وسوم المقاطع

الوزنحجم الإدخالأعلى 1 (%)حجم التقييمفئاترخصةالمركز
convnext_base.clip_laion2b256--640apache-2.0timm
convnext_base.clip_laion2b_augreg256--640apache-2.0timm
convnext_base.clip_laion2b_augreg_ft_in12k256--11821apache-2.0timm
convnext_base.clip_laion2b_augreg_ft_in12k_in1k25686.3782561000apache-2.0timm
convnext_base.clip_laion2b_augreg_ft_in12k_in1k_38438487.1443841000apache-2.0timm
convnext_base.clip_laion2b_augreg_ft_in1k25686.1842561000apache-2.0timm
convnext_base.clip_laiona256--640apache-2.0timm
convnext_base.clip_laiona_320320--640apache-2.0timm
convnext_base.clip_laiona_augreg_320320--640apache-2.0timm
convnext_base.clip_laiona_augreg_ft_in1k_38438486.4903841000apache-2.0timm
convnext_large_mlp.clip_laion2b_augreg256--768apache-2.0timm
convnext_large_mlp.clip_laion2b_augreg_ft_in12k_384384--11821apache-2.0timm
convnext_large_mlp.clip_laion2b_augreg_ft_in1k25687.3442561000apache-2.0timm
convnext_large_mlp.clip_laion2b_augreg_ft_in1k_38438487.8903841000apache-2.0timm
convnext_large_mlp.clip_laion2b_ft_320320--768apache-2.0timm
convnext_large_mlp.clip_laion2b_ft_soup_320320--768apache-2.0timm
convnext_large_mlp.clip_laion2b_soup_ft_in12k_320320--11821apache-2.0timm
convnext_large_mlp.clip_laion2b_soup_ft_in12k_384384--11821apache-2.0timm
convnext_large_mlp.clip_laion2b_soup_ft_in12k_in1k_32032087.9703201000apache-2.0timm
convnext_large_mlp.clip_laion2b_soup_ft_in12k_in1k_38438488.3343841000apache-2.0timm
convnext_xxlarge.clip_laion2b_rewind256--1024apache-2.0timm
convnext_xxlarge.clip_laion2b_soup256--1024apache-2.0timm
convnext_xxlarge.clip_laion2b_soup_ft_in12k256--11821apache-2.0timm
convnext_xxlarge.clip_laion2b_soup_ft_in1k25688.6222561000apache-2.0timm

وسوم fb

الوزنحجم الإدخالأعلى 1 (%)حجم التقييمفئاترخصةالمركز
convnext_base.fb_in1k224 (اختبار 288)84.4662881000apache-2.0timm
convnext_base.fb_in22k224--21841apache-2.0timm
convnext_base.fb_in22k_ft_in1k224 (اختبار 288)86.3022881000apache-2.0timm
convnext_base.fb_in22k_ft_in1k_38438486.8263841000apache-2.0timm
convnext_large.fb_in1k224 (اختبار 288)84.8622881000apache-2.0timm
convnext_large.fb_in22k224--21841apache-2.0timm
convnext_large.fb_in22k_ft_in1k224 (اختبار 288)87.0122881000apache-2.0timm
convnext_large.fb_in22k_ft_in1k_38438487.4563841000apache-2.0timm
convnext_small.fb_in1k224 (اختبار 288)83.7042881000apache-2.0timm
convnext_small.fb_in22k224--21841apache-2.0timm
convnext_small.fb_in22k_ft_in1k224 (اختبار 288)85.2762881000apache-2.0timm
convnext_small.fb_in22k_ft_in1k_38438485.7523841000apache-2.0timm
convnext_tiny.fb_in1k224 (اختبار 288)82.6942881000apache-2.0timm
convnext_tiny.fb_in22k224--21841apache-2.0timm
convnext_tiny.fb_in22k_ft_in1k224 (اختبار 288)78.9502881000apache-2.0timm
convnext_tiny.fb_in22k_ft_in1k_38438484.0983841000apache-2.0timm
convnext_xlarge.fb_in22k224--21841apache-2.0timm
convnext_xlarge.fb_in22k_ft_in1k224 (اختبار 288)87.3782881000apache-2.0timm
convnext_xlarge.fb_in22k_ft_in1k_38438487.7643841000apache-2.0timm

d1 tags

الوزنحجم الإدخالأعلى 1 (%)حجم التقييمفئاترخصةالمركز
convnext_femto.d1_in1k224 (اختبار 288)78.7122881000apache-2.0timm
convnext_femto_ols.d1_in1k224 (اختبار 288)78.9162881000apache-2.0timm
convnext_pico.d1_in1k224 (اختبار 288)80.4262881000apache-2.0timm
convnext_pico_ols.d1_in1k224 (اختبار 288)80.4582881000apache-2.0timm

dinov3 الوسوم

الوزنحجم الإدخالأعلى 1 (%)حجم التقييمفئاترخصةالمركز
convnext_base.dinov3_lvd1689m224--nonedinov3-licensetimm
convnext_large.dinov3_lvd1689m224--nonedinov3-licensetimm
convnext_small.dinov3_lvd1689m224--nonedinov3-licensetimm
convnext_tiny.dinov3_lvd1689m224--nonedinov3-licensetimm

eupe tags

الوزنحجم الإدخالأعلى 1 (%)حجم التقييمفئاترخصةالمركز
convnext_base.eupe_lvd1689m256--nonefair-noncommercial-research-licensetimm
convnext_small.eupe_lvd1689m256--nonefair-noncommercial-research-licensetimm
convnext_tiny.eupe_lvd1689m256--nonefair-noncommercial-research-licensetimm

d1h tags

الوزنحجم الإدخالأعلى 1 (%)حجم التقييمفئاترخصةالمركز
convnext_nano.d1h_in1k224 (اختبار 288)81.4742881000apache-2.0timm
convnext_nano_ols.d1h_in1k224 (اختبار 288)81.6122881000apache-2.0timm

وسوم ra4

الوزنحجم الإدخالأعلى 1 (%)حجم التقييمفئاترخصةالمركز
convnext_zepto_rms.ra4_e3600_r224_in1k22472.8202241000apache-2.0timm
convnext_zepto_rms_ols.ra4_e3600_r224_in1k22473.2342241000apache-2.0timm

أخرى

الوزنحجم الإدخالأعلى 1 (%)حجم التقييمفئاترخصةالمركز
convnext_atto.d2_in1k224 (اختبار 288)77.0162881000apache-2.0timm
convnext_atto_ols.a2_in1k224 (اختبار 288)77.2202881000apache-2.0timm
convnext_nano.in12k224--11821apache-2.0timm
convnext_nano.in12k_ft_in1k224 (اختبار 288)82.8822881000apache-2.0timm
convnext_nano.r384_ad_in12k384--11821apache-2.0timm
convnext_nano.r384_in12k384--11821apache-2.0timm
convnext_nano.r384_in12k_ft_in1k38483.3343841000apache-2.0timm
convnext_small.in12k224--11821apache-2.0timm
convnext_small.in12k_ft_in1k224 (اختبار 288)85.3242881000apache-2.0timm
convnext_small.in12k_ft_in1k_38438486.1863841000apache-2.0timm
convnext_tiny.in12k224--11821apache-2.0timm
convnext_tiny.in12k_ft_in1k224 (اختبار 288)84.4482881000apache-2.0timm
convnext_tiny.in12k_ft_in1k_38438485.1543841000apache-2.0timm
convnext_tiny_hnf.a2h_in1k224 (اختبار 288)82.6082881000apache-2.0timm
test_convnext.r160_in1k16047.7741601000apache-2.0timm
test_convnext2.r160_in1k16053.5201601000apache-2.0timm
test_convnext3.r160_in1k16053.3021601000apache-2.0timm

الاستشهاد

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}

@article{Woo2023ConvNeXtV2,
  title={ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders},
  author={Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon and Saining Xie},
  year={2023},
  journal={arXiv preprint arXiv:2301.00808},
}
Update on GitHub

←ConvMixer CSPNet (CSPResNet، CSPDarkNet، DarkNet)→