ConvNeXt

Kategori: CNN · Kod: timm/models/convnext.py · Mimariler: 31 · Önceden eğitilmiş ağırlıklar: 101 (61'i ImageNet-1k sonuçlarıyla)

ConvNeXt, büyük derinlik içi çekirdekler, ters bottlenecks ve LayerNorm gibi görme dönüştürücülerinden tasarım seçimlerini benimseyen saf konvolüsyonel bir ağdır. ConvNeXt-V2, Global Response Normalization (GRN) ekler ve tamamen konvolüsyonel maskeli otoenkoder (FCMAE) olarak ön eğitilir.

Makaleler

• 2020'ler için bir ConvNet
• ConvNeXt V2: Masked Autoencoders ile ConvNet'lerin Eş Tasarımı ve Ölçeklendirilmesi
• Karşılaştırmalı dil-görsel öğrenme için tekrarlanabilir ölçekleme yasaları
• DINOv3
• Etkili Evrensel Algı Kodlayıcısı

Kullanım

Önceden eğitilmiş ağırlıkları yükleme, görüntü ön işleme ve ince ayar için Hızlı Başlangıç bölümüne, modelleri omurga olarak kullanmak için ise Özellik Çıkarımı bölümüne bakın.

>>> import timm
>>> model = timm.create_model('convnext_tiny.in12k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Model API desteği

✓ destekleniyor, ✓ (kare) yalnızca kare boyutlarda çalışır, ✗ desteklenmiyor, – gerekli değil (model zaten herhangi bir giriş boyutunu kabul eder). Her özellik, rastgele başlatılmış bir model üzerinde (ConvNeXt ile convnext_zepto_rms 224'te) çalıştırılarak kontrol edilir; aynı sınıftaki diğer mimarilerin aynı şekilde davranması beklenir. Ayrıntılar için Model API sayfasına bakın.

Mimariler

GMAC'lar ve parametre sayıları, her mimarinin varsayılan giriş boyutu ve sınıflandırıcısı içindir ve benchmark sonuçlarından alınmıştır.

Önceden eğitilmiş ağırlıklar

Top-1, belirtilen değerlendirme boyutunda results-imagenet.csv dosyasındaki ImageNet-1k doğrulama doğruluğudur; ağırlığın ImageNet-1k sonucu yoksa (ör. ön eğitim veya görsel-metin ağırlıkları) bu değer "-" olarak gösterilir. Classes, ön eğitilmiş sınıflandırıcının boyutudur; sınıflandırıcısı olmayan ağırlıklar için bu değer "none"dur.

Ağırlıklar kaynağa göre gruplandırılır: önceden eğitilmiş yapılandırmada belirtilen makale veya köken, aksi halde timm dışında bir Hub kuruluşu, aksi halde önceden eğitilmiş etiketin ilk kısmı (architecture.tag). Tek bir ağırlığı olan kaynaklar other altında listelenir.

ConvNeXt V2

Önceden eğitilmiş yapılandırmalar ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders makalesine atıfta bulunur.

clip etiketleri

fb etiketleri

d1 etiketleri

dinov3 etiketleri

eupe etiketleri

d1h etiketleri

ra4 etiketleri

Diğer

Atıf

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}

@article{Woo2023ConvNeXtV2,
  title={ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders},
  author={Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon and Saining Xie},
  year={2023},
  journal={arXiv preprint arXiv:2301.00808},
}