ConvNeXt

Categoria: CNN · Código: timm/models/convnext.py · Arquiteturas: 31 · Pesos pré-treinados: 101 (61 com resultados no ImageNet-1k)

ConvNeXt é uma rede puramente convolucional que adota escolhas de design de transformadores de visão, como kernels de profundidade grandes, gargalos invertidos e LayerNorm. ConvNeXt-V2 adiciona Normalização de Resposta Global (GRN) e é pré-treinado como um autoencoder mascarado totalmente convolucional (FCMAE).

Artigos

• Uma ConvNet para a década de 2020
• ConvNeXt V2: Co-design e escala de ConvNets com Autoencoders Mascarados
• Leis de escala reproduzíveis para aprendizado contrastivo de linguagem-imagem
• DINOv3
• Encoder Universal de Percepção Eficiente

Uso

Veja o Início rápido para carregar pesos pré-treinados, pré-processar imagens e fazer fine-tuning, e Extração de recursos para usar os modelos como backbones.

>>> import timm
>>> model = timm.create_model('convnext_tiny.in12k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Suporte à API de modelos

✓ suportado, ✓ (quadrado) funciona apenas para tamanhos quadrados, ✗ não suportado, – não necessário (o modelo já aceita qualquer tamanho de entrada). Verificado executando cada recurso em um modelo inicializado aleatoriamente (ConvNeXt com convnext_zepto_rms em 224), espera-se que outras arquiteturas da mesma classe se comportem da mesma forma. Consulte a página Model API para mais detalhes.

Arquiteturas

Os GMACs e as contagens de parâmetros são para o tamanho de entrada e o classificador padrão de cada arquitetura, dos resultados do benchmark.

Pesos pré-treinados

Top-1 é a acurácia de validação no ImageNet-1k de results-imagenet.csv no tamanho de avaliação listado, - se o peso não tiver resultado no ImageNet-1k (por exemplo, pesos de pré-treinamento ou de imagem-texto). Classes é o tamanho do classificador pré-treinado, nenhum para pesos sem um.

Os pesos são agrupados por origem: o artigo ou origem indicado na configuração pré-treinada, caso contrário, uma organização do Hub diferente de timm, caso contrário, a primeira parte da tag pré-treinada (architecture.tag). As origens com um único peso são listadas em other.

ConvNeXt V2

As configurações pré-treinadas fazem referência a ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders.

clip tags

tags do fb

tags d1

tags dinov3

eupe tags

d1h tags

tags ra4

Outros

Citação

@Article{liu2022convnet,
  author  = {Zhuang Liu and Hanzi Mao and Chao-Yuan Wu and Christoph Feichtenhofer and Trevor Darrell and Saining Xie},
  title   = {A ConvNet for the 2020s},
  journal = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year    = {2022},
}

@article{Woo2023ConvNeXtV2,
  title={ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders},
  author={Sanghyun Woo, Shoubhik Debnath, Ronghang Hu, Xinlei Chen, Zhuang Liu, In So Kweon and Saining Xie},
  year={2023},
  journal={arXiv preprint arXiv:2301.00808},
}