timm documentation

Swin Transformer V2 (CR)

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Swin Transformer V2 (CR)

Categoria: ViT · Código: timm/models/swin_transformer_v2_cr.py · Arquiteturas: 16 · Pesos pré-treinados: 3 (3 com resultados no ImageNet-1k)

Uma implementação alternativa do Swin Transformer V2 adaptada do código de Christoph Reich, projetada para alterar o tamanho da imagem junto com o tamanho da janela, incluindo tamanhos não quadrados. A docstring do módulo a marca como experimental.

Artigos

Uso

Veja o Início rápido para carregar pesos pré-treinados, pré-processar imagens e fazer fine-tuning, e Extração de recursos para usar os modelos como backbones.

>>> import timm
>>> model = timm.create_model('swinv2_cr_tiny_ns_224.sw_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Suporte à API de modelos

RecursoSwinTransformerV2Cr
mapas de recursos de features_only=True✓ (passos 4, 8, 16, 32)
forward_intermediates()✓
prune_intermediate_layers()✓
Qualquer tamanho de entrada, sem necessidade de alterações✗
set_input_size()✓
dynamic_img_size=True✓
set_grad_checkpointing()✓
Decaimento de LR por camada (group_matcher())✓
reset_classifier()✓

✓ suportado, ✓ (quadrado) funciona apenas para tamanhos quadrados, ✗ não suportado, – não necessário (o modelo já aceita qualquer tamanho de entrada). Verificado executando cada recurso em um modelo inicializado aleatoriamente (SwinTransformerV2Cr com swinv2_cr_tiny_224 em 224); espera-se que outras arquiteturas da mesma classe se comportem da mesma forma. Consulte a página Model API para mais detalhes.

Arquiteturas

ArquiteturaParâmetros (M)GMACsTamanho da entradaPesos pré-treinados
swinv2_cr_base_22487.8815.862240
swinv2_cr_base_38487.8850.573840
swinv2_cr_base_ns_22487.8815.862240
swinv2_cr_giant_2242598.76483.852240
swinv2_cr_giant_3842598.761450.713840
swinv2_cr_huge_224657.83115.972240
swinv2_cr_huge_384657.94352.043840
swinv2_cr_large_224196.6835.102240
swinv2_cr_large_384196.68108.963840
swinv2_cr_small_22449.709.072241
swinv2_cr_small_38449.7029.703840
swinv2_cr_small_ns_22449.709.082241
swinv2_cr_small_ns_25649.7012.072560
swinv2_cr_tiny_22428.334.662240
swinv2_cr_tiny_38428.3315.343840
swinv2_cr_tiny_ns_22428.334.662241

Os GMACs e as contagens de parâmetros são para o tamanho de entrada e o classificador padrão de cada arquitetura, dos resultados do benchmark.

Pesos pré-treinados

Top-1 é a acurácia de validação no ImageNet-1k de results-imagenet.csv no tamanho de avaliação listado, - se o peso não tiver resultado no ImageNet-1k (por exemplo, pesos de pré-treinamento ou de imagem-texto). Classes é o tamanho do classificador pré-treinado, nenhum para pesos sem um.

PesoTamanho da entradaTop-1 (%)Tamanho da avaliaçãoClassesLicençaHub
swinv2_cr_small_224.sw_in1k22483.1262241000apache-2.0timm
swinv2_cr_small_ns_224.sw_in1k22483.4902241000apache-2.0timm
swinv2_cr_tiny_ns_224.sw_in1k22481.7962241000apache-2.0timm
Update on GitHub