timm documentation

Swin Transformer V2

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Swin Transformer V2

Kategori: ViT · Kode: timm/models/swin_transformer_v2.py · Arsitektur: 12 · Bobot pralatih: 12 (10 dengan hasil ImageNet-1k)

Swin Transformer V2 memperluas Swin dengan residual post-norm, scaled cosine attention, dan bias posisi relatif kontinu log-spaced yang dapat dipindahkan antar ukuran jendela.

Makalah

Penggunaan

Lihat Quickstart untuk memuat bobot terlatih, prapemrosesan gambar, dan penyesuaian halus, serta Ekstraksi Fitur untuk menggunakan model sebagai tulang punggung.

>>> import timm
>>> model = timm.create_model('swinv2_tiny_window16_256.ms_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Dukungan API Model

FiturSwinTransformerV2
feature maps features_only=True✓ (strides 4, 8, 16, 32)
forward_intermediates()✓
prune_intermediate_layers()✓
Ukuran input apa pun, tidak perlu perubahan✗
set_input_size()✓
dynamic_img_size=True✓
set_grad_checkpointing()✓
Penurunan LR per lapisan (group_matcher())✓
reset_classifier()✓

✓ didukung, ✓ (persegi) hanya berfungsi untuk ukuran persegi, ✗ tidak didukung, – tidak diperlukan (model sudah menerima ukuran input apa pun). Diperiksa dengan menjalankan setiap fitur pada model yang diinisialisasi secara acak (SwinTransformerV2 dengan swinv2_tiny_window16_256 pada 256), arsitektur lain dari kelas yang sama diharapkan berperilaku sama. Lihat halaman Model API untuk detailnya.

Arsitektur

ArsitekturParameter (M)GMACsUkuran inputBobot terlatih
swinv2_base_window8_25687.9220.372561
swinv2_base_window12_192109.2811.901921
swinv2_base_window12to16_192to25687.9222.022561
swinv2_base_window12to24_192to38487.9255.253841
swinv2_base_window16_25687.9222.022561
swinv2_large_window12_192228.7726.171921
swinv2_large_window12to16_192to256196.7447.812561
swinv2_large_window12to24_192to384196.74116.153841
swinv2_small_window8_25649.7311.582561
swinv2_small_window16_25649.7312.822561
swinv2_tiny_window8_25628.355.962561
swinv2_tiny_window16_25628.356.682561

GMACs dan jumlah parameter adalah untuk ukuran input dan klasifer default dari setiap arsitektur, dari hasil benchmark.

Bobot terlatih

Top-1 adalah akurasi validasi ImageNet-1k dari results-imagenet.csv pada ukuran eval yang tercantum, - jika bobot tidak memiliki hasil ImageNet-1k (misalnya bobot pretraining atau image-text). Classes adalah ukuran dari classifier pretrained, none untuk bobot yang tidak memilikinya.

BobotUkuran inputTop-1 (%)Ukuran evaluasiKelasLisensiHub
swinv2_base_window8_256.ms_in1k25684.2462561000mittimm
swinv2_base_window12_192.ms_in22k192--21841mittimm
swinv2_base_window12to16_192to256.ms_in22k_ft_in1k25686.2702561000mittimm
swinv2_base_window12to24_192to384.ms_in22k_ft_in1k38487.1423841000mittimm
swinv2_base_window16_256.ms_in1k25684.6082561000mittimm
swinv2_large_window12_192.ms_in22k192--21841mittimm
swinv2_large_window12to16_192to256.ms_in22k_ft_in1k25686.9342561000mittimm
swinv2_large_window12to24_192to384.ms_in22k_ft_in1k38487.4743841000mittimm
swinv2_small_window8_256.ms_in1k25683.8442561000mittimm
swinv2_small_window16_256.ms_in1k25684.2162561000mittimm
swinv2_tiny_window8_256.ms_in1k25681.8242561000mittimm
swinv2_tiny_window16_256.ms_in1k25682.8282561000mittimm
Update on GitHub