timm

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Swin Transformer V2 (CR)

Категория: ViT · Код: timm/models/swin_transformer_v2_cr.py · Архитектуры: 16 · Предобученные веса: 3 (3 с результатами на ImageNet-1k)

Альтернативная реализация Swin Transformer V2, адаптированная из кода Кристофа Райха, предназначенная для изменения размера изображения вместе с размером окна, включая неквадратные размеры. Строка документации модуля помечает её как экспериментальную.

Статьи

Swin Transformer V2: масштабирование ёмкости и разрешения

Использование

См. раздел Быстрый старт для загрузки предобученных весов, предобработки изображений и дообучения, а также раздел Извлечение признаков для использования моделей в качестве базовых архитектур.

>>> import timm
>>> model = timm.create_model('swinv2_cr_tiny_ns_224.sw_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Поддержка Model API

Возможность	`SwinTransformerV2Cr`
карты признаков `features_only=True`	✓ (шаги 4, 8, 16, 32)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
Любой размер входных данных, изменения не требуются	✗
`set_input_size()`	✓
`dynamic_img_size=True`	✓
`set_grad_checkpointing()`	✓
Послойное затухание LR (`group_matcher()`)	✓
`reset_classifier()`	✓

✓ поддерживается, ✓ (квадрат) работает только для квадратных размеров, ✗ не поддерживается, – не требуется (модель уже принимает входные данные любого размера). Проверено путём запуска каждой функции на случайно инициализированной модели (SwinTransformerV2Cr с swinv2_cr_tiny_224 при размере 224); ожидается, что другие архитектуры того же класса будут вести себя аналогично. Подробности см. на странице Model API.

Архитектуры

Архитектура	Параметры (млн)	GMACs	Размер входных данных	Предобученные веса
`swinv2_cr_base_224`	87.88	15.86	224	0
`swinv2_cr_base_384`	87.88	50.57	384	0
`swinv2_cr_base_ns_224`	87.88	15.86	224	0
`swinv2_cr_giant_224`	2598.76	483.85	224	0
`swinv2_cr_giant_384`	2598.76	1450.71	384	0
`swinv2_cr_huge_224`	657.83	115.97	224	0
`swinv2_cr_huge_384`	657.94	352.04	384	0
`swinv2_cr_large_224`	196.68	35.10	224	0
`swinv2_cr_large_384`	196.68	108.96	384	0
`swinv2_cr_small_224`	49.70	9.07	224	1
`swinv2_cr_small_384`	49.70	29.70	384	0
`swinv2_cr_small_ns_224`	49.70	9.08	224	1
`swinv2_cr_small_ns_256`	49.70	12.07	256	0
`swinv2_cr_tiny_224`	28.33	4.66	224	0
`swinv2_cr_tiny_384`	28.33	15.34	384	0
`swinv2_cr_tiny_ns_224`	28.33	4.66	224	1

GMACs и количество параметров указаны для размера входных данных и классификатора по умолчанию для каждой архитектуры, согласно результатам бенчмарков.

Предобученные веса

Top-1 — это точность на валидационном наборе ImageNet-1k из results-imagenet.csv для указанного размера оценки, - если для весов нет результата ImageNet-1k (например, веса для предобучения или изображения-текст). Classes — размер предобученного классификатора, none для весов без классификатора.

Вес	Размер входных данных	Top-1 (%)	Размер выборки для оценки	Классы	Лицензия	Hub
`swinv2_cr_small_224.sw_in1k`	224	83.126	224	1000	apache-2.0	timm
`swinv2_cr_small_ns_224.sw_in1k`	224	83.490	224	1000	apache-2.0	timm
`swinv2_cr_tiny_ns_224.sw_in1k`	224	81.796	224	1000	apache-2.0	timm

Update on GitHub

←Swin Transformer V2 TNT→