Swin Transformer V2 (CR)

类别： ViT · 代码： timm/models/swin_transformer_v2_cr.py · 架构： 16 · 预训练权重： 3（其中 3 个包含 ImageNet-1k 结果）

一种改编自 Christoph Reich 代码的 Swin Transformer V2 替代实现，旨在同时更改图像尺寸和窗口尺寸，包括非正方形尺寸。该模块的文档字符串将其标记为实验性功能。

论文

Swin Transformer V2：扩展容量和分辨率

用法

请参阅快速入门了解如何加载预训练权重、进行图像预处理和微调，以及查阅特征提取了解如何将模型用作骨干网络。

>>> import timm
>>> model = timm.create_model('swinv2_cr_tiny_ns_224.sw_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

模型 API 支持

功能	`SwinTransformerV2Cr`
`features_only=True` 特征图	✓（步长 4、8、16、32）
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
任意输入尺寸，无需更改	✗
`set_input_size()`	✓
`dynamic_img_size=True`	✓
`set_grad_checkpointing()`	✓
逐层学习率衰减（`group_matcher()`）	✓
`reset_classifier()`	✓

✓ 支持，✓ (square) 仅支持方形尺寸，✗ 不支持，– 无需支持（该模型本身已接受任意输入尺寸）。通过在每个功能上运行随机初始化的模型（SwinTransformerV2Cr 使用 swinv2_cr_tiny_224，尺寸为 224）进行验证，预期同一类的其他架构表现相同。有关详细信息，请参阅 Model API 页面。

架构

架构	参数（M）	GMAC	输入大小	预训练权重
`swinv2_cr_base_224`	87.88	15.86	224	0
`swinv2_cr_base_384`	87.88	50.57	384	0
`swinv2_cr_base_ns_224`	87.88	15.86	224	0
`swinv2_cr_giant_224`	2598.76	483.85	224	0
`swinv2_cr_giant_384`	2598.76	1450.71	384	0
`swinv2_cr_huge_224`	657.83	115.97	224	0
`swinv2_cr_huge_384`	657.94	352.04	384	0
`swinv2_cr_large_224`	196.68	35.10	224	0
`swinv2_cr_large_384`	196.68	108.96	384	0
`swinv2_cr_small_224`	49.70	9.07	224	1
`swinv2_cr_small_384`	49.70	29.70	384	0
`swinv2_cr_small_ns_224`	49.70	9.08	224	1
`swinv2_cr_small_ns_256`	49.70	12.07	256	0
`swinv2_cr_tiny_224`	28.33	4.66	224	0
`swinv2_cr_tiny_384`	28.33	15.34	384	0
`swinv2_cr_tiny_ns_224`	28.33	4.66	224	1

GMACs 和参数量对应于每种架构的默认输入大小和分类器，数据来自基准测试结果。

预训练权重

Top-1 是 results-imagenet.csv 中在所列评估规模下的 ImageNet-1k 验证准确率，- 表示该权重没有 ImageNet-1k 结果（例如预训练权重或图文权重）。Classes 是预训练分类器的大小，对于没有分类器的权重则为 none。

权重	输入大小	Top-1（%）	评估大小	类	许可证	Hub
`swinv2_cr_small_224.sw_in1k`	224	83.126	224	1000	apache-2.0	timm
`swinv2_cr_small_ns_224.sw_in1k`	224	83.490	224	1000	apache-2.0	timm
`swinv2_cr_tiny_ns_224.sw_in1k`	224	81.796	224	1000	apache-2.0	timm

Update on GitHub