timm documentation

Swin Transformer V2 (CR)

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Swin Transformer V2 (CR)

Thể loại: ViT · Code: timm/models/swin_transformer_v2_cr.py · Kiến trúc: 16 · Trọng số tiền huấn luyện: 3 (3 có kết quả ImageNet-1k)

Một triển khai Swin Transformer V2 thay thế, được điều chỉnh từ mã của Christoph Reich, được thiết kế để thay đổi kích thước ảnh cùng với kích thước cửa sổ, bao gồm cả các kích thước không vuông. Chuỗi tài liệu của module đánh dấu nó là thử nghiệm.

Bài báo

Cách sử dụng

Xem Quickstart để tải trọng số được huấn luyện trước, tiền xử lý ảnh và tinh chỉnh, và Feature Extraction để sử dụng các mô hình làm bộ xương sống.

>>> import timm
>>> model = timm.create_model('swinv2_cr_tiny_ns_224.sw_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Hỗ trợ API mô hình

Tính năngSwinTransformerV2Cr
bản đồ đặc trưng features_only=True✓ (các bước nhảy 4, 8, 16, 32)
forward_intermediates()✓
prune_intermediate_layers()✓
Bất kỳ kích thước đầu vào nào, không cần thay đổi✗
set_input_size()✓
dynamic_img_size=True✓
set_grad_checkpointing()✓
Suy giảm LR theo lớp (group_matcher())✓
reset_classifier()✓

✓ được hỗ trợ, ✓ (vuông) chỉ hoạt động với kích thước vuông, ✗ không được hỗ trợ, – không cần thiết (mô hình đã chấp nhận bất kỳ kích thước đầu vào nào). Được kiểm tra bằng cách chạy từng tính năng trên một mô hình được khởi tạo ngẫu nhiên (SwinTransformerV2Cr với swinv2_cr_tiny_224 ở 224), các kiến trúc khác cùng lớp được kỳ vọng sẽ hoạt động tương tự. Xem trang Model API để biết chi tiết.

Kiến trúc

Kiến trúcSố tham số (M)GMACsKích thước đầu vàoTrọng số được huấn luyện trước
swinv2_cr_base_22487.8815.862240
swinv2_cr_base_38487.8850.573840
swinv2_cr_base_ns_22487.8815.862240
swinv2_cr_giant_2242598.76483.852240
swinv2_cr_giant_3842598.761450.713840
swinv2_cr_huge_224657.83115.972240
swinv2_cr_huge_384657.94352.043840
swinv2_cr_large_224196.6835.102240
swinv2_cr_large_384196.68108.963840
swinv2_cr_small_22449.709.072241
swinv2_cr_small_38449.7029.703840
swinv2_cr_small_ns_22449.709.082241
swinv2_cr_small_ns_25649.7012.072560
swinv2_cr_tiny_22428.334.662240
swinv2_cr_tiny_38428.3315.343840
swinv2_cr_tiny_ns_22428.334.662241

GMACs và số lượng tham số được tính cho kích thước đầu vào và bộ phân loại mặc định của mỗi kiến trúc, từ kết quả benchmark.

Trọng số được huấn luyện trước

Top-1 là độ chính xác kiểm tra trên ImageNet-1k từ results-imagenet.csv ở kích thước eval được liệt kê, - nếu trọng số không có kết quả ImageNet-1k (ví dụ trọng số pretraining hoặc image-text). Classes là kích thước của bộ phân loại được huấn luyện trước, không có đối với các trọng số không có bộ phân loại.

Trọng sốKích thước đầu vàoTop-1 (%)Kích thước đánh giáCác lớpGiấy phépHub
swinv2_cr_small_224.sw_in1k22483.1262241000apache-2.0timm
swinv2_cr_small_ns_224.sw_in1k22483.4902241000apache-2.0timm
swinv2_cr_tiny_ns_224.sw_in1k22481.7962241000apache-2.0timm
Update on GitHub