EfficientFormer-V2

카테고리: Efficient/Mobile · 코드: timm/models/efficientformer_v2.py · 아키텍처: 4 · 프리트레이닝 가중치: 4 (ImageNet-1k 결과 포함 4개)

EfficientFormer-V2는 모바일 기기의 매개변수 수와 지연 시간을 모두 줄이기 위해 EfficientFormer 설계를 재검토하며, 컨볼루션 단계를 사용하고 후반부의 낮은 해상도 단계에서 어텐션을 적용합니다.

논문

모바일넷의 크기와 속도를 위한 비전 트랜스포머 재고

사용

사전 학습된 가중치 로드, 이미지 전처리 및 파인튜닝에 대해서는 Quickstart를, 모델을 백본으로 사용하는 방법에 대해서는 Feature Extraction을 참고하세요.

>>> import timm
>>> model = timm.create_model('efficientformerv2_l.snap_dist_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

모델 API 지원

기능	`EfficientFormerV2`
`features_only=True` feature map	✓ (strides 4, 8, 16, 32)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
입력 크기 무관, 변경 불필요	✗
`set_input_size()`	✗
`dynamic_img_size=True`	✗
`set_grad_checkpointing()`	✓
레이어별 LR 감쇠(`group_matcher()`)	✓
`reset_classifier()`	✓

✓ 지원됨, ✓ (정사각형) 정사각형 크기만 작동, ✗ 미지원, – 필요 없음(모델이 이미 모든 입력 크기를 허용). 무작위로 초기화된 모델(EfficientFormerV2의 efficientformerv2_s0, 224)에서 각 기능을 실행하여 확인했습니다. 같은 클래스의 다른 아키텍처도 동일한 동작을 하는 것으로 예상됩니다. 자세한 내용은 Model API 페이지를 참조하세요.

아키텍처

아키텍처	매개변수 (M)	GMAC	입력 크기	사전 학습된 가중치
`efficientformerv2_l`	26.32	2.59	224	1
`efficientformerv2_s0`	3.60	0.41	224	1
`efficientformerv2_s1`	6.19	0.67	224	1
`efficientformerv2_s2`	12.71	1.27	224	1

GMACs와 매개변수 수는 각 아키텍처의 기본 입력 크기 및 분류기에 대한 값이며, 벤치마크 결과에서 가져왔습니다.

사전 학습된 가중치

Top-1은 results-imagenet.csv에 나열된 평가 크기에서 측정된 ImageNet-1k 검증 정확도입니다. - 가중치에 ImageNet-1k 결과가 없는 경우(예: 사전 학습 또는 이미지-텍스트 가중치)에는 표시하지 않습니다. Classes는 사전 학습된 분류기의 크기를 나타내며, 분류기가 없는 가중치의 경우 none입니다.

가중치	입력 크기	Top-1(%)	평가 크기	클래스	라이선스	Hub
`efficientformerv2_l.snap_dist_in1k`	224	83.642	224	1000	apache-2.0	timm
`efficientformerv2_s0.snap_dist_in1k`	224	76.102	224	1000	apache-2.0	timm
`efficientformerv2_s1.snap_dist_in1k`	224	79.684	224	1000	apache-2.0	timm
`efficientformerv2_s2.snap_dist_in1k`	224	82.156	224	1000	apache-2.0	timm

인용

@article{
    li2022rethinking,
    title={Rethinking Vision Transformers for MobileNet Size and Speed},
    author={Li, Yanyu and Hu, Ju and Wen, Yang and Evangelidis, Georgios and Salahi, Kamyar and Wang, Yanzhi and Tulyakov, Sergey and Ren, Jian},
    journal={arXiv preprint arXiv:2212.08059},
    year={2022}
}

Update on GitHub