ViTamin

카테고리: 하이브리드 · 코드: timm/models/vitamin.py · 아키텍처: 13 · 프리트레인된 가중치: 15 (ImageNet-1k 결과가 있는 것은 0개)

ViTamin은 비전-언어 모델용으로 설계된 비전 모델로, 컨볼루션(MBConv) 단계 뒤에 트랜스포머 단계가 이어집니다. 가중치는 CLIP 이미지 타워입니다.

논문

ViTamin: 비전-언어 시대의 확장 가능한 비전 모델 설계

사용

사전 학습된 가중치 로드, 이미지 전처리 및 파인튜닝에 대해서는 Quickstart를, 모델을 백본으로 사용하는 방법에 대해서는 Feature Extraction을 참고하세요.

>>> import timm
>>> model = timm.create_model('vitamin_base_224.datacomp1b_clip', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

모델 API 지원

기능	`VisionTransformer`
`features_only=True` feature map	✓ (strides 16, 16, 16)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
입력 크기 무관, 변경 불필요	✗
`set_input_size()`	✓
`dynamic_img_size=True`	✓
`set_grad_checkpointing()`	✓
레이어별 LR 감쇠(`group_matcher()`)	✓
`reset_classifier()`	✓

✓ 지원됨, ✓ (정사각형) 정사각형 크기만 작동, ✗ 미지원, – 필요 없음(모델이 이미 모든 입력 크기를 허용). 무작위로 초기화된 모델(VisionTransformer에 vitamin_small_224를 224로 적용)에서 각 기능을 실행하여 확인했습니다. 같은 클래스의 다른 아키텍처도 동일한 동작을 할 것으로 예상됩니다. 자세한 내용은 Model API 페이지를 참조하세요.

아키텍처

아키텍처	매개변수 (M)	GMAC	입력 크기	사전 학습된 가중치
`vitamin_base_224`	87.72	22.68	224	2
`vitamin_large2_224`	333.58	75.05	224	1
`vitamin_large2_256`	333.64	99.00	256	1
`vitamin_large2_336`	333.83	175.72	336	1
`vitamin_large2_384`	333.97	234.44	384	1
`vitamin_large_224`	333.32	75.05	224	1
`vitamin_large_256`	333.38	99.00	256	1
`vitamin_large_336`	333.57	175.72	336	1
`vitamin_large_384`	333.71	234.44	384	1
`vitamin_small_224`	22.17	5.92	224	2
`vitamin_xlarge_256`	436.06	130.13	256	1
`vitamin_xlarge_336`	436.06	230.18	336	1
`vitamin_xlarge_384`	436.06	306.38	384	1

GMACs와 매개변수 수는 각 아키텍처의 기본 입력 크기 및 분류기에 대한 값이며, 벤치마크 결과에서 가져왔습니다.

사전 학습된 가중치

Top-1은 results-imagenet.csv에 나열된 평가 크기에서 측정된 ImageNet-1k 검증 정확도입니다. - 가중치에 ImageNet-1k 결과가 없는 경우(예: 사전 학습 또는 이미지-텍스트 가중치)에는 표시하지 않습니다. Classes는 사전 학습된 분류기의 크기를 나타내며, 분류기가 없는 가중치의 경우 none입니다.

가중치	입력 크기	Top-1(%)	평가 크기	클래스	라이선스	Hub
`vitamin_base_224.datacomp1b_clip`	224	-	-	768	mit	jienengchen/ViTamin-B
`vitamin_base_224.datacomp1b_clip_ltt`	224	-	-	768	mit	jienengchen/ViTamin-B-LTT
`vitamin_large2_224.datacomp1b_clip`	224	-	-	1024	mit	jienengchen/ViTamin-L2-224px
`vitamin_large2_256.datacomp1b_clip`	256	-	-	1024	mit	jienengchen/ViTamin-L2-256px
`vitamin_large2_336.datacomp1b_clip`	336	-	-	1024	mit	jienengchen/ViTamin-L2-336px
`vitamin_large2_384.datacomp1b_clip`	384	-	-	1024	mit	jienengchen/ViTamin-L2-384px
`vitamin_large_224.datacomp1b_clip`	224	-	-	768	mit	jienengchen/ViTamin-L-224px
`vitamin_large_256.datacomp1b_clip`	256	-	-	768	mit	jienengchen/ViTamin-L-256px
`vitamin_large_336.datacomp1b_clip`	336	-	-	768	mit	jienengchen/ViTamin-L-336px
`vitamin_large_384.datacomp1b_clip`	384	-	-	768	mit	jienengchen/ViTamin-L-384px
`vitamin_small_224.datacomp1b_clip`	224	-	-	384	mit	jienengchen/ViTamin-S
`vitamin_small_224.datacomp1b_clip_ltt`	224	-	-	768	mit	jienengchen/ViTamin-S-LTT
`vitamin_xlarge_256.datacomp1b_clip`	256	-	-	1152	mit	jienengchen/ViTamin-XL-256px
`vitamin_xlarge_336.datacomp1b_clip`	336	-	-	1152	mit	jienengchen/ViTamin-XL-336px
`vitamin_xlarge_384.datacomp1b_clip`	384	-	-	1152	mit	jienengchen/ViTamin-XL-384px

인용

@inproceedings{chen2024vitamin,
  title={ViTamin: Designing Scalable Vision Models in the Vision-language Era},
  author={Chen, Jieneng and Yu, Qihang and Shen, Xiaohui and Yuille, Alan and Chen, Liang-Chieh},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  year={2024}
}

Update on GitHub