FastViT

Kategori: Verimli/Mobil · Kod: timm/models/fastvit.py · Mimariler: 12 · Önceden eğitilmiş ağırlıklar: 21 (14'ü ImageNet-1k sonuçlarıyla)

FastViT, çıkarım sırasında atlamalı bağlantıları kaldırmak için yapısal yeniden parametrelendirme kullanan hibrit konvolüsyonel / transformer ağıdır. Modül ayrıca MobileCLIP görüntü kodlayıcılarını (fastvit_mci*) de içerir.

Makaleler

Kullanım

Önceden eğitilmiş ağırlıkları yükleme, görüntü ön işleme ve ince ayar için Hızlı Başlangıç bölümüne, modelleri omurga olarak kullanmak için ise Özellik Çıkarımı bölümüne bakın.

>>> import timm
>>> model = timm.create_model('fastvit_sa24.apple_dist_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

Model API desteği

Özellik	`FastVit`
`features_only=True` özellik haritaları	✓ (adım 4, 8, 16, 32)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
Herhangi bir giriş boyutu, değişiklik gerekmez	✓
`set_input_size()`	–
`dynamic_img_size=True`	–
`set_grad_checkpointing()`	✓
Katman bazlı LR azaltma (`group_matcher()`)	✓
`reset_classifier()`	✓

✓ destekleniyor, ✓ (kare) yalnızca kare boyutlarda çalışır, ✗ desteklenmiyor, – gerekli değil (model zaten herhangi bir giriş boyutunu kabul eder). Her özellik, rastgele başlatılmış bir model üzerinde çalıştırılarak kontrol edilir (FastVit için fastvit_t8 256'da), aynı sınıfın diğer mimarilerinin de aynı şekilde davranması beklenir. Ayrıntılar için Model API sayfasına bakın.

Mimariler

Mimari	Parametreler (M)	GMAC'lar	Girdi boyutu	Önceden eğitilmiş ağırlıklar
`fastvit_ma36`	43.98	7.82	256	2
`fastvit_mci0`	11.36	2.39	256	2
`fastvit_mci1`	21.46	4.67	256	1
`fastvit_mci2`	35.70	7.85	256	2
`fastvit_mci3`	125.07	14.82	256	1
`fastvit_mci4`	321.57	27.78	256	1
`fastvit_s12`	9.43	1.80	256	2
`fastvit_sa12`	11.55	1.94	256	2
`fastvit_sa24`	21.50	3.77	256	2
`fastvit_sa36`	31.46	5.59	256	2
`fastvit_t8`	4.00	0.69	256	2
`fastvit_t12`	7.51	1.39	256	2

GMAC'lar ve parametre sayıları, her mimarinin varsayılan giriş boyutu ve sınıflandırıcısı içindir ve benchmark sonuçlarından alınmıştır.

Önceden eğitilmiş ağırlıklar

Top-1, belirtilen değerlendirme boyutunda results-imagenet.csv dosyasındaki ImageNet-1k doğrulama doğruluğudur; ağırlığın ImageNet-1k sonucu yoksa (ör. ön eğitim veya görsel-metin ağırlıkları) bu değer "-" olarak gösterilir. Classes, ön eğitilmiş sınıflandırıcının boyutudur; sınıflandırıcısı olmayan ağırlıklar için bu değer "none"dur.

Ağırlıklar kaynağa göre gruplandırılır: önceden eğitilmiş yapılandırmada belirtilen makale veya köken, aksi halde timm dışında bir Hub kuruluşu, aksi halde önceden eğitilmiş etiketin ilk kısmı (architecture.tag). Tek bir ağırlığı olan kaynaklar other altında listelenir.

apple etiketleri

Ağırlık	Girdi boyutu	En iyi 1 (%)	Değerlendirme boyutu	Sınıflar	Lisans	Hub
`fastvit_ma36.apple_dist_in1k`	256	84.608	256	1000	fastvit-license	timm
`fastvit_ma36.apple_in1k`	256	83.884	256	1000	fastvit-license	timm
`fastvit_mci0.apple_mclip2_dfndr2b`	256	-	-	512	apple-amlr	timm
`fastvit_mci2.apple_mclip2_dfndr2b`	256	-	-	512	apple-amlr	timm
`fastvit_mci3.apple_mclip2_dfndr2b`	256	-	-	768	apple-amlr	timm
`fastvit_mci4.apple_mclip2_dfndr2b`	256	-	-	768	apple-amlr	timm
`fastvit_s12.apple_dist_in1k`	256	81.074	256	1000	fastvit-license	timm
`fastvit_s12.apple_in1k`	256	79.882	256	1000	fastvit-license	timm
`fastvit_sa12.apple_dist_in1k`	256	81.838	256	1000	fastvit-license	timm
`fastvit_sa12.apple_in1k`	256	80.846	256	1000	fastvit-license	timm
`fastvit_sa24.apple_dist_in1k`	256	83.368	256	1000	fastvit-license	timm
`fastvit_sa24.apple_in1k`	256	82.706	256	1000	fastvit-license	timm
`fastvit_sa36.apple_dist_in1k`	256	84.028	256	1000	fastvit-license	timm
`fastvit_sa36.apple_in1k`	256	83.502	256	1000	fastvit-license	timm
`fastvit_t8.apple_dist_in1k`	256	77.170	256	1000	fastvit-license	timm
`fastvit_t8.apple_in1k`	256	76.184	256	1000	fastvit-license	timm
`fastvit_t12.apple_dist_in1k`	256	80.364	256	1000	fastvit-license	timm
`fastvit_t12.apple_in1k`	256	79.276	256	1000	fastvit-license	timm

apple

Hugging Face Hub'da apple tarafından barındırılır.

Ağırlık	Girdi boyutu	En iyi 1 (%)	Değerlendirme boyutu	Sınıflar	Lisans	Hub
`fastvit_mci0.apple_mclip`	256	-	-	512	apple-amlr	apple/mobileclip_s0_timm
`fastvit_mci1.apple_mclip`	256	-	-	512	apple-amlr	apple/mobileclip_s1_timm
`fastvit_mci2.apple_mclip`	256	-	-	512	apple-amlr	apple/mobileclip_s2_timm

Update on GitHub