# ハイブリッドビジョントランスフォーマー

**カテゴリ:** ハイブリッド · **コード:** [`timm/models/vision_transformer_hybrid.py`](https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/vision_transformer_hybrid.py) · **アーキテクチャ:** 14 · **事前学習済み重み:** 14 (ImageNet-1kの結果付き: 7)

線形パッチ埋め込みではなく、畳み込みバックボーン（ResNet / ResNetV2のステムまたはステージ）からパッチトークンを取得するVision Transformers。この場合、`VisionTransformer`クラスを使用します。

## 論文

* [画像1枚は16x16の単語に相当：大規模な画像認識のためのTransformer](https://arxiv.org/abs/2010.11929)
* [ViTの学習方法: Vision Transformerにおけるデータ、拡張、正則化](https://arxiv.org/abs/2106.10270)
* [MobileCLIP: マルチモーダル強化学習による高速な画像・テキストモデル](https://arxiv.org/abs/2311.17049)
* [MobileCLIP2: マルチモーダル強化学習の改善](https://arxiv.org/abs/2508.20691)

## 使用方法

事前学習済み重みの読み込み、画像の前処理、ファインチューニングについては[クイックスタート](../quickstart)を、モデルをバックボーンとして使用する方法については[特徴抽出](../feature_extraction)を参照してください。

```py
>>> import timm
>>> model = timm.create_model('vit_small_r26_s32_224.augreg_in21k_ft_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)
```

## モデルAPIのサポート

| 機能 | `VisionTransformer` |
|---|---|
| [`features_only=True` 特徴マップ](../model_api#intermediate-features) | ✓ (strides 32, 32, 32) |
| [`forward_intermediates()`](../model_api#intermediate-features) | ✓ |
| [`prune_intermediate_layers()`](../model_api#intermediate-features) | ✓ |
| [入力サイズは任意で、変更は不要です](../model_api#input-size) | ✗ |
| [`set_input_size()`](../model_api#input-size) | ✓ |
| [`dynamic_img_size=True`](../model_api#input-size) | ✓ |
| [`set_grad_checkpointing()`](../model_api#training-hooks) | ✓ |
| [レイヤーごとのLR減衰（`group_matcher()`）](../model_api#training-hooks) | ✓ |
| [`reset_classifier()`](../model_api#classifier) | ✓ |

✓ 対応、✓ (square) 正方形サイズのみ動作、✗ 非対応、– 不要（モデルはすでに任意の入力サイズを受け入れる）。各機能をランダムに初期化されたモデル（224の`VisionTransformer`と`vit_tiny_r_s16_p8_224`）で実行して確認しました。同じクラスの他のアーキテクチャも同様に動作すると予想されます。詳細は[Model API](../model_api)ページを参照してください。

## アーキテクチャ

| アーキテクチャ | パラメータ数 (M) | GMACs | 入力サイズ | 事前学習済み重み |
|---|---:|---:|---:|---:|
| `vit_base_mci_224` | 86.35 | 17.73 | 224 | 3 |
| `vit_base_r26_s32_224` | 101.38 | 6.81 | 224 | 0 |
| `vit_base_r50_s16_224` | 97.89 | 21.66 | 224 | 1 |
| `vit_base_r50_s16_384` | 98.95 | 67.43 | 384 | 1 |
| `vit_base_resnet26d_224` | 101.40 | 6.97 | 224 | 0 |
| `vit_base_resnet50d_224` | 110.97 | 8.73 | 224 | 0 |
| `vit_large_r50_s32_224` | 328.99 | 19.58 | 224 | 2 |
| `vit_large_r50_s32_384` | 329.09 | 57.43 | 384 | 1 |
| `vit_small_r26_s32_224` | 36.43 | 3.56 | 224 | 2 |
| `vit_small_r26_s32_384` | 36.47 | 10.43 | 384 | 1 |
| `vit_small_resnet26d_224` | 63.61 | 5.07 | 224 | 0 |
| `vit_small_resnet50d_s16_224` | 57.53 | 13.48 | 224 | 0 |
| `vit_tiny_r_s16_p8_224` | 6.34 | 0.44 | 224 | 2 |
| `vit_tiny_r_s16_p8_384` | 6.36 | 1.34 | 384 | 1 |

GMACsとパラメータ数は、各アーキテクチャのデフォルトの入力サイズと分類器に基づいており、[ベンチマーク結果](https://github.com/huggingface/pytorch-image-models/tree/main/results)から得られたものです。

## 事前学習済み重み

Top-1 は、[`results-imagenet.csv`](https://github.com/huggingface/pytorch-image-models/blob/main/results/results-imagenet.csv) に記載された評価サイズでの ImageNet-1k 検証精度です。- は、ImageNet-1k の結果がない重み（例: プリトレーニング用または画像-テキスト用重み）を示します。Classes は事前学習済み分類器のサイズで、分類器を持たない重みには該当しません。

重みはソースごとにグループ化されます。ソースは、事前学習設定で指定されている論文または出典、それ以外の場合は`timm`以外の Hub 組織、さらにそれ以外の場合は事前学習タグの最初の部分（`architecture.tag`）です。重みが 1 つしかないソースは other にリストされます。

### `augreg`タグ

| 重み | 入力サイズ | Top-1 (%) | 評価サイズ | クラス | ライセンス | Hub |
|---|---:|---:|---:|---:|---|---|
| `vit_large_r50_s32_224.augreg_in21k` | 224 | - | - | 21843 | apache-2.0 | [timm](https://huggingface.co/timm/vit_large_r50_s32_224.augreg_in21k) |
| `vit_large_r50_s32_224.augreg_in21k_ft_in1k` | 224 | 84.434 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/vit_large_r50_s32_224.augreg_in21k_ft_in1k) |
| `vit_large_r50_s32_384.augreg_in21k_ft_in1k` | 384 | 86.188 | 384 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/vit_large_r50_s32_384.augreg_in21k_ft_in1k) |
| `vit_small_r26_s32_224.augreg_in21k` | 224 | - | - | 21843 | apache-2.0 | [timm](https://huggingface.co/timm/vit_small_r26_s32_224.augreg_in21k) |
| `vit_small_r26_s32_224.augreg_in21k_ft_in1k` | 224 | 81.856 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/vit_small_r26_s32_224.augreg_in21k_ft_in1k) |
| `vit_small_r26_s32_384.augreg_in21k_ft_in1k` | 384 | 84.066 | 384 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/vit_small_r26_s32_384.augreg_in21k_ft_in1k) |
| `vit_tiny_r_s16_p8_224.augreg_in21k` | 224 | - | - | 21843 | apache-2.0 | [timm](https://huggingface.co/timm/vit_tiny_r_s16_p8_224.augreg_in21k) |
| `vit_tiny_r_s16_p8_224.augreg_in21k_ft_in1k` | 224 | 71.800 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/vit_tiny_r_s16_p8_224.augreg_in21k_ft_in1k) |
| `vit_tiny_r_s16_p8_384.augreg_in21k_ft_in1k` | 384 | 75.962 | 384 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/vit_tiny_r_s16_p8_384.augreg_in21k_ft_in1k) |

### `orig` タグ

| 重み | 入力サイズ | Top-1 (%) | 評価サイズ | クラス | ライセンス | Hub |
|---|---:|---:|---:|---:|---|---|
| `vit_base_r50_s16_224.orig_in21k` | 224 | - | - | なし | apache-2.0 | [timm](https://huggingface.co/timm/vit_base_r50_s16_224.orig_in21k) |
| `vit_base_r50_s16_384.orig_in21k_ft_in1k` | 384 | 84.988 | 384 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/vit_base_r50_s16_384.orig_in21k_ft_in1k) |

### apple

Hugging Face Hub上で[`apple`](https://huggingface.co/apple)がホストしています。

| 重み | 入力サイズ | Top-1 (%) | 評価サイズ | クラス | ライセンス | Hub |
|---|---:|---:|---:|---:|---|---|
| `vit_base_mci_224.apple_mclip` | 224 | - | - | 512 | apple-amlr | [apple/mobileclip_b_timm](https://huggingface.co/apple/mobileclip_b_timm) |
| `vit_base_mci_224.apple_mclip_lt` | 224 | - | - | 512 | apple-amlr | [apple/mobileclip_b_lt_timm](https://huggingface.co/apple/mobileclip_b_lt_timm) |

### その他

| 重み | 入力サイズ | Top-1 (%) | 評価サイズ | クラス | ライセンス | Hub |
|---|---:|---:|---:|---:|---|---|
| `vit_base_mci_224.apple_mclip2_dfndr2b` | 224 | - | - | 512 | apple-amlr | [timm](https://huggingface.co/timm/vit_base_mci_224.apple_mclip2_dfndr2b) |