# ConViT

**カテゴリ:** ViT · **コード:** [`timm/models/convit.py`](https://github.com/huggingface/pytorch-image-models/blob/main/timm/models/convit.py) · **アーキテクチャ:** 3 · **事前学習済み重み:** 3 (ImageNet-1kの結果付き3)

ConViTは、初期のVision Transformerブロックの自己注意を、ソフトな畳み込みの帰納的バイアスとして、畳み込みのように動作するように初期化可能なゲーティング付き位置自己注意（GPSA）に置き換えます。

## 論文

* [ConViT: ソフトな畳み込みの帰納的バイアスによるVision Transformerの改善](https://arxiv.org/abs/2103.10697)

## 使用方法

事前学習済み重みの読み込み、画像の前処理、ファインチューニングについては[クイックスタート](../quickstart)を、モデルをバックボーンとして使用する方法については[特徴抽出](../feature_extraction)を参照してください。

```py
>>> import timm
>>> model = timm.create_model('convit_small.fb_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)
```

## モデルAPIのサポート

| 機能 | `ConVit` |
|---|---|
| [`features_only=True` 特徴マップ](../model_api#intermediate-features) | ✓ (strides 16, 16, 16) |
| [`forward_intermediates()`](../model_api#intermediate-features) | ✓ |
| [`prune_intermediate_layers()`](../model_api#intermediate-features) | ✓ |
| [入力サイズは任意で、変更は不要です](../model_api#input-size) | ✗ |
| [`set_input_size()`](../model_api#input-size) | ✗ |
| [`dynamic_img_size=True`](../model_api#input-size) | ✗ |
| [`set_grad_checkpointing()`](../model_api#training-hooks) | ✗ |
| [レイヤーごとのLR減衰（`group_matcher()`）](../model_api#training-hooks) | ✓ |
| [`reset_classifier()`](../model_api#classifier) | ✓ |

✓ 対応、✓ (square) 正方形サイズのみ対応、✗ 非対応、– 不要（モデルはすでに任意の入力サイズを受け入れる）。各機能をランダムに初期化されたモデル（`ConVit`、`convit_tiny`、224）で実行して確認しました。同じクラスの他のアーキテクチャも同様に動作すると予想されます。詳細は[Model API](../model_api)ページを参照してください。

## アーキテクチャ

| アーキテクチャ | パラメータ数 (M) | GMACs | 入力サイズ | 事前学習済み重み |
|---|---:|---:|---:|---:|
| `convit_base` | 86.54 | 17.52 | 224 | 1 |
| `convit_small` | 27.78 | 5.76 | 224 | 1 |
| `convit_tiny` | 5.71 | 1.26 | 224 | 1 |

GMACsとパラメータ数は、各アーキテクチャのデフォルトの入力サイズと分類器に基づいており、[ベンチマーク結果](https://github.com/huggingface/pytorch-image-models/tree/main/results)から得られたものです。

## 事前学習済み重み

Top-1 は、[`results-imagenet.csv`](https://github.com/huggingface/pytorch-image-models/blob/main/results/results-imagenet.csv) に記載された評価サイズでの ImageNet-1k 検証精度です。- は、ImageNet-1k の結果がない重み（例: プリトレーニング用または画像-テキスト用重み）を示します。Classes は事前学習済み分類器のサイズで、分類器を持たない重みには該当しません。

| 重み | 入力サイズ | Top-1 (%) | 評価サイズ | クラス | ライセンス | Hub |
|---|---:|---:|---:|---:|---|---|
| `convit_base.fb_in1k` | 224 | 82.296 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/convit_base.fb_in1k) |
| `convit_small.fb_in1k` | 224 | 81.412 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/convit_small.fb_in1k) |
| `convit_tiny.fb_in1k` | 224 | 73.140 | 224 | 1000 | apache-2.0 | [timm](https://huggingface.co/timm/convit_tiny.fb_in1k) |

## 引用

```bibtex
@article{d2021convit,
  title={ConViT: Improving Vision Transformers with Soft Convolutional Inductive Biases},
  author={d'Ascoli, St{'e}phane and Touvron, Hugo and Leavitt, Matthew and Morcos, Ari and Biroli, Giulio and Sagun, Levent},
  journal={arXiv preprint arXiv:2103.10697},
  year={2021}
}
```