NesT

カテゴリ: ViT · コード: timm/models/nest.py · アーキテクチャ: 6 · 事前学習済み重み: 3 (ImageNet-1kの結果を含む3つ)

Nested Transformers (NesT) は、重複しない画像ブロック内でローカルに自己注意を適用し、ステージ間で隣接するブロックをアグリゲートします。公式の JAX リリースから変換された重みです。

論文

ネスト階層型Transformer: 高精度・データ効率・解釈可能な視覚理解へ

使用方法

事前学習済み重みの読み込み、画像の前処理、ファインチューニングについてはクイックスタートを、モデルをバックボーンとして使用する方法については特徴量抽出を参照してください。

>>> import timm
>>> model = timm.create_model('nest_tiny_jx.goog_in1k', pretrained=True)
>>> data_config = timm.data.resolve_model_data_config(model)

モデルAPIのサポート

機能	`Nest`
`features_only=True` 特徴マップ	✓ (ストライド 4, 8, 16)
`forward_intermediates()`	✓
`prune_intermediate_layers()`	✓
入力サイズは任意で、変更は不要です	✗
`set_input_size()`	✗
`dynamic_img_size=True`	✗
`set_grad_checkpointing()`	✓
レイヤーごとのLR減衰（`group_matcher()`）	✓
`reset_classifier()`	✓

✓ 対応、✓ (square) 正方形サイズのみ対応、✗ 非対応、– 不要（モデルはすでに任意の入力サイズを受け入れる）。各機能をランダムに初期化されたモデル（Nest を nest_tiny で 224）で実行して確認しています。同じクラスの他のアーキテクチャも同様に動作すると予想されます。詳細は Model API ページを参照してください。

アーキテクチャ

アーキテクチャ	パラメータ数 (M)	GMACs	入力サイズ	事前学習済み重み
`nest_base`	67.72	17.96	224	0
`nest_base_jx`	67.72	17.96	224	1
`nest_small`	38.35	10.35	224	0
`nest_small_jx`	38.35	10.35	224	1
`nest_tiny`	17.06	5.83	224	0
`nest_tiny_jx`	17.06	5.83	224	1

GMACsとパラメータ数は、各アーキテクチャのデフォルトの入力サイズと分類器に基づいており、ベンチマーク結果から得られたものです。

事前学習済み重み

Top-1 は、results-imagenet.csv に記載された評価サイズでの ImageNet-1k 検証精度です。- は、ImageNet-1k の結果がない重み（例: プリトレーニング用または画像-テキスト用重み）を示します。Classes は事前学習済み分類器のサイズで、分類器を持たない重みについては none です。

重み	入力サイズ	Top-1 (%)	評価サイズ	クラス	ライセンス	Hub
`nest_base_jx.goog_in1k`	224	83.552	224	1000	apache-2.0	timm
`nest_small_jx.goog_in1k`	224	83.132	224	1000	apache-2.0	timm
`nest_tiny_jx.goog_in1k`	224	81.428	224	1000	apache-2.0	timm

Update on GitHub