Comblant l'écart entre l'adaptation de rang faible et l'adaptation orthogonale via l'adaptation par réflexion de Householder (HRA)

HRA offre une nouvelle perspective reliant LoRA à OFT, ce qui lui permet de tirer parti des avantages des deux stratégies en exploitant les réflexions de Householder pour réduire le nombre de paramètres et les coûts de calcul, tout en pénalisant la perte des connaissances acquises lors du pré-entraînement. Il obtient systématiquement de meilleures performances avec moins de paramètres entraînables et surpasse les adaptateurs de pointe sur différents modèles, y compris les grands modèles de langage (LLM) et les générateurs d'images conditionnels.

HRA construit une chaîne de r réflexions de Householder (HR) entraînables. Étant donné que la matrice de réflexion de Householder est une matrice orthogonale et que le produit de matrices orthogonales est également une matrice orthogonale, HRA satisfait la garantie théorique de l'Orthogonal Finetuning (OFT). Parallèlement, HRA peut également être considéré comme un adaptateur de fine-tuning de faible rang. Plus r, est élevé, plus il y a de paramètres entraînables, ce qui entraîne une capacité de modèle plus importante et de meilleures performances. De plus, en raison de la structure en chaîne, l'orthogonalité des plans HR influence la capacité et la régularité de HRA. Pour atteindre un compromis entre la capacité du modèle et la régularité, un régulariseur d'orthogonalité des plans HR est ajouté à la fonction de perte. Le poids$\lambda$ peut contrôler l'intensité du régulariseur.

L'abstract de l'article est :

Bien que suivant des approches techniques distinctes, les techniques d'adaptation de faible rang et orthogonales permettent toutes deux d'adapter efficacement les modèles de pré-entraînement à grande échelle à des tâches ou des domaines spécifiques, à partir d'un petit nombre de paramètres entraînables. Dans cette étude, nous comblons le fossé entre ces deux techniques en proposant une méthode d'adaptation simple mais efficace, basée sur les réflexions de Householder. À partir d'un modèle pré-entraîné, notre méthode ajuste ses couches en multipliant chaque matrice de poids figée par une matrice orthogonale construite à l'aide d'une chaîne de réflexions de Householder (HR) apprenables. Cet ajustement orthogonal basé sur les HR est équivalent à une adaptation de faible rang adaptative. De plus, nous montrons que l'orthogonalité des plans de réflexion correspondant aux HR influence la capacité et la régularité du modèle. Cette analyse nous motive à régulariser l'orthogonalité des HR, ce qui conduit à différentes implémentations de la méthode d'adaptation par réflexion de Householder (HRA) proposée. Comparée aux méthodes de l'état de l'art, HRA atteint des performances supérieures avec moins de paramètres apprenables lors de l'adaptation de grands modèles de langage et de générateurs d'images conditionnels. Le code est disponible sur peft et HRA.

API

HRAConfig

HRAModel

>>> from diffusers import StableDiffusionPipeline
>>> from peft import HRAConfig, get_peft_model

>>> config_te = HRAConfig(
...     r=8,
...     target_modules=["k_proj", "q_proj", "v_proj", "out_proj", "fc1", "fc2"],
...     init_weights=True,
... )
>>> config_unet = HRAConfig(
...     r=8,
...     target_modules=[
...         "proj_in",
...         "proj_out",
...         "to_k",
...         "to_q",
...         "to_v",
...         "to_out.0",
...         "ff.net.0.proj",
...         "ff.net.2",
...     ],
...     init_weights=True,
... )

>>> model = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5")
>>> model.text_encoder = get_peft_model(model.text_encoder, config_te)
>>> model.unet = get_peft_model(model.unet, config_unet)