# DeLoRA: Decoupled Low-rank Adaptation [DeLoRA](https://huggingface.co/papers/2503.18225) — это метод эффективной дообучения, который неявно поддерживает границу Фробениуса относительно предобученных весов, нормализуя и масштабируя обучаемые матрицы низкого ранга. Это позволяет эффективно разделить обучение направлений (слагаемое BA) и величины (слагаемое границы) обновлений весов, избегая катастрофических сдвигов в адаптированных весах и повышая устойчивость к выбору гиперпараметров. Примечание: - используйте скорость обучения в 10–100 раз большую, чем для стандартных вариантов LoRA (типичные значения: 1e-3/1e-2/..) - убедитесь, что начальный параметр границы lambda не слишком мал (типичные значения около 10/15/..). Можно задать разные значения lambda для разных слоёв В настоящее время DeLoRA имеет следующие ограничения: - Поддерживаются только слои nn.Linear. - Квантованные слои не поддерживаются. Если эти ограничения не подходят для вашего сценария использования, рассмотрите другие методы. Аннотация из статьи: > Методы параметрически эффективной дообучения (PEFT) недавно приобрели значительную популярность благодаря широкой доступности крупных предобученных моделей. Эти методы позволяют быстро адаптировать модель к задачам нижнего уровня с минимальными вычислительными затратами. Однако популярные методы дообучения, такие как LoRA, демонстрируют ограниченную устойчивость при выборе гиперпараметров или в условиях расширенных режимов обучения, что препятствует достижению оптимальных результатов «из коробки». В отличие от них, ограниченные подходы, такие как ETHER, обеспечивают большую устойчивость, но ограничены адаптацией с крайне низким рангом и преобразованиями фиксированной силы, что снижает выразительную способность адаптации. В данной работе мы предлагаем Decoupled Low-rank Adaptation (DeLoRA) — новый метод дообучения, который нормализует и масштабирует обучаемые матрицы низкого ранга. Ограничивая расстояние преобразования, DeLoRA эффективно разделяет угловое обучение и силу адаптации, повышая устойчивость без ущерба для производительности. Проведя оценку на задачах генерации изображений по заданному описанию, понимания естественного языка и обучения по инструкциям, мы показываем, что DeLoRA соответствует или превосходит по производительности конкурирующие методы PEFT, демонстрируя при этом более высокую устойчивость. ## Обзор бенчмарков