# C3A: Эффективное по параметрам дообучение с помощью круговой свёртки [C3A](https://huggingface.co/papers/2407.19342) — это метод дообучения с высокой эффективностью по параметрам, который использует свёртку по кругу (Circular Convolution) для достижения адаптации высокого ранга в рамках разумных ограничений ресурсов. Обратите внимание, что для C3A следует использовать значительно более высокую скорость обучения (LR), чем для других методов. Например, LR 1e-1 для C3A является хорошей отправной точкой. Кроме того, следует использовать значительно меньшее значение weight decay. Дополнительные сведения можно найти в папке `method_comparison`. Для `block_size` он влияет на настраиваемые параметры и производительность. Для начала можно выбрать $\mathrm{gcd}(d_1,d_2)$, близкое к $\frac{\sqrt{d_1 \times d_2}}{r}$, где $r$ — это ранг LoRA, который вы планируете использовать для этой задачи. В настоящее время C3A имеет следующие ограничения: - Поддерживаются только слои `nn.Linear`. - Квантованные слои не поддерживаются. - Размер блока должен быть общим делителем как входного, так и выходного размеров целевых слоёв. Если эти ограничения не подходят для вашего сценария использования, рассмотрите другие методы. Аннотация из статьи: > Метод Low-Rank Adaptation (LoRA) получил широкое распространение для дообучения крупных базовых моделей, используя матрицы низкого ранга $\mathbf{A}$ и $\mathbf{B}$ для представления изменений весов (то есть $\Delta \mathbf{W} = \mathbf{B} \mathbf{A}$). Этот подход сокращает количество обучаемых параметров и снижает значительное потребление памяти, связанное с полными матрицами дельт, за счет последовательного умножения $\mathbf{A}$ и $\mathbf{B}$ на активации. Несмотря на свою эффективность, внутренняя характеристика низкого ранга может ограничивать производительность. Хотя было предложено несколько вариантов для решения этой проблемы, они часто упускают из виду критически важную вычислительную и энергетическую эффективность, обеспечиваемую LoRA. В данной статье мы предлагаем метод Circular Convolution Adaptation (C3A), который не только обеспечивает адаптацию высокого ранга с улучшенной производительностью, но и превосходит по показателям вычислительной мощности и использования памяти. Многочисленные эксперименты демонстрируют, что C3A стабильно превосходит LoRA и его варианты на различных задачах дообучения. ## Обзор бенчмарков