PEFT OFT：正交微调技术的数学基础

时翔辛Victoria

980人浏览 · 2025-10-09 05:50:03

时翔辛Victoria · 2025-10-09 05:50:03 发布

PEFT OFT：正交微调技术的数学基础

【免费下载链接】peft 🤗 PEFT: State-of-the-art Parameter-Efficient Fine-Tuning. 项目地址: https://gitcode.com/gh_mirrors/pe/peft

引言：参数高效微调的新范式

你是否在训练大型语言模型时遇到过显存不足的问题？是否希望在保持模型性能的同时大幅减少训练参数？正交微调（Orthogonal Fine-Tuning, OFT）技术为你提供了全新的解决方案。本文将深入解析OFT的数学原理，帮助你理解这项突破性技术如何在DreamBooth等应用中实现高效模型微调。

读完本文后，你将能够：

理解OFT的核心数学原理
掌握OFT与传统微调方法的区别
学会在实际项目中应用OFT技术
分析OFT的性能优势与适用场景

OFT的数学基础

正交矩阵的核心作用

OFT技术的核心在于利用正交矩阵（Orthogonal Matrix）的特殊性质来限制参数更新的方向。正交矩阵满足以下重要性质：

$$ Q^T Q = Q Q^T = I $$

其中 $Q^T$ 是矩阵 $Q$ 的转置，$I$ 是单位矩阵。这一性质确保了经过正交变换后的数据保留了原始的欧几里得距离和内积，从而在微调过程中保持模型原有知识的稳定性。

在OFT实现中，正交矩阵被用于构建低秩适应层，如examples/oft_dreambooth/train_dreambooth.py中定义的参数：

parser.add_argument("--oft_r", type=int, default=0, help="OFT rank, only used if use_oft is True")
parser.add_argument("--oft_block_size", type=int, default=32, help="OFT block size, only used if use_oft is True")
parser.add_argument("--oft_dropout", type=float, default=0.0, help="OFT dropout, only used if use_oft is True")

低秩分解与参数效率

OFT通过低秩分解（Low-Rank Decomposition）实现参数高效微调。对于一个维度为 $d \times d$ 的权重矩阵 $W$，OFT将其更新量 $\Delta W$ 表示为：

$$ \Delta W = Q diag(\sigma) P^T $$

其中 $Q$ 和 $P$ 是正交矩阵，$diag(\sigma)$ 是包含奇异值的对角矩阵。这种分解将参数数量从 $O(d^2)$ 减少到 $O(d \times r)$，其中 $r$ 是秩（rank），通常远小于 $d$。

在实际应用中，秩 $r$ 是一个关键超参数，可以通过--oft_r参数进行调整。较小的秩可以获得更高的参数效率，但可能限制模型的表达能力；较大的秩则提供更多的微调自由度，但参数数量也会相应增加。

约束优化与COFT变体

OFT还引入了约束优化机制，通过--oft_use_coft参数启用，进一步控制参数更新的幅度：

parser.add_argument(
    "--oft_use_coft", action="store_true", help="Using constrained OFT, only used if use_oft is True"
)
parser.add_argument(
    "--oft_eps",
    type=float,
    default=0.0,
    help="The control strength of COFT. Only has an effect if `oft_use_coft` is set to True.",
)

约束正交微调（Constrained OFT, COFT）通过引入 $\epsilon$ 参数控制更新幅度，确保微调过程更加稳定，避免过拟合和灾难性遗忘。

OFT的实现架构

目标模块选择

OFT在实现时需要选择模型中的特定模块进行微调。在DreamBooth应用中，OFT主要针对UNet和文本编码器（Text Encoder）中的注意力层进行微调：

UNET_TARGET_MODULES = ["to_q", "to_v", "query", "value"]  # , "ff.net.0.proj"]
TEXT_ENCODER_TARGET_MODULES = ["q_proj", "v_proj"]

这种选择基于对模型架构的深入理解，聚焦于对生成结果影响最大的注意力机制相关模块，从而在有限的参数预算下获得最佳性能。

训练流程与数据处理

OFT的训练流程与传统微调类似，但在数据处理和优化器设置上有特殊考量。DreamBooth数据集类DreamBoothDataset负责加载和预处理训练数据：

class DreamBoothDataset(Dataset):
    """
    A dataset to prepare the instance and class images with the prompts for fine-tuning the model.
    It pre-processes the images and the tokenizes prompts.
    """
    def __init__(
        self,
        instance_data_root,
        instance_prompt,
        tokenizer,
        class_data_root=None,
        class_prompt=None,
        size=512,
        center_crop=False,
    ):
        # 初始化代码...
        
    def __getitem__(self, index):
        example = {}
        instance_image = Image.open(self.instance_images_path[index % self.num_instance_images])
        if not instance_image.mode == "RGB":
            instance_image = instance_image.convert("RGB")
        example["instance_images"] = self.image_transforms(instance_image)
        # 更多数据处理代码...
        return example

该类同时处理实例图像（Instance Images）和类别图像（Class Images），支持先验保留（Prior Preservation）技术，通过--with_prior_preservation参数启用，有助于避免过拟合到少量实例图像。

OFT的实践应用

超参数选择指南

OFT的性能很大程度上取决于超参数的选择。基于实践经验，我们推荐以下超参数设置作为起点：

参数	推荐值	说明
`--oft_r`	16-64	秩，根据任务复杂度和数据量调整
`--oft_block_size`	32	块大小，通常不需要修改
`--oft_dropout`	0.0-0.1	dropout率，防止过拟合
`--learning_rate`	2e-5-5e-5	学习率，通常比全参数微调低1-2个数量级
`--train_batch_size`	4-16	批次大小，根据显存容量调整

推理过程示例

OFT微调后的模型推理过程与标准模型类似，但需要加载OFT适配器权重。以下是examples/oft_dreambooth/oft_dreambooth_inference.ipynb中的关键代码：

import torch
from diffusers import DiffusionPipeline
from peft import PeftModel

device = "cuda" if torch.cuda.is_available() else "cpu"
pipe = DiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-1-base")
pipe.to(device)

# 加载OFT适配器
pipe.unet = PeftModel.from_pretrained(pipe.unet, "path/to/oft/unet/adapter")
pipe.text_encoder = PeftModel.from_pretrained(pipe.text_encoder, "path/to/oft/text_encoder/adapter")

# 生成图像
prompt = "a photo of sks dog in a park"
image = pipe(prompt).images[0]
image.save("oft_generated_image.png")

这段代码展示了如何将OFT适配器应用到预训练的Stable Diffusion模型中，实现特定概念的生成。