一、什么是Low-Rank Adaptation, LoRA

Lora分层技术是一种应用于AI图像生成领域的技术，旨在更精准地控制图像生成效果，满足多样化的创作需求。它在大模型与文本输入之间发挥关键作用，通过对内部参数的调整来实现风格融合、细节优化等功能。低秩适应技术（Low-Rank Adaptation, LoRA）是一种用于高效微调大型预训练模型（如语言模型或扩散模型）的参数高效微调方法。其核心思想是通过低秩矩阵分解，仅调整模型的部分参数，从而在降低计算成本和内存需求的同时保持模型性能。
1. Lora分层的定义与原理：Lora全称低率适应技术，是康福UI里的一个工具，也是一种微调模型。它通过内部的两种向量数据发挥作用，一种管Lora模型参与到大模型中的权重和信息，另一种调节人物的意义、线条和长相。在图像生成时，大模型和文本输入如同两个长方体穿插进行，Lora在它们之间发挥作用，产生37层的分层效果。每一层都像一层网，图像生成过程中数据需穿过这些层，每穿过一次就加强一次，最终形成一张图的效果。这37层分为前中后不同部分，且可大致分为两类，前20层（DDMIT部分，简称d部分）控制模块的风格和氛围，包括决定风格偏向写实还是卡通，以及光影效果；后7层（SS图层）负责处理和控制图像细节，如建筑的纹理、人物的表情、颜色、大小、形状、肢体动作和幅度等。
2. Lora分层的作用：利用Lora分层技术，能实现多种风格的融合。例如，将不同的画风，如欧美卡通风格和保卫萝卜的风格融合在一起，生成独特的风格效果。在生成人物形象时，通过调整不同层的权重，可以在同一动作下变换出多样的画风；或者按照特定画风调整任意图片。在处理没有素材训练的新需求时，如将蔡根谭漫画书的绘画风格应用到小海的形象上，Lora分层可单独提取画风，关闭不需要的元素图层，避免其他元素（如花草动物）对目标形象（小海）产生影响，从而将特定风格准确应用到目标元素上，生成符合需求的场景地图关卡元素风格。

二、技术原理

LoRA通过在预训练模型的权重矩阵 W 上引入低秩矩阵 A 和 B，将权重更新表示为：