LLaVA、Qwen-VL 这类多模态模型，Vision Encoder 跑在 NPU 上，Language Model 也跑在 NPU 上。两张卡跑一个模型，或者一张卡跑两个模块——在昇腾NPU上有明确的部署策略。

多模态模型的结构

输入图像 → Vision Encoder (ViT) → 图像 token
                                      ↓
Prompt + 图像 token → Language Model → 输出

Vision Encoder 的计算量小（一张图约 0.5-1.0 TFLOPS），Language Model 的计算量大（7B 模型约 14 TFLOPS/token）。两者都跑在 NPU 上，需要合理分配显存和计算资源。

单卡部署（推荐）

from atb_multimodal import LlavaLLM

model = LlavaLLM(
    model_path="llava-hf/llava-1.6-7b-hf",
    device="npu:0",
    torch_dtype=torch.bfloat16,
)

# 图像预处理 + Vision Encoder 在 NPU 上跑
image = Image.open("test.jpg")
output = model.generate(
    prompt="描述这张图片",
    images=[image],
    max_new_tokens=512,
)

单卡部署最简单：Vision Encoder 和 Language Model 共享一张 NPU 的显存。Llama2-7B + ViT-L/14 的显存占用约 16GB（fp16），64GB 显存绰绰有余。

双卡 TP 部署（大模型场景）

33B/70B 多模态模型需要 2-8 卡 TP：

from atb_multimodal import LlavaLLM

model = LlavaLLM(
    model_path="llava-hf/llava-1.6-34b-hf",
    devices="npu:0,1,2,3",  # 4 卡 TP
    tensor_parallel_size=4,
    torch_dtype=torch.bfloat16,
)

Vision Encoder 只在 rank 0 上跑，结果 broadcast 给其他 rank。因为 Vision Encoder 的计算量小，不需要 TP。

Vision Encoder 优化

ViT 的 Attention 是长序列（一张图 576 个 patch token）。FlashAttention 对 ViT 的加速比 Language Model 更明显：

# 开启 ViT 的 FlashAttention
model.enable_vit_flash_attention(True)

实测 Qwen-VL-7B，ViT 部分开启 FlashAttention 后，prefill 延迟从 120ms 降到 45ms。

图像处理流水线

多模态推理的瓶颈往往在图像预处理（Resize、Normalize、Patch Embedding）。这些操作在 CPU 上做会拖累整体吞吐。

# 用 NPU 做图像预处理
from torch_npu.contrib import transforms

preprocess = transforms.Compose([
    transforms.Resize((336, 336)),
    transforms.ToTensor(),
    transforms.Normalize(mean=[0.485, 0.456, 0.406],
                        std=[0.229, 0.224, 0.225]),
])

image_npu = preprocess(image).to("npu:0")  # 在 NPU 上做预处理

NPU 上的图像预处理比 CPU 快 3-5×，因为 NPU 的 Vector 单元对逐元素操作（Normalize）很高效。

KV Cache 管理

多模态模型的 KV Cache 比纯文本模型多了一部分图像 token。一张图的 576 个 token 占用 KV Cache 约 3MB（Llama2-7B，fp16）。

# 预分配 KV Cache（包含图像 token）
model = LlavaLLM(
    model_path="llava-hf/llava-1.6-7b-hf",
    device="npu:0",
    max_seq_len=4096 + 576,  # 文本 + 图像 token
    kv_cache_dtype="fp16",
)

如果不预分配，图像 token 和文本 token 的 KV Cache 会碎片化，显存利用率降低 10-15%。

实测性能

Qwen-VL-7B，Atlas 800I A2，单卡：

图像 token 使 prefill 延迟增加 45ms，decode 速度几乎无影响（图像 token 只在 prefill 阶段参与 Attention）。

多模态模型在昇腾NPU上部署，单卡够跑 7B 模型，双卡/4 卡跑 33B/70B。关键点：Vision Encoder 只用 rank 0，图像预处理放到 NPU 上做，KV Cache 预分配包含图像 token。仓库在这里：

https://atomgit.com/cann/ATB