第二章 模型选型与部署工程

2.1 模型选型核心维度与决策流程

模型选型是大模型后端工程的第一步，直接决定后续开发成本、效果和资源消耗。选型需围绕业务需求、技术能力、资源成本、合规要求四大维度，遵循以下决策流程：

2.2 模型量化技术原理与实践

模型量化是降低大模型部署成本、提升推理速度的核心手段，通过降低模型参数的数值精度，减少内存占用和计算量。

2.2.1 主流量化技术对比

2.2.2 量化实践步骤（以LLaMA 3-70B INT4量化为例）

1. 环境准备：安装transformers、bitsandbytes、accelerate库；
2. 配置量化参数：设置load_in_4bit=True，指定bnb_4bit_quant_type="nf4"（最优量化类型）、bnb_4bit_compute_dtype=torch.float16；
3. 加载模型与Tokenizer：通过AutoModelForCausalLM.from_pretrained加载量化模型，AutoTokenizer.from_pretrained加载对应Tokenizer；
4. 推理验证：输入测试文本，检查推理速度和输出效果，对比未量化模型的差异；
5. 部署优化：结合vLLM或TGI框架，提升量化模型的并发推理能力。

2.3 主流推理框架选型与部署实践

推理框架决定大模型后端的并发能力、推理速度和资源利用率，主流框架分为开源推理框架和云推理服务两类。

2.3.1 开源推理框架对比

2.3.2 Docker+K8s部署大模型推理服务实践

1. 构建Docker镜像：
   • 编写Dockerfile，基于CUDA镜像，安装Python依赖，复制模型代码和配置文件；
   • 示例（以vLLM为例）：

     FROM nvidia/cuda:12.1.1-cudnn8-runtime-ubuntu22.04
     WORKDIR /app
     RUN apt update && apt install -y python3 python3-pip
     RUN pip3 install vllm transformers torch
     COPY ./model_config.py /app/
     CMD ["python3", "model_config.py"]
     

2. 本地镜像测试：构建镜像后，本地运行容器，测试模型推理接口是否正常；
3. K8s部署配置：
   • 编写Deployment.yaml：指定镜像、资源限制（GPU显存、CPU核心数）、副本数；
   • 编写Service.yaml：暴露ClusterIP或NodePort，提供外部访问接口；
   • 编写Ingress.yaml：配置域名和路由，实现外部访问；
4. 部署验证：通过kubectl apply -f部署资源，查看Pod状态、测试接口响应。

2.4 多模型路由与负载均衡设计

高并发业务中，单一模型无法满足全场景需求，需通过多模型路由实现“按需分配”，结合负载均衡提升服务稳定性。

2.4.1 多模型路由策略

1. 场景路由：按业务场景分配模型（如问答场景用Qwen-7B，代码生成场景用CodeLlama）；
2. 优先级路由：按模型效果优先级分配（核心请求用高精度模型，非核心请求用轻量模型）；
3. 负载路由：按模型负载情况分配（负载低的模型分配更多请求）；
4. 降级路由：核心模型故障时，自动切换到备用模型（如GPT-4故障时切换到Claude 3）。

2.4.2 路由中间件选型与配置

• 选型推荐：Nginx（轻量、易配置）、Kong（适配API网关）、自定义路由服务（灵活适配复杂场景）；
• Nginx配置示例（多模型路由）：

  http {
      upstream model_qwen {
          server 192.168.1.10:8000; # Qwen-7B服务地址
      }
      upstream model_llama {
          server 192.168.1.11:8000; # Llama 3-8B服务地址
      }
      server {
          listen 80;
          location /qwen {
              proxy_pass http://model_qwen;
          }
          location /llama {
              proxy_pass http://model_llama;
          }
          # 降级路由配置
          location /core {
              proxy_pass http://model_qwen;
              proxy_next_upstream error timeout;
              proxy_next_upstream_tries 2;
          }
      }
  }