---

DeepSeek 信创部署实战：飞腾芯片 + 麒麟系统环境搭建全流程

（含信创认证材料准备技巧，解决国产化部署兼容性难题）

摘要： 随着国家信息技术应用创新（信创）战略的深入推进，国产化软硬件平台在关键领域的应用日益广泛。将先进的人工智能模型，如 DeepSeek 系列大模型，高效、稳定地部署在国产化信创环境（如飞腾处理器 + 麒麟操作系统）上，成为推动智能化应用国产化落地的关键环节。本文旨在提供一份详实的实战指南，手把手讲解如何在飞腾芯片（以 FT-2000/4 为例）搭配麒麟操作系统（以 Kylin V10 SP1 为例）的信创平台上，完成 DeepSeek 推理服务的部署、优化与适配。文章将涵盖硬件环境准备、操作系统安装与优化、深度学习基础环境构建（Python、PyTorch、CUDA等适配）、DeepSeek 模型部署的具体步骤、常见国产化兼容性难题及其解决方案，并结合信创项目验收要求，分享信创认证所需的材料准备技巧与注意事项。全文力求贴近工程实践，助力读者顺利完成国产化环境下的 AI 应用部署。

关键词： DeepSeek；信创；国产化；飞腾芯片；麒麟操作系统；部署；兼容性；CUDA；PyTorch；环境搭建；认证材料

---

第一章：引言 - 信创背景下的 AI 部署挑战与机遇

1.1 信创战略与国产化替代浪潮 * 国家信息技术应用创新战略的核心目标：构建安全、可控、自主的 IT 产业生态链。 * 关键领域（党政军、金融、能源、交通等）对国产 CPU（飞腾、鲲鹏、龙芯、申威）、操作系统（麒麟、统信 UOS）、数据库、中间件等的刚性需求。 * AI 作为新一代生产力工具，其国产化部署是实现全面信创不可或缺的一环。

1.2 DeepSeek 在国产化环境部署的意义 * DeepSeek 作为国内领先的大语言模型，具备强大的自然语言理解与生成能力，可广泛应用于智能客服、知识管理、代码生成、内容创作等场景。 * 在信创环境下成功部署 DeepSeek，意味着将先进的 AI 能力赋能于国产化基础软硬件平台，提升国产系统的智能化水平和应用价值。 * 是响应国家战略、满足行业需求、保障数据安全的重要实践。

1.3 飞腾 + 麒麟环境的独特性与挑战 * 飞腾芯片 (Phytium): 基于 ARM v8 架构的国产高性能服务器/桌面 CPU。其指令集、微架构、内存子系统与主流 x86 架构存在差异，可能导致： * 部分 x86 编译的二进制程序无法直接运行。 * 需要针对 ARM64 (aarch64) 架构重新编译软件栈。 * 特定指令集优化（如 SIMD）需要适配。 * 麒麟操作系统 (Kylin OS): 基于 Linux 内核的国产操作系统发行版。其特点包括： * 采用 Linux 内核，具备良好的开源软件兼容性基础。 * 可能包含特定的安全加固模块、驱动管理方式和软件包源。 * 预装软件和库的版本可能与 Ubuntu/CentOS 等主流发行版略有差异。 * 核心挑战： * 深度学习框架适配： PyTorch, TensorFlow 等框架及其依赖（如 CUDA, cuDNN）在 ARM64 架构下的可用性、稳定性和性能。 * GPU 加速兼容性： 国产 GPU (如 景嘉微, 芯瞳) 或兼容 ARM 平台的 NVIDIA GPU (如 Jetson AGX Orin) 的驱动、CUDA Toolkit 在麒麟系统上的安装与配置。 * Python 生态兼容： Python 解释器、科学计算库 (NumPy, SciPy)、PyTorch/TensorFlow 的 Python 接口包在 ARM64 上的编译或预编译包可用性。 * 依赖库冲突： 系统自带库与深度学习环境所需库的版本冲突。 * 性能优化： 在 ARM 架构上充分发挥 CPU/GPU 性能，达到可接受的推理速度。 * 信创认证材料： 部署方案、测试报告、适配证明等文档需符合信创项目验收规范。

1.4 本文目标与内容概览 * 目标： 提供一份可操作、可复现的 DeepSeek 在飞腾-麒麟信创环境下的部署指南，并解决常见兼容性问题，提供认证材料准备思路。 * 内容： * 第二章：硬件准备与麒麟操作系统安装优化 * 第三章：深度学习基础环境构建 (ARM64 适配) * 第四章：DeepSeek 模型部署与推理实战 * 第五章：国产化部署常见问题与解决方案 * 第六章：信创认证材料准备技巧 * 第七章：总结与展望

---

第二章：硬件准备与麒麟操作系统安装优化

2.1 硬件平台选择与准备 * 核心：飞腾 CPU 平台 * 推荐型号： FT-2000/4 (4核，主频 ~2.6GHz，适用于开发测试、轻量级应用)， FT-2500 (16核，主频 ~2.1GHz，适用于中等负载)， S2500 (64核，适用于高性能服务器)。本文以 FT-2000/4 桌面/服务器平台为例。 * 主板： 选择支持所选飞腾 CPU 型号的国产信创主板（如长城、浪潮、联想等厂商提供的飞腾平台服务器/工作站）。 * 内存： 容量建议 >= 32GB DDR4。DeepSeek 模型加载对内存要求较高。 * 存储： 系统盘建议使用 NVMe SSD (>=512GB)，用于存放操作系统、软件和模型。数据盘可选大容量 SATA SSD 或 HDD。 * GPU (可选但强烈推荐)： * 方案一 (兼容性好)： 使用支持 ARM64 架构的 NVIDIA GPU，如 NVIDIA Jetson AGX Orin (64GB)。需确认主板有 PCIe x16 插槽且电源功率足够。优势：CUDA 生态完善。 * 方案二 (纯国产)： 使用国产 GPU，如 景嘉微 JM9 系列 或 芯瞳 GPU。需提前确认麒麟操作系统是否提供官方驱动支持，以及是否支持所需的计算 API (如 OpenCL, Vulkan Compute)。部署难度可能更高，需紧密跟进厂商支持。 * 网络： 千兆或万兆网卡，确保模型下载和通信畅通。 * 电源： 根据 CPU、GPU 功耗选择额定功率足够、品质可靠的电源。 * 外设： 显示器、键盘、鼠标。

*   **硬件检查清单：**
    1.  确认所有硬件（特别是 GPU）与飞腾主板兼容。
    2.  确认电源功率满足峰值需求（尤其是带 GPU 时）。
    3.  准备麒麟操作系统安装介质（USB 驱动器或光盘）。
    4.  记录硬件配置清单（品牌、型号、序列号），后续认证材料会用到。

2.2 麒麟操作系统 (Kylin V10 SP1) 安装 * 获取安装镜像： 从麒麟软件官方网站下载最新的 Kylin Server V10 SP1 (或更高版本，但需确认对飞腾芯片的支持) 的 ARM64 (aarch64) 架构安装镜像。 * 制作启动盘： 使用 dd 命令或图形化工具（如 Rufus， BalenaEtcher）将 ISO 镜像写入 USB 驱动器。 * 启动安装： 1. 将 USB 启动盘插入目标机器，开机进入 BIOS/UEFI 设置。 2. 设置从 USB 设备启动。 3. 选择“安装麒麟服务器操作系统”。 * 安装过程 (关键步骤)： * 语言与时区： 选择中文及本地时区。 * 安装目标： 选择要安装的磁盘。强烈建议选择“自定义分区”： * /boot 或 /boot/efi: 500MB - 1GB (EFI 系统分区，格式 FAT32) * /: 根分区，剩余大部分空间，格式 XFS 或 ext4 (如 100GB+) * swap: 交换分区，大小 >= 物理内存 (如 32GB 内存配 32GB swap) * /home (可选)：用户数据分区 * 注意： 如果后续要安装 NVIDIA GPU 驱动，在分区时不要选择 LVM 或加密（除非明确知道如何配置），因为某些驱动安装程序对此支持不佳。 * 网络与主机名： 配置网络连接（建议设置静态 IP 便于管理），设置主机名。 * 用户设置： 创建管理员用户（非 root），设置强密码。 * 开始安装： 确认设置无误后开始安装，等待完成。 * 重启： 安装完成后重启，移除安装介质。

2.3 系统初始化与基础优化 * 登录系统： 使用创建的管理员账户登录。 * 更新系统： 首次登录后，立即更新系统以获取最新的安全补丁和软件包。 bash sudo apt update sudo apt upgrade -y sudo reboot # 必要时重启 * 安装基本工具： 安装常用工具，方便后续操作。 bash sudo apt install -y vim wget curl git tar gzip net-tools htop tmux screen * 配置软件源 (可选但推荐)： 麒麟系统默认源可能较慢或包不全。可考虑： * 检查 /etc/apt/sources.list 和 /etc/apt/sources.list.d/ 下的文件。 * 使用国内镜像源（如清华源、阿里云源）替换或补充官方源。注意：必须使用支持 ARM64 架构的镜像源！ 例如清华源： bash # 备份原文件 sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak sudo cp /etc/apt/sources.list.d/*.list /etc/apt/sources.list.d/backup/ # 编辑 sources.list， 替换为清华源 (示例，请根据实际版本核对URL) sudo vim /etc/apt/sources.list 替换内容参考 (具体路径需核实)： bash deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal-updates main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal-backports main restricted universe multiverse deb https://mirrors.tuna.tsinghua.edu.cn/ubuntu-ports/ focal-security main restricted universe multiverse 重要： 麒麟系统基于 Ubuntu LTS，但软件包可能有定制。替换源后，运行 sudo apt update 观察是否有错误。若有大量找不到包的错误，应谨慎或恢复官方源，优先使用麒麟提供的源。 * 麒麟官方源： 通常是最稳定兼容的选择，但速度可能慢。可尝试联系麒麟软件获取国内加速镜像信息。 * 配置 Swap (如果安装时未配置或不足)： bash # 创建一个 32GB 的交换文件 sudo fallocate -l 32G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile # 永久生效，编辑 /etc/fstab echo '/swapfile none swap sw 0 0' | sudo tee -a /etc/fstab * 配置 SSH 服务 (远程管理)： bash sudo apt install -y openssh-server sudo systemctl enable --now ssh # 编辑 /etc/ssh/sshd_config 可调整配置 (如 PermitRootLogin) * 配置防火墙 (ufw)： bash sudo apt install -y ufw sudo ufw allow ssh sudo ufw allow 22 # 如果SSH端口非默认22，则开放对应端口 sudo ufw enable * 安装显卡驱动 (如果使用 NVIDIA GPU - Jetson AGX Orin)： * 注意： NVIDIA Jetson AGX Orin 通常运行 JetPack SDK (基于 Ubuntu)，在麒麟系统上安装其驱动可能涉及兼容性问题。这是国产化部署中最常见的难题之一。 * 推荐方法： 1. 联系 NVIDIA 支持： 咨询官方对麒麟操作系统支持的计划和方案。 2. 尝试交叉安装： 下载适用于 ARM64 Ubuntu 的 NVIDIA 驱动 .run 文件。在安装前，确保麒麟系统安装了必要的内核头文件和开发工具： bash sudo apt install -y build-essential dkms linux-headers-`uname -r` 3. 禁用系统自带显卡驱动 (如 nouveau)： bash sudo vim /etc/modprobe.d/blacklist.conf # 添加 blacklist nouveau options nouveau modeset=0 bash sudo update-initramfs -u sudo reboot 4. 重启后进入文本模式 (Ctrl+Alt+F1)，关闭 X Server (如有)： bash sudo service lightdm stop # 或 gdm3, sddm 等 5. 运行 NVIDIA 驱动安装程序： bash chmod +x NVIDIA-Linux-*.run sudo ./NVIDIA-Linux-*.run 6. 安装过程中可能会遇到内核模块签名问题、预编译内核模块不匹配等问题，需要根据提示选择是否忽略签名、尝试编译内核模块。成功率取决于麒麟内核与驱动版本的兼容性。 7. 安装完成后重启。 8. 验证安装：nvidia-smi 或 nvidia-settings。 * 国产 GPU (如景嘉微)： 严格遵循麒麟软件和 GPU 厂商提供的官方安装指南和驱动包。 * 安装依赖库： 提前安装一些后续需要的库，减少后续安装深度学习环境时的麻烦。 bash sudo apt install -y build-essential cmake zlib1g-dev libbz2-dev libssl-dev libffi-dev \ libreadline-dev libsqlite3-dev liblzma-dev libncursesw5-dev libgdbm-dev libnss3-dev \ libxml2-dev libxslt1-dev libjpeg-dev libpng-dev libfreetype6-dev \ libopenblas-dev liblapack-dev libatlas-base-dev gfortran libhdf5-dev

---

第三章：深度学习基础环境构建 (ARM64 适配)

3.1 Python 环境管理 (推荐使用 Conda) * 在 ARM64 架构下，直接通过系统包管理器安装的 Python 可能版本较旧或缺少某些科学计算库的预编译包。使用 Miniconda/Anaconda 可以方便地管理多个 Python 环境，并能提供许多预编译好的 aarch64 包。 * 安装 Miniconda (ARM64 版本)： 1. 访问 Miniconda 下载页，找到适用于 Linux aarch64 的版本（如 Miniconda3-latest-Linux-aarch64.sh）。 2. 下载并安装： bash wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh bash Miniconda3-latest-Linux-aarch64.sh 3. 按照提示完成安装（默认安装在 $HOME/miniconda3）。 4. 初始化 Conda： bash source ~/.bashrc # 或 source ~/.zshrc conda init * 创建专用环境： bash conda create -n deepseek python=3.10 # 推荐使用 Python 3.8, 3.9, 3.10 conda activate deepseek

3.2 PyTorch 安装 (ARM64 适配的核心) * PyTorch 官方提供了对 ARM64 (aarch64) Linux 平台的支持，但通常需要通过源码编译或使用社区维护的预编译包。直接使用 pip install torch 可能无法找到合适的 aarch64 包。 * 方法一：使用官方预编译包 (推荐尝试)： * 访问 PyTorch 官网，选择 Linux, Pip, Python, CPU (或 CUDA 版本)，但架构选择 Linux aarch64。查看生成的 pip install 命令。 * 例如，对于 PyTorch 2.0.1 + CUDA 11.8 (如果 CUDA 驱动成功安装)： bash pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cu118 * 对于纯 CPU 版本： bash pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2 --index-url https://download.pytorch.org/whl/cpu * 验证安装： python python -c "import torch; print(torch.__version__); print(torch.cuda.is_available())" # 检查 CUDA 是否可用 * 方法二：从源码编译 (备选)： * 如果预编译包无法满足需求（如特定版本、自定义选项）或安装失败，则需要从源码编译。这是一个耗时且需要较多依赖的过程。 * 参考 PyTorch 官方文档的 从源码编译指南，特别注意针对 ARM64 的配置。 * 安装编译依赖： bash sudo apt install -y ninja-build cmake libopenblas-dev libblas-dev mkl mkl-include libffi-dev ... # 具体依赖列表请查阅 PyTorch 编译文档 * 克隆 PyTorch 源码，配置，编译。此过程可能非常漫长（数小时）。

3.3 CUDA Toolkit 与 cuDNN (如果使用 NVIDIA GPU) * 前提： NVIDIA GPU 驱动已成功安装且 nvidia-smi 命令正常工作。 * CUDA Toolkit 安装： * CUDA Toolkit 包含编译器和运行库。NVIDIA 提供 ARM64 SBSA (Server Base System Architecture) 版本的 CUDA Toolkit。 * 访问 CUDA Toolkit 下载页，选择 Linux > aarch64 > deb (network)。 * 下载并安装： bash wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/sbsa/cuda-ubuntu2004.pin sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600 sudo apt-key adv --fetch-keys https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/sbsa/7fa2af80.pub sudo add-apt-repository "deb https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/sbsa/ /" sudo apt update sudo apt install -y cuda-toolkit-11-8 # 安装与驱动匹配的版本，如 11.8 * 配置环境变量： bash echo 'export PATH=/usr/local/cuda-11.8/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc * 验证：nvcc --version * cuDNN 安装： * cuDNN 是深度神经网络加速库。需要注册 NVIDIA Developer Program 账号下载。 * 下载与 CUDA 版本匹配的 cuDNN for ARM64 SBSA (deb 包或 tar 包)。 * 以 tar 包为例： bash tar -xzvf cudnn-linux-aarch64-8.x.x.x_cudaX.Y.tgz # 替换实际文件名 sudo cp cuda/include/cudnn*.h /usr/local/cuda-11.8/include/ sudo cp cuda/lib64/libcudnn* /usr/local/cuda-11.8/lib64/ sudo chmod a+r /usr/local/cuda-11.8/include/cudnn*.h /usr/local/cuda-11.8/lib64/libcudnn* * 更新链接库缓存：sudo ldconfig

3.4 其他 Python 依赖安装 * 在 deepseek Conda 环境下，安装 DeepSeek 运行所需的其他 Python 包： bash pip install transformers accelerate sentencepiece protobuf # 根据 DeepSeek 模型的具体要求，可能还需要安装 bitsandbytes (量化), flash-attn (加速) 等 # 安装 bitsandbytes 可能需要编译 (在 ARM64 上): pip install -i https://pypi.tuna.tsinghua.edu.cn/simple bitsandbytes # 或者从源码: git clone https://github.com/TimDettmers/bitsandbytes.git cd bitsandbytes CUDA_VERSION=118 make cuda11x_nomatmul # 根据 CUDA 版本选择 target pip install . * 注意： 某些包（如 flash-attn）在 ARM64 上编译可能更具挑战性，需仔细阅读其文档。

---

第四章：DeepSeek 模型部署与推理实战

4.1 获取 DeepSeek 模型 * DeepSeek 模型通常通过 Hugging Face Hub 或官方指定渠道发布。 * 方法一：使用 Hugging Face transformers 库自动下载 (推荐)： python from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "deepseek-ai/deepseek-llm-7b-base" # 示例模型，替换为实际模型ID tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", torch_dtype=torch.float16) # 尝试自动分配到 GPU 或 CPU * 首次运行会自动下载模型权重到缓存目录（通常 ~/.cache/huggingface/hub）。确保该目录有足够磁盘空间（7B 模型约需 15GB+）。 * 方法二：手动下载后加载： 1. 从 Hugging Face Hub 页面手动下载模型的所有文件 (使用 git lfs clone 或网页下载)。 2. 将下载的文件夹放到指定路径，如 /data/models/deepseek-llm-7b-base。 3. 加载时指定路径： python model = AutoModelForCausalLM.from_pretrained("/data/models/deepseek-llm-7b-base", ...)

4.2 基础文本生成推理 * 使用 transformers 库的 pipeline 或手动编写生成代码： python from transformers import pipeline generator = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0) # device=0 指定使用第一个 GPU prompt = "人工智能在未来十年内" results = generator(prompt, max_length=100, num_return_sequences=1) print(results[0]['generated_text']) * 或者使用更底层的 API： python inputs = tokenizer(prompt, return_tensors="pt").to(model.device) # 将输入数据放到模型所在的设备 outputs = model.generate(**inputs, max_new_tokens=100) generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True) print(generated_text)

4.3 性能优化技巧 * 数据类型： 使用 torch.float16 (半精度) 或 torch.bfloat16 (如果硬件支持) 加载模型，显著减少显存占用和加速计算。注意：可能需要 accelerate 库的 device_map="auto" 来自动管理。 python model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", torch_dtype=torch.float16) * 量化 (Quantization): 进一步降低模型显存和内存占用，提高推理速度。 * 4-bit 量化 (推荐)： 使用 bitsandbytes 库： python from transformers import BitsAndBytesConfig bnb_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_use_double_quant=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16 ) model = AutoModelForCausalLM.from_pretrained(model_name, quantization_config=bnb_config, device_map="auto") * 8-bit 量化： python model = AutoModelForCausalLM.from_pretrained(model_name, load_in_8bit=True, device_map="auto") * 注意： 量化可能导致轻微精度损失。量化支持依赖于 bitsandbytes 在 ARM64 上的编译情况。 * Flash Attention (如果可用)： 使用 flash-attn 库替换标准的注意力实现，提升速度并减少显存。需成功安装并兼容 ARM64。 python model = AutoModelForCausalLM.from_pretrained(model_name, use_flash_attention_2=True, ...) * 批处理 (Batch Inference)： 如果可以同时处理多个输入，能更有效地利用 GPU 资源。 * 使用 vLLM (可选)： 对于高吞吐量的服务场景，可以考虑使用 vLLM 引擎部署，它针对大模型推理做了大量优化。需确认 vLLM 支持 ARM64 和飞腾平台。

4.4 部署为 API 服务 (FastAPI 示例) * 创建一个简单的 REST API 服务： ```python # app.py from fastapi import FastAPI from pydantic import BaseModel from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline import torch

    app = FastAPI()
    model_name = "deepseek-ai/deepseek-llm-7b-base"
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", torch_dtype=torch.float16)
    generator = pipeline("text-generation", model=model, tokenizer=tokenizer)

    class GenerateRequest(BaseModel):
        prompt: str
        max_length: int = 100

    @app.post("/generate")
    def generate_text(request: GenerateRequest):
        results = generator(request.prompt, max_length=request.max_length, num_return_sequences=1)
        return {"generated_text": results[0]['generated_text']}

    if __name__ == "__main__":
        import uvicorn
        uvicorn.run(app, host="0.0.0.0", port=8000)
    ```
*   运行服务：
    ```bash
    python app.py
    ```
*   测试 (使用 `curl` 或 Postman)：
    ```bash
    curl -X POST http://localhost:8000/generate -H "Content-Type: application/json" -d '{"prompt": "你好，DeepSeek", "max_length": 50}'
    ```

---

第五章：国产化部署常见问题与解决方案

5.1 PyTorch/CUDA 安装失败或不兼容 * 现象： import torch 报错，找不到 CUDA， torch.cuda.is_available() 返回 False。 * 排查： * nvidia-smi 是否正常工作？驱动是否安装成功？ * 安装的 PyTorch 版本是否明确支持 ARM64？是否指定了正确的 index-url？ * CUDA Toolkit 版本是否与驱动版本匹配？环境变量 PATH 和 LD_LIBRARY_PATH 是否设置正确？ * 尝试安装 PyTorch 的 CPU 版本，验证基础功能。 * 解决： * 仔细核对 PyTorch 官方提供的 ARM64 安装命令。 * 确保 CUDA Toolkit 是针对 ARM64 SBSA 安装的。 * 如果预编译包不行，尝试源码编译 PyTorch (非常耗时)。 * 考虑使用 Docker 镜像（如果麒麟系统支持运行包含预编译环境的 Docker 镜像）。

5.2 模型加载内存不足 (OOM - Out Of Memory) * 现象： 加载模型时崩溃，提示 CUDA out of memory 或系统内存不足。 * 原因： DeepSeek 模型参数量大，对显存 (GPU) 和内存 (CPU) 要求高。 * 解决： * 量化： 使用 4-bit 或 8-bit 量化是最有效的方法。 * 卸载到 CPU (Offload)： 使用 accelerate 的 device_map 设置，将部分层 (如 Embedding, LM Head) 卸载到 CPU。示例配置 device_map。 * 减少精度： 使用 torch.float16 或 torch.bfloat16。 * 增加物理内存/显存： 升级硬件。 * 使用更小模型： 如果可用，尝试 DeepSeek 的较小参数版本 (如 1.3B)。 * 系统级： 确保 swap 空间足够大。

5.3 依赖库编译失败 (如 bitsandbytes, flash-attn) * 现象： pip install 过程中编译失败，提示各种错误。 * 原因： ARM64 架构下某些包的预编译二进制可能不可用，需要本地编译，但编译环境可能缺少依赖或存在兼容性问题。 * 解决： * 仔细阅读错误日志，安装缺失的编译依赖 (build-essential, python3-dev, libopenblas-dev 等)。 * 查阅该包的 GitHub Issues，搜索是否有 ARM64 相关的编译问题讨论和解决方案。 * 尝试指定编译选项 (如 CFLAGS, LDFLAGS)。 * 对于 bitsandbytes，明确指定 CUDA 版本和 target (如 make cuda11x_nomatmul)。 * 如果编译实在困难，考虑暂时不使用该优化库。

5.4 推理速度慢 * 现象： 生成文本速度缓慢。 * 原因： ARM CPU 的单核性能可能弱于高端 x86 CPU。GPU 加速未充分利用或国产 GPU 性能限制。 * 解决： * 优化模型加载： 使用量化、Flash Attention。 * 利用多核 CPU： 确保 PyTorch 能使用多线程 (torch.set_num_threads(n))，但注意线程过多可能导致效率下降。 * GPU 加速： 确保模型在 GPU 上运行 (model.to('cuda'))，使用半精度。 * 批处理： 一次处理多个请求。 * 使用专用推理引擎： 探索 vLLM, TensorRT-LLM 等对 ARM64 的支持情况。 * 硬件升级： 使用更多核心的飞腾 CPU (如 S2500) 或更高性能的国产/NVIDIA GPU。

5.5 国产 GPU 驱动或计算库问题 * 现象： 国产 GPU 无法被识别，或运行计算时报错。 * 解决： * 严格遵循官方文档： 麒麟系统和 GPU 厂商的安装指南是唯一可靠来源。 * 联系厂商支持： 获取最新的驱动和 SDK，寻求技术支持。 * 验证 OpenCL/Vulkan： 安装厂商提供的 OpenCL 或 Vulkan Compute 驱动和运行时，尝试运行简单的计算示例程序。 * PyTorch 适配： 如果厂商提供了 PyTorch 的 backend (如通过 OpenCL)，则需要在 PyTorch 安装时启用该 backend 支持（可能需要源码编译）。否则，可能只能依赖 CPU 计算。

5.6 麒麟系统特有软件包冲突 * 现象： 安装某些 Python 包时，提示与系统已安装库版本冲突。 * 解决： * 使用 Conda 虚拟环境隔离是最佳实践，通常能避免大部分冲突。 * 如果冲突发生在底层系统库，尝试在虚拟环境中安装该库的特定版本 (conda install lib_name=version)。 * 谨慎使用 --system-site-packages 选项，这会引入系统包可能导致冲突。 * 万不得已，可以考虑在容器 (Docker) 中部署整个环境，与宿主机系统隔离。

---

第六章：信创认证材料准备技巧

信创项目验收通常需要提供一系列证明材料，证明系统符合国产化、安全、可控的要求。以下是为 DeepSeek 在飞腾+麒麟环境部署准备认证材料的关键点：

6.1 核心材料清单 * 1. 项目部署方案： * 详细描述部署的硬件配置（飞腾 CPU 型号、麒麟 OS 版本、内存、存储、国产 GPU 型号及来源）。 * 软件架构图：展示 DeepSeek 模型、推理服务、依赖环境 (Python, PyTorch) 与底层操作系统、硬件的关系。 * 网络拓扑图：展示部署服务器的网络位置和访问方式。 * 安全设计：说明数据安全、访问控制、日志审计等方面的措施。 * 2. 软硬件兼容性清单与证明： * 硬件清单： 服务器/工作站品牌型号、飞腾 CPU 型号、内存条规格、硬盘型号、国产 GPU 型号、网卡型号等，附设备照片或资产标签。 * 软件清单： * 操作系统：麒麟 Kylin V10 SP1 (aarch64) 及其版本号。 * 基础软件：Python 版本 (Conda 环境)、PyTorch 版本及来源 (官方预编译/源码编译)、CUDA Toolkit 版本 (如使用)、cuDNN 版本 (如使用)、其他关键依赖库版本。 * 应用软件：DeepSeek 模型版本、推理服务程序 (如 FastAPI 应用)。 * 兼容性证明： * 麒麟软件认证证书：证明所用麒麟版本是官方认证版本。 * 硬件兼容性报告：如果服务器厂商（如长城、浪潮）提供该飞腾平台与麒麟系统的兼容性证明，附上。 * 自测报告： 这是最重要的部分（见下文）。 * 3. 系统安全测评报告 (可选但推荐)： 由第三方安全测评机构出具，对部署环境进行漏洞扫描、基线检查、渗透测试等，证明系统安全性。需涵盖麒麟系统加固、应用服务安全配置等。 * 4. 用户手册/运维手册： 包含系统的安装部署步骤、日常运维操作（启动/停止服务、日志查看、监控）、故障排查指南等。 * 5. 测试报告： * 功能测试报告： 验证 DeepSeek 文本生成、问答等核心功能在国产环境下正常工作。包含测试用例、输入、预期输出、实际输出、结果 (Pass/Fail)。 * 性能测试报告： 测试国产环境下的推理速度、吞吐量、资源利用率 (CPU, GPU, 内存)，并与基准环境（如有）进行对比。记录测试环境、工具、方法和结果数据。 * 稳定性测试报告： 长时间运行（如 72 小时）的压力测试，观察服务是否稳定，资源是否泄漏。 * 兼容性测试报告 (自测)： 重点证明国产组件协同工作正常（见下节）。 * 6. 源代码审计报告 (如涉及)： 如果对 DeepSeek 或其依赖库进行了修改，可能需要提供修改说明和代码审计报告（证明无后门、安全漏洞）。

6.2 自测报告准备技巧 (重点) * 目的： 向验收方证明 DeepSeek 及其运行环境在飞腾芯片和麒麟系统上稳定运行，解决了兼容性问题。 * 内容要点： * 测试环境详述： 清晰说明测试所用的硬件型号、软件版本（麒麟 OS, Python, PyTorch, CUDA, DeepSeek 等）。 * 兼容性测试项： * 基础环境验证： * nvidia-smi 输出 (如用 GPU)。 * import torch; torch.cuda.is_available() 结果。 * 关键命令输出：uname -a, lsb_release -a, python --version, pip list | grep torch。 * 模型加载测试： 成功加载 DeepSeek 模型（FP16, 4-bit 量化等不同方式）并输出加载耗时和资源占用截图。 * 基础推理测试： 执行多个不同长度和类型的 prompt 生成，记录成功率和生成时间。截图示例。 * 性能基准： 使用标准 prompt，记录生成 N 个 token 的平均耗时、显存占用、CPU 占用。对比不同配置（如纯 CPU vs GPU， FP32 vs FP16 vs 4-bit）。 * API 服务测试： 通过 curl/Postman 调用部署的 API 服务，测试并发请求、长文本生成等。 * 稳定性测试： 持续运行 API 服务或批量生成任务 12-24 小时，监控进程状态、资源使用率、错误日志。 * 问题与解决记录： 核心！ 详细记录在部署和测试过程中遇到的所有兼容性问题（如 PyTorch 安装问题、量化编译问题、GPU 驱动问题），以及所采取的具体解决步骤和最终效果。附上关键的错误日志片段和解决后的验证结果。这部分最能体现部署工作的价值和解决了“国产化部署兼容性难题”。 * 测试结论： 明确说明 DeepSeek 在指定飞腾+麒麟环境上是否达到功能、性能、稳定性要求，关键兼容性问题是否已解决。 * 形式： 使用表格清晰列出测试项、测试方法、预期结果、实际结果、测试结果 (通过/失败)、备注 (问题描述及解决)。配合截图、日志片段作为附件。

6.3 注意事项 * 真实性： 所有材料必须真实反映实际部署环境和工作。 * 完整性： 材料清单要覆盖全面，避免遗漏关键证明。 * 规范性： 文档格式规范，文字描述清晰准确，图表清晰。 * 针对性： 材料内容要紧扣信创要求，突出国产化组件（飞腾、麒麟）以及在其上运行 DeepSeek 的适配性、可控性、安全性。 * 提前沟通： 与项目的验收方或主管部门提前沟通，了解他们对材料的具体要求，避免返工。 * 持续更新： 如果软硬件环境或应用发生变更，应及时更新相关材料。

---

第七章：总结与展望

7.1 总结 本文详细阐述了在飞腾处理器（FT-2000/4）和麒麟操作系统（Kylin V10 SP1）构成的国产化信创平台上，部署 DeepSeek 大语言模型推理服务的全流程。从硬件准备、麒麟系统安装优化，到深度学习基础环境（Python, PyTorch, CUDA）在 ARM64 架构下的适配挑战与解决方案，再到 DeepSeek 模型的具体部署、性能优化技巧，以及部署过程中可能遇到的典型国产化兼容性难题及其应对策略，都提供了基于实战经验的指导。最后，结合信创项目验收要求，重点分享了如何准备合规且具有说服力的认证材料，特别是自测报告的编写技巧，以证明系统符合国产化、安全、可控的要求。

实践证明，虽然国产化环境部署面临架构差异、软件生态成熟度等挑战，但通过充分利用社区资源（如 PyTorch 的 ARM64 预编译包）、灵活应用技术手段（如量化、模型卸载）、仔细排查依赖和编译问题，并结合厂商支持，是完全能够成功在飞腾+麒麟平台上部署并运行像 DeepSeek 这样的大型 AI 模型的。这为在信创环境下开展更广泛的智能化应用奠定了技术基础。

7.2 展望 * 国产硬件性能提升： 期待飞腾下一代高性能服务器 CPU 和国产 GPU 在计算能力、显存带宽上的显著提升，更好地满足大模型训练和推理的算力需求。 * 软件生态持续完善： 希望麒麟操作系统进一步加强对主流深度学习框架、GPU 驱动（尤其是国产 GPU）的原生支持和优化。PyTorch, TensorFlow 等框架对 ARM64 的官方支持应更加稳定和易用。 * 专用推理引擎支持： 期待 vLLM, TensorRT-LLM 等高性能推理引擎尽快完善对 ARM64 架构和国产 GPU 的支持，提供开箱即用的高效推理能力。 * 模型轻量化与国产化： 除了在国产硬件上部署现有模型，推动开发更轻量化、更适合国产平台算力特点的模型，以及探索完全自主研发的国产大模型框架也至关重要。 * 标准化与认证体系： 信创领域软硬件的适配认证流程有望进一步标准化、透明化，减少部署的兼容性不确定性。

---