如何监控Qwen2.5-32B-Instruct运行状态：运维监控完整方案

【免费下载链接】Qwen2.5-32B-Instruct 项目地址: https://ai.gitcode.com/hf_mirrors/MindIE/Qwen2.5-32B-Instruct

Qwen2.5-32B-Instruct作为一款高性能的大语言模型，在实际部署和运行过程中，有效的监控方案对于保障服务稳定性、优化性能至关重要。本文将为你提供一套完整的Qwen2.5-32B-Instruct运行状态运维监控方案，帮助你实时掌握模型运行情况。

监控指标与端口配置

Qwen2.5-32B-Instruct服务框架提供了专门的监控指标端口，用于暴露模型运行时的关键指标。在启动容器时，通过--metrics-port参数可以设置用于暴露指标的监听端口。

默认情况下，--metrics-port的取值为9812，取值规范为整数类型，合法的端口范围为1025到65535，且注意不得与--management-port设为相同值。

当在单机上启动多实例时，多个容器之间的--metrics-port不能冲突。例如，第一个容器可以设置为--metrics-port 9812，第二个容器则需设置为不同的端口，如--metrics-port 9814。

日志监控方案

Qwen2.5-32B-Instruct的所有日志会打印至标准输出终端，如需保存日志，需要自行重定向输出来进行保存。

从宿主机上访问容器中的日志，可以执行以下命令：

docker logs -f <container-id>

通过该命令，你可以实时查看容器的运行日志，及时发现和排查问题。建议结合日志分析工具，对日志进行长期存储和分析，以便更好地了解模型的运行状况和趋势。

多实例监控注意事项

在单机上启动多个Qwen2.5-32B-Instruct容器时，除了要确保--metrics-port不冲突外，还需要注意以下几点：

1. 单一容器只挂载需要使用的设备，比如只想使用前两张卡，在启动命令中指定相应的--device参数。

2. 不能设置--ipc==host，会导致进程间通信出问题，第一个容器可以启动，第二个容器就无法启动，必须设置--shm-size=1g。

3. 多个容器之间的端口不能冲突，包括--port，--management-port和--metrics-port。

下面是一个具体的多实例启动例子，第一个容器启动，使用6和7卡，设置--metrics-port 9812：

docker run --net=host --shm-size=1g \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/sbin:/usr/local/sbin \
-v /path-to-weights/qwen2.5_32b_instruct:/home/HwHiAiUser/Ascend/qwen2.5_32b_instruct \
mindie:1.0.RC3-800I-A2-arm64-OpenMind \
--model /home/HwHiAiUser/Ascend/qwen2.5_32b_instruct
--port 9811 \
--management-port 9811 \
--metrics-port 9812

等待第一个容器启动成功后，再使用以下命令启动第二个容器，使用4和5卡，设置--metrics-port 9814：

docker run --net=host --shm-size=1g \
--device=/dev/davinci_manager \
--device=/dev/hisi_hdc \
--device=/dev/devmm_svm \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /usr/local/sbin:/usr/local/sbin \
-v /path-to-weights/qwen2.5_32b_instruct:/home/HwHiAiUser/Ascend/qwen2.5_32b_instruct \
mindie:1.0.RC3-800I-A2-arm64-OpenMind \
--model /home/HwHiAiUser/Ascend/qwen2.5_32b_instruct
--port 9813 \
--management-port 9813 \
--metrics-port 9814

设备与资源监控

Qwen2.5-32B-Instruct运行在NPU设备上，对设备资源的监控也是运维工作的重要组成部分。你可以通过以下方式进行设备与资源监控：

1. 指定NPU卡监控：直接修改挂载的--device，即可指定使用哪些卡，并对这些卡进行重点监控。注意，只能挂载1/2/4/8这样的数量，不能挂载3/5/6/7这样的数量。

2. NPU设备内存监控：通过--npu-mem-size参数可以设置每个NPU设备的内存大小，单位为GB，指定为-1时自动分配。默认值为-1，当后端为ms时，默认值为8。监控NPU设备内存使用情况，有助于及时发现内存泄漏等问题。

3. 批处理大小监控：--max-prefill-batch-size参数用于设置预填充阶段的最大批处理大小，该参数主要是在明确需要限制prefill阶段batch size的场景下使用。监控批处理大小的变化，可以了解模型的负载情况，以便进行性能优化。

监控告警与问题排查

结合上述监控指标和日志，你可以设置相应的监控告警机制。当关键指标超出阈值或日志中出现错误信息时，及时发送告警通知，以便运维人员快速响应。

在问题排查方面，启动容器后，如果服务启动失败，可以使用docker exec -it <container-id> bash进入容器，命令提示符前缀为HwHiAiUser，则证明为非root用户运行，如下：

HwHiAiUser@localhost:~$

通过进入容器，可以进一步查看日志、检查配置等，帮助定位问题原因。

此外，还需要注意权重路径权限问题，保证权重路径是可用的，执行以下命令修改权限，注意是整个父级目录的权限：

chown -R HwHiAiUser:HwHiAiUser /path-to-weights
chmod -R 750 /path-to-weights

通过以上完整的监控方案，你可以全面掌握Qwen2.5-32B-Instruct的运行状态，及时发现并解决问题，确保服务的稳定运行。

【免费下载链接】Qwen2.5-32B-Instruct 项目地址: https://ai.gitcode.com/hf_mirrors/MindIE/Qwen2.5-32B-Instruct