昇腾平台深度学习模型故障排查与日志分析指南

1. 昇腾平台故障排查的核心挑战

在昇腾（Ascend）平台上进行深度学习模型开发和调试，与传统的NVIDIA CUDA生态有着显著差异。这种差异不仅体现在硬件架构上，更反映在整个软件栈的设计理念中。对于习惯了CUDA生态的开发者来说，初次接触CANN（Compute Architecture for Neural Networks）时，往往会遇到以下几个典型挑战：

首先，错误信息的呈现方式截然不同。在CUDA环境中，错误通常以相对直观的调用栈形式呈现，开发者可以快速定位到问题发生的代码位置。而在CANN生态中，错误信息往往以编码形式出现（如EZ9999、E19999等），需要开发者具备解码这些"摩斯密码"的能力。

其次，调试工具链的差异。CUDA生态经过多年发展，已经形成了成熟的调试工具链（如Nsight、cuda-gdb等）。而CANN的调试工具相对较新，很多开发者对其使用方法和最佳实践还不够熟悉。

再者，异构计算的复杂性。昇腾平台采用Host（CPU）-Device（NPU）分离架构，一个问题可能同时涉及多个计算层级和软件模块，这使得故障定位变得更加复杂。

提示：在开始故障排查前，建议先花时间了解CANN的整体架构和数据处理流程。这将帮助你在面对错误时，能够快速判断问题可能发生的层级和模块。

2. CANN日志系统深度解析

2.1 日志系统的层级结构

CANN的日志系统采用分层设计，每一层都记录了特定模块的运行信息。理解这些日志的来源和含义，是高效排查故障的基础。

2.1.1 应用层日志（PLOG）

PLOG（Process Log）是最接近开发者的一层日志，记录了应用程序与CANN接口（ACL）的交互过程。这些日志对于理解模型执行流程和定位框架级问题至关重要。

PLOG通常包含以下关键信息：

• 算子编译请求：记录框架下发的算子名称、输入输出Shape、数据类型等
• 内存管理：显示Host和Device内存的申请、释放情况
• 计算图构建：详细描述Graph Engine对计算图的优化和拆解过程
• 错误堆栈：当Python层面抛出异常时，PLOG中通常会有对应的底层错误信息

典型日志位置：

bash复制~/ascend/log/plog/  # 用户目录下的日志
/var/log/npu/slog/host-0/  # 系统级日志

2.1.2 运行时日志（Runtime Log）

Runtime日志记录了CANN运行时系统的执行细节，包括任务调度、内存管理和设备通信等。当问题发生在NPU设备执行阶段时，这些日志尤为重要。

Runtime日志的特点：

• 时间精度高（微秒级），适合分析性能问题
• 包含设备任务队列的状态信息
• 记录Host与Device之间的通信细节

2.1.3 设备侧日志（Device Log）

设备侧日志是直接从NPU芯片内部产生的"黑匣子"数据，对于诊断硬件级问题（如计算单元异常、内存访问错误等）不可或缺。

设备日志的关键内容：

• AICore执行异常（如计算溢出、除零错误）
• 多卡通信状态（HCCS链路质量）
• 硬件任务调度器（TS）的运行状态

设备日志位置：

bash复制/var/log/npu/slog/device-0/  # device-0表示第一张NPU卡

注意：设备日志通常是二进制格式，直接阅读较为困难。建议结合Host侧日志的时间戳进行关联分析，或使用昇腾提供的日志解析工具。

2.2 日志级别与控制方法

CANN提供了灵活的日志级别控制机制，通过