1、前言
随着端侧 AI、具身智能技术快速发展，越来越多 AI 算法需要下沉到边缘硬件完成本地推理，摆脱云端网络依赖，实现低时延、高隐私安全的业务落地。阿加犀犀牛派 X1 开发板搭载 QCS8550 高通平台，内置高性能 Hexagon NPU，具备可观的端侧 AI 算力，非常适合机器人、工业检测等场景下自定义 AI 模型部署开发。
但高通 NPU 完整链路部署门槛较高，从 SDK 环境搭建、模型训练导出、交叉编译、模型转换编译，再到 SDK 推理加载、上层业务封装，环节链条长，工具链多，开发者容易在各个步骤踩坑，缺少一套完整可落地的实操工作流。
本文基于犀牛派 X1 硬件平台，结合 Qairt SDK、Torch、QNN、AidLite SDK 等工具链，梳理出一套可复现的端侧 NPU 模型部署五步工作法，把从模型训练到端侧推理的完整流程拆解落地，配套对应参考文档链接，方便开发者按步骤实操。
目前本地环境已经调试通过，后续也会继续探索大模型基座 + LoRA 在该设备上的端侧部署方案，给使用犀牛派 X1开发板的开发者提供工程实践参考。
2、最佳五步法
**第一步：**搭建匹配开发板的 QAIRT SDK 环境。[详情参考]
**第二步：**使用 torch 开发训练模型并导出为 onnx 格式。[详情参考]
**第三步：**安装 aarch64-ubuntu-gcc9.4 交叉编译工具链。[详情参考]
**第四步：**使用 qnn 转换 onnx 模型并编译为 so 库文件。[详情参考]
**第五步：**使用 aidlite sdk 加载 so 模型文件进行推理。[详情参考]
**第六步：**应用层封装调用模型推理应用(如ROS节点)。
3、番茄感悟
A、阿加犀《犀牛派X1》的 QCS8550 高通 NPU 做端侧推理确实很快。
B、企业场景下，想把这个端侧 NPU 给玩转了，确实需要下点狠功夫。
C、端到端对比传统规则范式开发模式确实很黑盒、很AI，可以肯定是未来主流方向。
4、后续优化
A、深度探索 Hexagon SDK 使用方法，扩展出 NPU 自定义加速算子。
最后，手中有《犀牛派X1》或者《FV04》的小伙伴，可以参照番茄的五步工作法，把你的自定义AI给创新应用起来了。
后续，番茄如果摸索出了《大模型基座+LoRA》的新型端侧部署方法，或再次将 X1 应用推向新的高度，目前本地环境已经调试通过，模型导出部分还有一些问题需要处理修复。