大家好,我最近在使用犀牛派x1做四足机器人的强化学习实机部署。项目基于开源框架 fan-ziqi/rl_sar,增加了机器人硬件适配、网页手柄,以及 AidLite/QNN 推理支持。
目前正在将原机工程整理成独立项目。借这个机会,分享系统结构和部署过程中遇到的问题,也希望与社区里做机器人、端侧 AI 和高通平台开发的朋友交流。
一、项目整体结构
这个项目的核心任务,是让强化学习策略根据机器人状态计算动作,再由主控生成电机控制命令。
完整过程如下:
IMU 数据 + 电机反馈 + 用户指令
↓
构建观测与历史数据
↓
AidLite / QNN 模型推理
↓
输出 12 维动作
↓
动作缩放与 PD 控制
↓
通过 STM32 控制电机
除了模型推理,工程还包含起立、趴下、反馈检查、网页操作和进程管理等功能,让策略能够接入实际控制流程。
二、通过 AidLite/QNN 运行策略模型
当前工程通过 AidLite 调用 QNN248 DSP 后端,运行已经转换好的策略模型。
主控负责采集数据、整理模型输入和处理动作结果,模型计算交给设备上的 DSP 执行。
当前模型接口如下:
| 项目 | 配置 |
|---|---|
| 模型文件 | .aidem |
| 单帧观测 | 46 维 |
| 历史观测 | 6 帧 |
| 输入形状 | [1, 276] |
| 输出形状 | [1, 12] |
| 推理环境 | AidLite、QNN248 DSP 插件和设备授权 |
观测包括运动指令、目标高度、角速度、重力方向、关节位置、关节速度和上一时刻的动作。
当前配置的控制周期为 1 ms,每 20 个控制周期执行一次策略推理,对应目标策略频率为 50 Hz。实际推理耗时和调度抖动,还需要在目标设备上单独测量。
三、从模型推理到实机控制
硬件通信采用两路串口,分别连接 IMU 和 STM32 电机控制板。
控制系统通过状态机管理待机、起立、策略控制和趴下。电机反馈满足检查条件后,操作者才能通过新的按键操作授权起立。
网页手柄通过本机 UDP 向主控发送输入,用户可以从手机浏览器操作机器人。本机守护进程负责主控启停和阻尼控制。
模型负责计算动作,控制系统则需要判断什么时候允许执行动作。反馈异常、输入中断和进程退出等情况,都需要放在整个系统中考虑。
四、工程迁移中需要注意的问题
原机能够运行的工程,迁移到其他机器时,仍会遇到路径和环境问题。例如:
-
启动脚本保留原机器的用户名、目录和网卡名。
-
旧二进制依赖特定 CPU 架构和动态库版本。
-
CPU 绑定编号不一定适合新设备。
-
模型、SDK、DSP 插件和设备授权需要匹配。
-
网页证书应由新设备自行生成。
目前,我将路径、串口和网络等部署参数集中到环境配置文件中,机器人标定与策略参数则保留在 YAML 中。
同时,将源码、离线构建产物和原机二进制备份分开管理,便于区分来源和用途。
整理后的独立工程已完成 x86_64 离线构建和无设备检查,目标板上的 AidLite 推理与完整实机流程仍需进一步复核。
五、后续计划
后续准备完善目标设备上的推理性能记录,重点关注平均耗时、P95 耗时和长时间运行时的抖动,并结合控制线程分析整个流程的时序。
感谢 rl_sar 原作者及贡献者提供的开源框架。