犀牛派 X1 实现Aimlabs Gridshot自瞄

我用犀牛派 X1 给 Aimlabs 的 Gridshot 模式做了一套自动瞄准:电脑把靶场画面通过 HDMI 发给板子,板上用 YOLO 找球,再通过 USB HID 回传鼠标移动和点击。实测采集加推理 59.9 fps。

代码和编译脚本在 sunwen-me/qcs8550-gridshot。

1. 接线和流程

电脑 HDMI OUT ──→ 犀牛派 X1 HDMI IN
                     ↓
          NV12 采集 → 缩图 → YOLO 找球
                     ↓
电脑 USB 口   ←── 板子 USB-C OTG(HID 鼠标)

把 Gridshot 放到 HDMI 对应的屏上,或者镜像主屏。用 SSH 连上板子,下面的命令都在板上执行。

cat /sys/class/hdmi_in1/lt6911_detect/resolution  # 这套配置应显示 1920x1080
cat /sys/class/udc/a600000.dwc3/state              # USB 连上后看 configured
gst-inspect-1.0 qtiqmmfsrc                        # 确认有 QMMF 采集插件

2. 先把检测跑起来

用 CMake、C++20 和 OpenCV 4 编译,OpenCV 要带 GStreamer 后端。下面用 ONNX 模型先回放图片,再读实时 HDMI:

git clone https://github.com/sunwen-me/qcs8550-gridshot.git
cd qcs8550-gridshot
cmake -S . -B build -DCMAKE_BUILD_TYPE=Release
cmake --build build -j2
ctest --test-dir build --output-on-failure

export AIMLABS_MODEL=/path/to/ball-detector.onnx
./live/run-live.sh --replay /path/to/frames
./live/run-live.sh --hdmi

模型是 640×640 单类别 YOLO,输出 [1,5,8400]。模型说明里有数据格式、训练和导出步骤。我的 60 fps 配置跑在 HTP 上,用的是 qnn_runtime、QAIRT 2.50 和 FP16 NHWC 模型,命令见 QNN 构建步骤。

--hdmi 输出靶数(detections)和球心坐标(centers),坐标按原始 HDMI 分辨率算。

3. 开 USB 鼠标并校准

先停掉只检测的进程,进 Gridshot 等三个球靶静止。校准脚本会沿 X、Y 各移一次再移回,把屏幕像素和鼠标计数的换算关系写进 live/gridshot-calibration.json。

sudo bash scripts/usb-mouse.sh enable
ls -l /dev/hidg*
# 确认新增鼠标对应 /dev/hidg0 后再赋权
sudo setfacl -m "u:$(id -un):-w-" /dev/hidg0
python3 live/calibrate-gridshot.py
./live/run-live.sh --active

--active 开始跟随和点击,Ctrl+C 退出。改了灵敏度或分辨率就重新校准。

4. 两个实际踩过的坑

第一坑:1080p60 直接转 BGR,QMMF 会挂。 单独收 NV12 能接近 60 fps,但加上全分辨率转色后,板上的相机服务崩过。现在先把 NV12 缩到 640×360,再转 BGR、补边到 640×640。检测出来的球心再映射回 1920×1080,不用在原尺寸上转色。

第二坑:完全不等画面反馈,准星会拉飞。 HID 发出移动时,下一帧可能还没反映这次输入。拿同一个偏差连续发大位移,就容易过冲。目前是看到球靶按预期移动就用新位置修正;如果 120 ms 还没确认,就用当前帧重算。现版在球心距准星 小于 30 px 时停拉、逐帧点射。

5. 板上跑出来的数据

项目 实测
1080p60 采集+QNN 推理 22.56 秒处理 1,353 帧,约 59.9 fps
NV12 缩放+转色+补边 中位数 1.57 ms,P95 2.18 ms
板端提交鼠标移动 → 读到画面变化 两次样本 85.0 ms / 75.9 ms

最后一项是 USB 输入、游戏渲染到 HDMI 回采的整段耗时。