我用犀牛派 X1 给 Aimlabs 的 Gridshot 模式做了一套自动瞄准:电脑把靶场画面通过 HDMI 发给板子,板上用 YOLO 找球,再通过 USB HID 回传鼠标移动和点击。实测采集加推理 59.9 fps。
代码和编译脚本在 sunwen-me/qcs8550-gridshot。
1. 接线和流程
电脑 HDMI OUT ──→ 犀牛派 X1 HDMI IN
↓
NV12 采集 → 缩图 → YOLO 找球
↓
电脑 USB 口 ←── 板子 USB-C OTG(HID 鼠标)
把 Gridshot 放到 HDMI 对应的屏上,或者镜像主屏。用 SSH 连上板子,下面的命令都在板上执行。
cat /sys/class/hdmi_in1/lt6911_detect/resolution # 这套配置应显示 1920x1080
cat /sys/class/udc/a600000.dwc3/state # USB 连上后看 configured
gst-inspect-1.0 qtiqmmfsrc # 确认有 QMMF 采集插件
2. 先把检测跑起来
用 CMake、C++20 和 OpenCV 4 编译,OpenCV 要带 GStreamer 后端。下面用 ONNX 模型先回放图片,再读实时 HDMI:
git clone https://github.com/sunwen-me/qcs8550-gridshot.git
cd qcs8550-gridshot
cmake -S . -B build -DCMAKE_BUILD_TYPE=Release
cmake --build build -j2
ctest --test-dir build --output-on-failure
export AIMLABS_MODEL=/path/to/ball-detector.onnx
./live/run-live.sh --replay /path/to/frames
./live/run-live.sh --hdmi
模型是 640×640 单类别 YOLO,输出 [1,5,8400]。模型说明里有数据格式、训练和导出步骤。我的 60 fps 配置跑在 HTP 上,用的是 qnn_runtime、QAIRT 2.50 和 FP16 NHWC 模型,命令见 QNN 构建步骤。
--hdmi 输出靶数(detections)和球心坐标(centers),坐标按原始 HDMI 分辨率算。
3. 开 USB 鼠标并校准
先停掉只检测的进程,进 Gridshot 等三个球靶静止。校准脚本会沿 X、Y 各移一次再移回,把屏幕像素和鼠标计数的换算关系写进 live/gridshot-calibration.json。
sudo bash scripts/usb-mouse.sh enable
ls -l /dev/hidg*
# 确认新增鼠标对应 /dev/hidg0 后再赋权
sudo setfacl -m "u:$(id -un):-w-" /dev/hidg0
python3 live/calibrate-gridshot.py
./live/run-live.sh --active
--active 开始跟随和点击,Ctrl+C 退出。改了灵敏度或分辨率就重新校准。
4. 两个实际踩过的坑
第一坑:1080p60 直接转 BGR,QMMF 会挂。 单独收 NV12 能接近 60 fps,但加上全分辨率转色后,板上的相机服务崩过。现在先把 NV12 缩到 640×360,再转 BGR、补边到 640×640。检测出来的球心再映射回 1920×1080,不用在原尺寸上转色。
第二坑:完全不等画面反馈,准星会拉飞。 HID 发出移动时,下一帧可能还没反映这次输入。拿同一个偏差连续发大位移,就容易过冲。目前是看到球靶按预期移动就用新位置修正;如果 120 ms 还没确认,就用当前帧重算。现版在球心距准星 小于 30 px 时停拉、逐帧点射。
5. 板上跑出来的数据
| 项目 | 实测 |
|---|---|
| 1080p60 采集+QNN 推理 | 22.56 秒处理 1,353 帧,约 59.9 fps |
| NV12 缩放+转色+补边 | 中位数 1.57 ms,P95 2.18 ms |
| 板端提交鼠标移动 → 读到画面变化 | 两次样本 85.0 ms / 75.9 ms |
最后一项是 USB 输入、游戏渲染到 HDMI 回采的整段耗时。