基于高通QCS8550平台本地部署Qwen2-7B+Agent+RAG
2025高通大赛正在进行中，报名即有机会免费拿开发板，奖池总价值约60万，详情请戳
阿加犀作为承办单位，为赛事设备提供操作系统、AI工具链等技术支持：
本教程基于高通QCS8550设备，硬件及固件包由阿加犀提供。
高通QCS8550性能参数：
演示设备：A8550PM2及对应固件包（由阿加犀提供）
模型：qwen2-7B
RAG引擎与Agent框架：dify
一、安装dify
请参考文章《 如何在高通QCS8550上搭建本地知识库》
二、安装aidllm及下载模型
前置条件：
1.获取qwen2-7B大模型：端侧AI生态门户
2.使用aid-pkg -i -d aidllm_1.2.0_arm64.aid.gpg安装aidllm
3.修改网络配置
需要修改配置文件地址，以下载资源文件：
执行：sudo vi /opt/aidlux/cpf/aidllm/configs/system.yaml
修改为：
host: 117.176.129.180
port: 65325
1、安装api服务
终端执行：sudo aidllm install api
2、拉取模型文件
终端执行：sudo aidllm remote-list
(上述列表展示当前可下载的全部模型文件，其中Current Soc 表示模型可适配的高通芯片型号)
终端执行：sudo aidllm pull <Url> ，把指定模型文件拉取到本地
如：sudo aidllm pull aplux/aplux_qwen2-7B
查看本地已下载的模型： sudo aidllm list
3、启动api服务
终端执行：sudo aidllm api start
当提示successfully，则表示API启动成功
- 当本地存在多个模型文件，则可以指定模型启动
终端执行：sudo aidllm api start -m <Name>
如：sudo aidllm api start -m aplux_qwen2.5-3B
查询状态： sudo aidllm api status
停止服务： sudo aidllm api stop
重启服务： sudo aidllm api restart
三、准备dify环境
在 docker/volumes/plugin_daemon下创建 public_keys目录
aidlux_key.public.pem在开发板Home路径的key下
并将公钥文件复制到对应路径：
mkdir docker/volumes/plugin_daemon/public_keys
cp aidlux_key.public.pem docker/volumes/plugin_daemon/public_keys/
修改docker-compose.yaml文件增加第三方签名验证
plugin_daemon容器配置下新增
plugin_daemon:
environment:
THIRD_PARTY_SIGNATURE_VERIFICATION_ENABLED:true
THIRD_PARTY_SIGNATURE_VERIFICATION_PUBLIC_KEYS: /app/storage/public_keys/aidlux_key.public.pem
重启容器
docker compose down
docker compose up -d
四、导入模型
1.确认此时模型以正常启动，可在本机或其他设备上测试
curl -X POST ‘http://192.168.111.133:8888/v1/chat/completions’
–header ‘Content-Type: application/json’
–data-raw ‘{“model”: “aplux_qwen2-7b”,“api_key”: “”,“messages”: [{“role”: “system”,“content”: “You are a helpful assistant”},{“role”: “user”,“content”: “给我讲一个笑话”}],“stream”: true}’
2.安装插件
3.模型供应商内添加模型，api-key可随意填写
4.模型添加完成后，即可添加应用、知识库结合使用
（示例）
