在高通QCS8550上部署Qwen2-7B+Agent+RAG

基于高通QCS8550平台本地部署Qwen2-7B+Agent+RAG


2025高通大赛正在进行中,报名即有机会免费拿开发板,奖池总价值约60万,详情请戳:down_arrow:

阿加犀作为承办单位,为赛事设备提供操作系统、AI工具链等技术支持:

本教程基于高通QCS8550设备,硬件及固件包由阿加犀提供。

高通QCS8550性能参数:

演示设备:A8550PM2及对应固件包(由阿加犀提供)
模型:qwen2-7B
RAG引擎与Agent框架:dify


一、安装dify


请参考文章《 如何在高通QCS8550上搭建本地知识库

二、安装aidllm及下载模型


前置条件:
1.获取qwen2-7B大模型:端侧AI生态门户

2.使用aid-pkg -i -d aidllm_1.2.0_arm64.aid.gpg安装aidllm

3.修改网络配置
需要修改配置文件地址,以下载资源文件:
执行:sudo vi /opt/aidlux/cpf/aidllm/configs/system.yaml


修改为:
host: 117.176.129.180
port: 65325

1、安装api服务

终端执行:sudo aidllm install api

2、拉取模型文件

终端执行:sudo aidllm remote-list


(上述列表展示当前可下载的全部模型文件,其中Current Soc 表示模型可适配的高通芯片型号)

终端执行:sudo aidllm pull <Url> ,把指定模型文件拉取到本地
如:sudo aidllm pull aplux/aplux_qwen2-7B
查看本地已下载的模型: sudo aidllm list

3、启动api服务

终端执行:sudo aidllm api start


当提示successfully,则表示API启动成功

  • 当本地存在多个模型文件,则可以指定模型启动
    终端执行:sudo aidllm api start -m <Name>
    如:sudo aidllm api start -m aplux_qwen2.5-3B

查询状态: sudo aidllm api status
停止服务: sudo aidllm api stop
重启服务: sudo aidllm api restart

三、准备dify环境


在 docker/volumes/plugin_daemon下创建 public_keys目录
aidlux_key.public.pem在开发板Home路径的key下
并将公钥文件复制到对应路径:
mkdir docker/volumes/plugin_daemon/public_keys

cp aidlux_key.public.pem docker/volumes/plugin_daemon/public_keys/

修改docker-compose.yaml文件增加第三方签名验证

plugin_daemon容器配置下新增
plugin_daemon:
environment:

THIRD_PARTY_SIGNATURE_VERIFICATION_ENABLED:true 
THIRD_PARTY_SIGNATURE_VERIFICATION_PUBLIC_KEYS: /app/storage/public_keys/aidlux_key.public.pem

重启容器

docker compose down
docker compose up -d

四、导入模型


1.确认此时模型以正常启动,可在本机或其他设备上测试

curl -X POST ‘http://192.168.111.133:8888/v1/chat/completions
–header ‘Content-Type: application/json’
–data-raw ‘{“model”: “aplux_qwen2-7b”,“api_key”: “”,“messages”: [{“role”: “system”,“content”: “You are a helpful assistant”},{“role”: “user”,“content”: “给我讲一个笑话”}],“stream”: true}’

2.安装插件


3.模型供应商内添加模型,api-key可随意填写


4.模型添加完成后,即可添加应用、知识库结合使用

(示例)



1 个赞