在高通QCS8550上搭建本地知识库环境

基于高通QCS8550平台和dify搭建本地知识库


2025高通大赛正在进行中,报名即有机会免费拿开发板,奖池总价值约60万,详情请戳:down_arrow:

阿加犀作为承办单位,为赛事设备提供操作系统、AI工具链等技术支持:

本教程基于高通QCS8550设备,硬件及固件包由阿加犀提供。

高通QCS8550性能参数:


一、环境准备


  1. 将板卡用usb数据线连接到PC端,通过命令行界面adb调试查看本机IP (例:192.168.100.100)
    [需含adb相应驱动,自行安装]

  2. ssh -p 2222 aidlux@192.168.100.100登陆到A8550PM2环境
    sudo -i切换到root用户,密码aidlux

首先卸载系统内预装的nginx,使80端口释放:

systemctl stop nginx
systemctl disable nginx
kill -9 nginx

然后安装docker-compose:

apt update
apt install docker-compose

二、下载运行


任选一个目录,如/home,下载配置文件

git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
Docker-compose up -d

[Tip:如果docker和代码下载失败,请给添加一些科学手段]

三、配置dify


docker启动后,一共会有10个容器运行

之后即可通过192.168.100.100(示例)访问网页端界面,并创建一个管理员账号

四、加载模型


点击设置

可以选择使用网络上免费额度的模型(比如火山),也可本地开源模型(ollama),这里以火山的免费模型为例

跳转火山引擎官网,根据教程获取模型的api及endpoint


这里我们添加LLM和embedding模型各一个

五、添加知识库


选择添加知识库,并上传文件


导入文件后点下一步

若选择通用、经济方式,则不调用embedding模型,只用本地环境即可完成

若使用父子分段、索引方式选择高质量,则需要调用embedding模型,同时也有更多选择



完成后保存

六、测试


添加一个应用,比如一个聊天机器人


添加知识库以后,就可以根据知识库回答啦

1 个赞