关于犀牛派开发板上运行Aidgense (生成式AI服务)

有开发者问道融合系统无法运行aidgense 是不是得从刷机开始重新刷一遍?

融合系统上还不支持aidgense 因为基线不支持,要刷成Ubuntu系统,Ubuntu系统中可直接使用aidgense ,刷机教程请查看文档指南: Ubuntu系统安装 | APLUX Doc Center

1、aidgense安装

# 安装 aidgen sdk
sudo aid-pkg update
sudo aid-pkg -i aidgense

2、模型查询和获取

# 查看已支持的模型
aidllm remote-list api


3、下载模型

# 下载模型
aidllm pull api [Url] # aplux/qwen2.5-3B-Instruct-8550

# 查看已下载模型
aidllm list api

# 删除已下载模型
sudo aidllm rm api [Name] # qwen2.5-3B-Instruct-8550

4、启动服务

# 启动对应模型的 openai api 服务
aidllm start api -m <model_name> 

# 查看状态
aidllm status api

# 停止服务               
aidllm stop api

# 重启服务
aidllm restart api

默认端口号是 8888

Web UI 对话方式

# 安装 UI 前端服务
sudo aidllm install ui

# 启动 UI 服务
aidllm start ui

# 查看 UI 服务状态
aidllm status ui

# 停止 UI 服务
aidllm stop ui

UI 服务启动后访问 http://ip:51104