一、Linux版

1、修改唤醒词

下图是官方教程给的串口工具功能图

按照官方的唤醒词

点击Send Raw就可以,有返回“code”:0 就是成功

2、RK3588的环境配置

(1).先把语音模块通过USB接口连接RK3588开发板
(2).串口配置

<1>输入以下指令,可以看到ttyACM0

ll /dev

<2>在官方给的资料下载ch9102_udev.sh,然后将文件移植到RK3588开发板上

<3>给ch9102_udev.sh文件权限

sudo
chmod +x ch9102_udev.sh

<4>执行ch9102_udev.sh文件

sudo ./ch9102_udev.sh

<5>拔插一下设备,然后输入指令

ll /dev

看到设备名为wheeltec_mic -> ttyAACM0就代表配置成功啦!

(3).安装cjson

<1>在2步骤里有官方的资料路径,将cJSON文件移植到RK3588开发板上,要复制在/home目录下进入cJSON文件夹里

cd cJSON

<2>创建 build文件夹

mkdir build

<3>进入build文件夹目录下

cd build/

<4>执行以下指令

cmake
make
sudo make install

<5>要将/usr/local/lib 目录添加到 /etc/ld.so.conf 文件中

sudo vim /etc/ld.so.conf

然后将在文件里添加路径

然后再执行

sudo /sbin/ldconfig
(4).AIUI平台应用的设置

<1>创建新应用

选择控制台——我的应用——创建新应用——填好对应资料后提交
<2>应用配置

点这个服务管理,进入应用配置

语音识别设置中上传热词,语音合成设置自己按需求配置

<3>完成配置后再cfg文件中改成自己的APPID和KEY密钥

cfg文件在官方资料

在Linux_SDK里,同样移植到RK3588开发板里

M2_SDK/samples/cfg/aiui.cfg

(5).在线识别功能配置

<1>参数配置

在文件M2_SDK/libs/arm64路径下,有libaiui.so文件将文件复制到/usr/lib文件目录下

sudo cp libaiui.so /usr/lib

<2>录音设备号

(6).运行

<1>编译文件

进入M2_SDK/samples目录下,执行以下指令

sh ./arm64_make.sh

<2>运行可执行文件

sudo ./aiui_sample

二、ROS2可对话在线大模型

1.配置环境(参考一的串口配置和CJSON配置)

2.下载需要的功能包,并将其通过NFS共享到RK3588开发板中,功能包有ollama_ros_chat、wheeltec_mic_aiui、wheeltec_mic_msg、serial_ros2这些功能包,这些需要找官方客服要。

3.新建工作空间(以我自己命名的为例)

mkdir -p robot_ros2

4.在工作空间中新建src文件夹,然后把2中提到的功能包放在src文件夹下

cd robot_ros2

mkdir src

5.修改ollama_ros_chat/ollama_ros_chat/config/ollama_params.yaml文件,将api_key改为自己在阿里云百炼模型下注册的密钥写进去,然后保存。

6.修改ollama_ros_chat/ollama_ros_chat/ollama_ros_chat/ollama_service.py文件,将api_key改为自己在阿里云百炼模型下注册的密钥写进去,然后保存。

7.修改wheeltec_mic_aiui/AIUI/cfg/aiui.cfg文件

8.编译文件

colcon build --symlink-install --packages-select ollama_ros_chat
source ~/robot_ros2/install/setup.bash
ros2 launch ollama_ros_chat ollama_ros_chat.launch.py

三、本地模型部署实现AI交互+流式输出

1.在开发板上安装ollama

将ollama-linux-arm64.tgz压缩包拷贝到开发板上,然后解压到usr文件夹中

sudo tar -C /usr -xzf ollama-linux-arm64.tgz

2.为 Ollama 创建用户和组

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

3.将ollama.service文件拷贝到/etc/systemd/system/路径下

4.然后启动服务

sudo systemctl daemon-reload
sudo systemctl enable ollama

5.启动ollama

ollama serve &

6.拉取模型

ollama pull 模型名字

7.修改ollama_ros_chat/config/ollama_params_yaml文件

8.修改ollama_ros_chat/ollama_ros_chat/ollama_service.py

9.单独编译ollama_chat功能包即可

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐