第六章 在RK3588上实现M260C的在线语音交互
·
一、Linux版
1、修改唤醒词
下图是官方教程给的串口工具功能图

按照官方的唤醒词

点击Send Raw就可以,有返回“code”:0 就是成功
2、RK3588的环境配置
(1).先把语音模块通过USB接口连接RK3588开发板
(2).串口配置
<1>输入以下指令,可以看到ttyACM0
ll /dev
<2>在官方给的资料下载ch9102_udev.sh,然后将文件移植到RK3588开发板上



<3>给ch9102_udev.sh文件权限
sudo
chmod +x ch9102_udev.sh
<4>执行ch9102_udev.sh文件
sudo ./ch9102_udev.sh
<5>拔插一下设备,然后输入指令
ll /dev
看到设备名为wheeltec_mic -> ttyAACM0就代表配置成功啦!
(3).安装cjson
<1>在2步骤里有官方的资料路径,将cJSON文件移植到RK3588开发板上,要复制在/home目录下进入cJSON文件夹里
cd cJSON
<2>创建 build文件夹
mkdir build
<3>进入build文件夹目录下
cd build/
<4>执行以下指令
cmake
make
sudo make install
<5>要将/usr/local/lib 目录添加到 /etc/ld.so.conf 文件中
sudo vim /etc/ld.so.conf
然后将在文件里添加路径

然后再执行
sudo /sbin/ldconfig
(4).AIUI平台应用的设置
<1>创建新应用
选择控制台——我的应用——创建新应用——填好对应资料后提交
<2>应用配置

点这个服务管理,进入应用配置
语音识别设置中上传热词,语音合成设置自己按需求配置
<3>完成配置后再cfg文件中改成自己的APPID和KEY密钥
cfg文件在官方资料

在Linux_SDK里,同样移植到RK3588开发板里
M2_SDK/samples/cfg/aiui.cfg

(5).在线识别功能配置
<1>参数配置
在文件M2_SDK/libs/arm64路径下,有libaiui.so文件将文件复制到/usr/lib文件目录下
sudo cp libaiui.so /usr/lib
<2>录音设备号

(6).运行
<1>编译文件
进入M2_SDK/samples目录下,执行以下指令
sh ./arm64_make.sh
<2>运行可执行文件
sudo ./aiui_sample
二、ROS2可对话在线大模型
1.配置环境(参考一的串口配置和CJSON配置)
2.下载需要的功能包,并将其通过NFS共享到RK3588开发板中,功能包有ollama_ros_chat、wheeltec_mic_aiui、wheeltec_mic_msg、serial_ros2这些功能包,这些需要找官方客服要。
3.新建工作空间(以我自己命名的为例)
mkdir -p robot_ros2
4.在工作空间中新建src文件夹,然后把2中提到的功能包放在src文件夹下
cd robot_ros2
mkdir src
5.修改ollama_ros_chat/ollama_ros_chat/config/ollama_params.yaml文件,将api_key改为自己在阿里云百炼模型下注册的密钥写进去,然后保存。
6.修改ollama_ros_chat/ollama_ros_chat/ollama_ros_chat/ollama_service.py文件,将api_key改为自己在阿里云百炼模型下注册的密钥写进去,然后保存。
7.修改wheeltec_mic_aiui/AIUI/cfg/aiui.cfg文件
8.编译文件
colcon build --symlink-install --packages-select ollama_ros_chat
source ~/robot_ros2/install/setup.bash
ros2 launch ollama_ros_chat ollama_ros_chat.launch.py
三、本地模型部署实现AI交互+流式输出
1.在开发板上安装ollama
将ollama-linux-arm64.tgz压缩包拷贝到开发板上,然后解压到usr文件夹中
sudo tar -C /usr -xzf ollama-linux-arm64.tgz
2.为 Ollama 创建用户和组
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)
3.将ollama.service文件拷贝到/etc/systemd/system/路径下
4.然后启动服务
sudo systemctl daemon-reload
sudo systemctl enable ollama
5.启动ollama
ollama serve &
6.拉取模型
ollama pull 模型名字
7.修改ollama_ros_chat/config/ollama_params_yaml文件

8.修改ollama_ros_chat/ollama_ros_chat/ollama_service.py

9.单独编译ollama_chat功能包即可
更多推荐



所有评论(0)