前言

最近小改了一下项目,可以让DeepSeek控制Unity中的Panda仿真机械臂,顺便记录一下过程。后续给DeepSeek加上“眼睛”，让其能识别到仿真环境中的物体。

运行效果

节点图

• 语音识别节点：使用vosk语音识别，将语音转换为文字
• DeepSeek节点：使用DeepSeek进行对话，并返回目标位置
• 动作执行节点：将DeepSeek返回的目标位置转换为Unity中的动作，并执行
• 语音输出节点：使用edge-tts语音合成，将文字转换为语音

环境配置

参考开源项目的环境配置文件

运行测试

❇️在windows上双击运行PulseAudio服务

❇️启动Unity项目

❇️编译项目

colcon build

❇️启动tcp，用于ros2与unity连接

source install/setup.bash 
ros2 launch ros_tcp_endpoint endpoint.launch.py

❇️运行moveitpy_controller

# 打开新的终端
source install/setup.bash
ros2 launch control_server arm_control.launch.py

❇️运行panda_moveit_config的demo.launch.py

# 打开新的终端
source install/setup.bash
ros2 launch panda_moveit_config demo.launch.py

❇️运行graph_executer_controller

# 打开新的终端
source install/setup.bash
cd src/GraphExecuter/graph_executer
python3 main.py