本人小白一枚,创建了有个群聊,欢迎大家一起讨论 QQ群:1025655560

1,参考资料

  ‬⁠​‌​​‍‌​​‍‍​​​​​‍​‍​​‬​​‬​​​‬‬​‬‍​⁠‌‬‌‬​​​​​【外部】VolcEngineRTCLite SDK集成说明 - 飞书云文档   这里有完整介绍

  1. 嵌入式环境安装资料 (esp32s3为例)

  ‍‬‍​​‬‍​​‌​​‌​​​‍​⁠‌‍​​​⁠‍​‬​​⁠​​​‌​⁠​​‍​‍​‬​⁠​【外部】Windows 11 乐鑫平台 esp32-s3 跑通 rtc-aigc-embedded-demo 实践记录 - 飞书云文档

  1. 具体操作可以看这个视频

  方案集成(嵌入式硬件)--实时音视频-火山引擎

  1. 最新资料

  ‍‬​‌​​‌​​​⁠‌⁠​‌⁠‬​‬⁠​​​‬⁠​​​​⁠‬⁠​⁠​​​​‬​​​​【外部】硬件对话智能体 集成说明 - 飞书云文档

代码中,需要注意的:

  1. 服务端

   

这个是用来关闭字幕的,在网络卡顿的时候,很好用

程序端

1,下面这图片是用来录音与上报给智能体播放声音,我们采用的单麦,这里需要使用按钮进行区分,如果是双麦方案,则需要考虑AEC回音消除

二:接收声音卡顿

0,把日志输出设置为警告方式

  1. 是网络不好,可以切换好一点的网络
  2. 增大缓存

   

 这里均有关系,如果是双麦,回音消除在这里进行处理

这几个是关键因素

  1. 关闭字幕,在sever中关闭

4,开启burst 在网络不佳的情况下,具有一定的抗卡性

参数也可以调节

三:DIY板如何是适配

  1. 莓电了PCBA板采用esp8311,单麦方案.
  2. 我们打开audio_board z在这里找到合适我们开发的方案,m5stack_atoms3r与我们开发板很相似,使用的也是es8311单麦,我们复制它,修改文件名,改成

2,修改这几个参数

添加文件

看其它开发板是怎么写的,我们复制修改就好了

  1. 程序内部修改参数

根据esp8311的特性进行修改。

这样修好就可以了,

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐