前言

当下智能语音产品技术迭代很快很多开发者朋友更想结合自己应用服务做出个性化智能硬件这篇实操用CSK6大模型开发板零代码接入小聆AI实现大模型情感语音交互

实操+详细讲解篇幅较长,会按以下流程步骤分享:

步骤一:聆思平台自建应用,实现小聆AI大模型语音自有应用链路接入

步骤二:设置个性化AI机器人的人设

  1. 直接使用系统模板通过提示词文字描述自定义名称、性格、爱好、回复风格
  2. 设置发音音色可以直接选择系统提供20多个发音人也可以使用声音克隆功能克隆真人声音
  3. AI机器人增加专属知识可以使用角色知识库功能上传文档即可生效

步骤大模型语音开发板绑定自建应用

另外小聆AI支持【长期记忆】、【声纹识别】、【联网搜索】、【文字生产图片】、【图片内容理解】可以通过MCP服务】接入高德地图航班信息公开互联网服务自建MCP服务功能实操配置讲解陆续发布大家分享

小聆AI大模型语音功能演示

通过聆思平台自建小聆AI大模型语音应用

1点击应用模板中心,在简易配置标签下选择大模型语音交互模板点击添加应用按钮。给应用命名后点击确认创建应用。

  1. 输入名称其他保持默认点击确定完成自己小聆AI应用创建

二、设置个性化AI机器人的人设和功能

点击进入小聆AI应用配置页,我们可以在本配置页对大模型功能进行配置。

1自定义名称、性格、爱好、回复风格

  • 我们可以通过修改角色描述调整大模型的人设,如:约定AI助手的名称、性格、爱好
  • 约定AI助手回复风格这里可以自由配置更多个性化的人物设定
  1. 设置发音人

角色设定可以进行机器人音色设定如下图所示点击选择使用系统发音人

如果不想系统提供声音可以参考下图使用声音复刻功能录制克隆真人音色作为回复音色

克隆完成可以发音人选择选择克隆真人声音

  1. 机器人增加专属知识库

如果AI机器人具备自己经历认知范围专业知识我们可以通过在应用中增加知识库,让大模型优先根据专属知识库的人设背景内容进行回答。

3.1 创建知识库

点击知识库,在知识库页面中点击右上角+创建知识库按钮

创建完成后,上传知识库文件,等待系统自动处理片刻后可看到文件处于启用状态。

3.2 完善知识库信息

提升知识库匹配准确性,我们操作时候注意以下几点

1.明确知识库名称:名称需要准确反映知识库主题,避免使用“测试、文件1”等模糊词。

2.补充知识库描述:摘要必须覆盖所有文档的核心内容,不能只描述其中一部分,可使用系统提供智能摘要功能辅助总结。

3.3 关联知识库

完成知识库创建后在应用配置中,点击关联知识库按钮,在弹出的窗口中,选中刚才创建的知识库,最后点击保存。

三、大模型开发板接入自建小聆AI链路

云端配置成功后,接下来需要把配置人设的云端大模型应用链路跟指定开发板绑定。

1、云端应用设备列表加入硬件设备ID

1.1 读取设备id

设备ID是一个产品下的唯一设备标识,我们需要获取当前设备ID方便后续在云端配置,才能让设备鉴权通过实现端云交互,读取方式:

1.打开cskburn desktop,点击串口下拉框;

2.选择连接开发套件后识别到的串口编号,点击获取信息;

  1. 得到设备ID
  2. 这里需要安装cskburn desktop,这是是一款聆思推出的桌面工具,下载地址:https://docs2.listenai.com/x/oo2_KzYFd

1.2、加入设备列表

a、在【我的应用】的【智能硬件】栏选择自建的【应用名】,按序号依次打开后,选择【导入设备ID】

b、在弹出的界面选择【文本导入】,写入开发板的设备ID,然后点击【导入】即可。

注:开发板ID信息参考下一步读取设备ID部分内容获得

2、CSK6开发板设备端写入云端产品服务配置

云端配置设备id后,还需将产品ID写入开发板固件中,才能让设备在运行时找到正确的云端产品服务完进行鉴权,鉴权完成就可以进行大模型语音交互了。

配置方式如下

2.1、先在聆思平台打开已经配置好的产品,展示出右侧的接入二维码:

2.2、然后在开发板的首页下滑调出菜单,点击设置图标 →再点击应用,切换到应用信息查看页:

2.3、点击右下角扫码接入按钮调出相机,将 LSPlatform 待接入的产品二维码置于屏幕绿色扫描框内,完成扫描后,请在应用配置信息处检查product_id和secret_id是否已更新:

注:屏幕亮度和反光会影响扫码识别,可以把二维码的网页放大200%以上再扫码。

四、语音交互验证

小聆小聆唤醒,并提问你是谁,语音回复预先设置人设知识库信息即验证成功。至此,可以确认自定义AI人设配置接入成功。

五、其他资料

本文使用的聆思CSK6大模型开发板的详细信息可参考线上文档。https://docs2.listenai.com/x/nTn9kMMCU

上手大模型硬件开发可以参考:https://docs2.listenai.com/x/Bt46JnBA0

ESP32 小智语音硬件接入体验可以参考开发者eric贡献开源代码 https://gitee.com/eric0008/xiaoling-esp32/tree/ab2748af51845e57c9640ca921a1d230e51a78a3

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐