2025年5月17日听了明振南关于《垂直领域问答Agent建设》的分享，里面干货满满，分享了很多Agent效果提升方面的实践经验，对于实际的工作具有很强的指导意义。本人对该分享的要点做了整理，文章最后附上了对应的PPT和录屏（资源来自网络，侵删），强烈建议PPT与录屏对照食用！！！。

一、使用场景

端上状态的本机状态查询，使用手册的查询，车牌交规查询

二、技术方案

2.1 概述

设计思想：统一的RAG+LLM的Agent框架。整体模块要简洁，减少耗时。

整体架构：

AgentParser：轻量级大模型，1-4B参数规模，简单识别意图，耗时在100-200ms以内。 针对业务功能场景识别输出function code

AgentSkill：领域RAG、API接口调用、本机信号查询，组装prompt

注：考虑到隐私和合规问题，RAG平台一般都需要自己搭建。

个人感想：AgentParser+AgentSkill相当于是一个MCP形式的函数调用，AgentSkill+大模型相当于是一个RAG形式的调用

2.2 AgentParser模块

意图理解以前用bert模型，现在改用大模型，大模型的知识比bert更广泛

小爱的用户query频率太高，使用Agent意图预识别做过滤用

history&context，包含角色定义、领域知识、对话上下文，Context包含了端上的实时状态（开关状态）。

个人感想：prompt的构造可以静态知识与动态知识的结合

2.3 AgentSkill模块

2.4 RAG检索模块

花更多精力的是在和基础数据打交道，如何数据切片，如何做RAG库

2.4.1 小爱通用RAG平台

通用切片的效果对于某些业务来讲是不够的，只能提供通用的检索能力。文档转markdown，关键是markdown后的切片，固定长度切片，标点切片，段落切片，语义理解切片。

要提升效果，需要加大量的自定义策略，结合对场景的理解，对用户query分布的理解

2.4.1.1 知识库向量化构建之商品知识

• 难点：价格和库存信息是实时的，需要做实时更新，价格变化，商品下线等
• 更新后的产品信息不光是存储为向量，也是构建了线上schema形式的产品知识库，与向量检索相辅相成，提升线上效果
• 线上产品别名库也是绕不开的，需要去建设
• 实践证明的最有效的方法是采用goods+attr+value的存储

2.4.1.2 知识库向量化构建之汽车静态知识

• 静态知识的切片、RAG索引层级是否针对业务做了定制化，这个对于效果的提升是最大的
• 索引建设和向量构建比较关键。其中索引建设需要包括各级标题的父子映射关系、文本、图片、表格与标题之间相互索引关系的映射，做细了效果更好
• chunk要控制大小，不能太长也不能太短，10-500左右的token在主流embedding上的效果都是比较好的。如果chunk太大，可以考虑结合语义模型做进一步的切分
• 向量构建时，不仅仅是直接向量化chunk，也可以尝试组合
• 100分的策略，80分来自于chunk的切片策略和索引的定制化构建

2.4.1.3 知识库向量化构建之汽车动态知识

• SC信号：车上中间件的状态信号，例如空调开关信号、空调温度信号，总共大约1700多个
• 系统控制信号：Android控制信号
• CarIoT信号：车载冰箱等的信号

2.4.2 改写模块

• 用户的query存在语义不完整（指代问题/信息缺失）和语义不匹配的问题（因果推理问题/用户表述gap/纠错问题）
• 解决方案：基于llm做sft任务，通过多轮rewrite实现语义补全，使用HyDE生成潜在的query文档去检索

2.4.3 领域知识检索

• 在小米的场景下，bge rerank模型效果还是挺好的，使用MLP做二分类，实现精简过滤
• 现在使用Qwen替换掉了rerank模型，Qwen做精排有两种思路，一种是pair-wise，一种是point-wise，工程上使用批处理，大模型比bge rerank效果更明显

2.4.4 回复对齐

先将大模型的能力划分为7类，再细分场景。

1. 样本的质量比数量更重要
2. 不需要一次性构造大量数据
3. promote多样性、response收敛
4. 课程学习有助于解决复杂推理任务

2.4.5 品牌舆情问题

解决方案：自研AI联网搜索，控制信源质量，回复对齐和DPO

附录

PPT与录屏：夸克网盘分享，强烈建议PPT与录屏对照食用！！！