HuiVision 慧视:面向视障用户的 AI 辅助小程序需求分析与整体架构
本篇文章记录我在项目实训中对 HuiVision 慧视项目的前期进展,包括项目定位、核心功能拆分、前后端整体架构设计,以及为什么选择“微信小程序 + FastAPI 后端 + 多个第三方 AI/地图/语音服务”的实现方案。
## 一、项目背景
本次项目的主题是面向视障人士的 AI 辅助工具。最开始做需求分析时,我发现视障用户在日常生活中有两个非常高频的场景:
1. 出行时需要获得前方环境、障碍物和导航方向的提示。
2. 日常生活中需要理解眼前物体、场景、文字等信息。
因此,我把项目拆成两个主要模式:
- 出行模式:侧重导航、障碍物提示、实时出行引导。
- 会视模式:侧重场景识别、物品讲解、文字阅读。
项目最终命名为 **HuiVision 慧视**,希望它不仅是一个简单识别工具,而是一个能在真实生活场景中辅助用户理解环境的应用。
## 二、功能模块设计
### 1. 会视模式
会视模式主要解决“我眼前是什么”的问题。用户打开摄像头后,可以拍摄当前画面,由后端调用视觉大模型进行分析,然后返回简洁的中文描述。
目前规划的功能包括:
- 快速分析当前画面。
- 对物品、场景进行说明。
- 针对文字场景提供阅读能力。
- 后续扩展持续识别能力。
在小程序里,会视模式默认作为主页面模式之一,用户可以快速切换。
### 2. 出行模式
出行模式更复杂,因为它不只是图像识别,还需要结合定位、导航和语音播报。
我把出行模式拆成以下能力:
- 输入目的地并进行路线规划。
- 获取当前位置与下一步导航提示。
- 拍摄前方画面,分析障碍物和路况。
- 将导航指令与 AI 识别结果融合,生成更适合视障用户的播报。
- 支持语音输入,例如“导航到教学楼”“开始实时引导”。
这个模块的目标不是替代专业地图导航,而是在地图导航基础上补充“眼前环境理解”。
## 三、技术选型
### 1. 前端:微信小程序
选择微信小程序主要有几个原因:
- 真机调试方便,可以直接调用摄像头、录音、定位等能力。
- 不需要用户单独安装复杂客户端。
- 适合作为项目实训展示端。
小程序主要负责:
- 摄像头拍照。
- 录音和语音交互。
- 定位获取。
- 页面交互与结果展示。
- 调用后端接口。
### 2. 后端:FastAPI
后端使用 Python 的 FastAPI 框架。选择它的原因是:
- 写接口速度快,结构清晰。
- 支持异步请求,适合转发 AI 大模型接口。
- 自动生成接口文档,方便联调。
- Python 生态适合接入 AI、语音、地图等服务。
后端主要负责:
- 接收小程序上传的图片和音频。
- 调用视觉大模型分析图片。
- 调用语音识别和语音合成接口。
- 调用高德地图接口进行路线规划。
- 统一封装第三方服务,避免小程序端暴露密钥。
## 四、整体架构
当前项目结构大致如下:
```text
HuiVision
├── backend/ # FastAPI 后端
│ ├── app/
│ │ ├── api/ # 语音、导航、出行接口
│ │ ├── core/ # 配置读取
│ │ └── main.py # 应用入口
│ └── requirements.txt
├── miniprogram/ # 微信小程序前端
├── scripts/ # 辅助脚本
└── README.md
```
接口设计上,目前主要包含:
- `/v1/vision/analyze`:会视模式图片分析。
- `/api/travel/analyze`:出行模式图片与上下文融合分析。
- `/api/navigation/route`:路线规划。
- `/api/navigation/instruction`:获取导航指令。
- `/api/speech/stt`:语音转文字。
- `/api/speech/tts`:文字转语音。
- `/api/travel/parse-command`:语音或文字指令解析。
## 五、目前完成的进展
截至目前,我已经完成了以下内容:
1. 明确项目目标和核心用户场景。
2. 完成小程序基础页面设计,包括会视模式、出行模式和设置页。
3. 搭建 FastAPI 后端项目。
4. 初步完成视觉分析、出行分析、语音识别、语音合成、导航规划等接口。
5. 完成前后端基本联调。
6. 将项目结构整理为更规范的前后端分离形式。
## 六、遇到的问题
前期遇到的主要问题是功能边界不够清晰。刚开始我想把所有能力都塞到一个页面中,后来发现这样会导致交互复杂、代码也不容易维护。
所以我重新拆分了模式:
- 会视模式只负责日常识别和讲解。
- 出行模式负责导航和实时引导。
这样拆分后,页面逻辑和后端接口都更清楚了。
## 七、小结
本阶段主要完成了项目从想法到架构的落地。HuiVision 慧视的核心思路是用小程序作为用户交互入口,用 FastAPI 后端统一调度 AI、语音和地图服务,从而为视障用户提供更完整的辅助体验。
下一阶段我会重点记录核心接口的实现过程,尤其是图片分析、语音识别和出行导航的联调。
更多推荐



所有评论(0)