本篇文章记录我在项目实训中对 HuiVision 慧视项目的前期进展,包括项目定位、核心功能拆分、前后端整体架构设计,以及为什么选择“微信小程序 + FastAPI 后端 + 多个第三方 AI/地图/语音服务”的实现方案。

## 一、项目背景

本次项目的主题是面向视障人士的 AI 辅助工具。最开始做需求分析时,我发现视障用户在日常生活中有两个非常高频的场景:

1. 出行时需要获得前方环境、障碍物和导航方向的提示。
2. 日常生活中需要理解眼前物体、场景、文字等信息。

因此,我把项目拆成两个主要模式:

- 出行模式:侧重导航、障碍物提示、实时出行引导。
- 会视模式:侧重场景识别、物品讲解、文字阅读。

项目最终命名为 **HuiVision 慧视**,希望它不仅是一个简单识别工具,而是一个能在真实生活场景中辅助用户理解环境的应用。

## 二、功能模块设计

### 1. 会视模式

会视模式主要解决“我眼前是什么”的问题。用户打开摄像头后,可以拍摄当前画面,由后端调用视觉大模型进行分析,然后返回简洁的中文描述。

目前规划的功能包括:

- 快速分析当前画面。
- 对物品、场景进行说明。
- 针对文字场景提供阅读能力。
- 后续扩展持续识别能力。

在小程序里,会视模式默认作为主页面模式之一,用户可以快速切换。

### 2. 出行模式

出行模式更复杂,因为它不只是图像识别,还需要结合定位、导航和语音播报。

我把出行模式拆成以下能力:

- 输入目的地并进行路线规划。
- 获取当前位置与下一步导航提示。
- 拍摄前方画面,分析障碍物和路况。
- 将导航指令与 AI 识别结果融合,生成更适合视障用户的播报。
- 支持语音输入,例如“导航到教学楼”“开始实时引导”。

这个模块的目标不是替代专业地图导航,而是在地图导航基础上补充“眼前环境理解”。

## 三、技术选型

### 1. 前端:微信小程序

选择微信小程序主要有几个原因:

- 真机调试方便,可以直接调用摄像头、录音、定位等能力。
- 不需要用户单独安装复杂客户端。
- 适合作为项目实训展示端。

小程序主要负责:

- 摄像头拍照。
- 录音和语音交互。
- 定位获取。
- 页面交互与结果展示。
- 调用后端接口。

### 2. 后端:FastAPI

后端使用 Python 的 FastAPI 框架。选择它的原因是:

- 写接口速度快,结构清晰。
- 支持异步请求,适合转发 AI 大模型接口。
- 自动生成接口文档,方便联调。
- Python 生态适合接入 AI、语音、地图等服务。

后端主要负责:

- 接收小程序上传的图片和音频。
- 调用视觉大模型分析图片。
- 调用语音识别和语音合成接口。
- 调用高德地图接口进行路线规划。
- 统一封装第三方服务,避免小程序端暴露密钥。

## 四、整体架构

当前项目结构大致如下:

```text
HuiVision
├── backend/              # FastAPI 后端
│   ├── app/
│   │   ├── api/          # 语音、导航、出行接口
│   │   ├── core/         # 配置读取
│   │   └── main.py       # 应用入口
│   └── requirements.txt
├── miniprogram/          # 微信小程序前端
├── scripts/              # 辅助脚本
└── README.md
```

接口设计上,目前主要包含:

- `/v1/vision/analyze`:会视模式图片分析。
- `/api/travel/analyze`:出行模式图片与上下文融合分析。
- `/api/navigation/route`:路线规划。
- `/api/navigation/instruction`:获取导航指令。
- `/api/speech/stt`:语音转文字。
- `/api/speech/tts`:文字转语音。
- `/api/travel/parse-command`:语音或文字指令解析。

## 五、目前完成的进展

截至目前,我已经完成了以下内容:

1. 明确项目目标和核心用户场景。
2. 完成小程序基础页面设计,包括会视模式、出行模式和设置页。
3. 搭建 FastAPI 后端项目。
4. 初步完成视觉分析、出行分析、语音识别、语音合成、导航规划等接口。
5. 完成前后端基本联调。
6. 将项目结构整理为更规范的前后端分离形式。

## 六、遇到的问题

前期遇到的主要问题是功能边界不够清晰。刚开始我想把所有能力都塞到一个页面中,后来发现这样会导致交互复杂、代码也不容易维护。

所以我重新拆分了模式:

- 会视模式只负责日常识别和讲解。
- 出行模式负责导航和实时引导。

这样拆分后,页面逻辑和后端接口都更清楚了。

## 七、小结

本阶段主要完成了项目从想法到架构的落地。HuiVision 慧视的核心思路是用小程序作为用户交互入口,用 FastAPI 后端统一调度 AI、语音和地图服务,从而为视障用户提供更完整的辅助体验。

下一阶段我会重点记录核心接口的实现过程,尤其是图片分析、语音识别和出行导航的联调。

Logo

中国智能体开发者社区,聚焦智能体与大模型开发,提供前沿资讯、实用工具链、开源项目及行业案例。通过技术沙龙、开发者大赛等活动,促进经验交流与协作,助力开发者快速构建创新智能应用。

更多推荐