摘要:最近在刷短视频时看到一个“AI手势识别交互”的视频特别火,小姐姐对着镜头伸出手指就能在空中写出绿色的字,握拳还能暂停书写,简直像极了钢铁侠的虚拟操作界面!作为一名 Python 爱好者,这必须得复刻一波!本文将手把手教你使用 OpenCV 和 MediaPipe 实现这个功能,含完整代码和原理解析。

关键词:Python, OpenCV, MediaPipe, 计算机视觉, 手势识别, 虚拟画笔

🛠️ 准备工作

在这个项目中,我们主要用到三个库:

  1. OpenCV (cv2):用于图像处理、打开摄像头。

  2. MediaPipe:Google 开源的神器,用于超快速的手部关键点检测。

  3. NumPy:用于处理矩阵运算(我们的画布本质上就是矩阵)。

🧠 核心原理揭秘

要实现“隔空写字”,其实只需要解决三个问题:

1. 怎么知道手在哪里?(MediaPipe)

MediaPipe Hands 模型会将一只手识别为 21个关键点(Landmarks)

  • 关键点 8:食指指尖。

  • 关键点 6:食指第二关节。

  • 关键点 12:中指指尖。

2. 怎么判断是在“写字”还是“移动”?

这是一个简单的几何逻辑:

  • 写字模式:当 食指指尖(8) 的位置高于 食指关节(6),且其他手指(如中指)没有竖起来时,我们认为是在写字。

  • 停止/移动模式:当手指弯曲(握拳)或者做其他手势时,停止绘制,只更新坐标。

3. 怎么让画出来的画不消失?(图层叠加)

如果我们直接在摄像头画面上画线,每一帧刷新后线就没了。
所以我们需要 双层架构

  • Layer 1 (Cam):实时的摄像头画面。

  • Layer 2 (Canvas):一个全黑的透明层,专门用来存画好的线。
    最后通过 cv2.bitwise_or 和掩膜操作将两层图像融合,就能达到“增强现实”的效果。

源码下载:本项目完整代码已开源在 Gitee,欢迎 Star ⭐ 和 Fork!

仓库地址:https://gitee.com/ding-juncai/ai-virtual-painter.git

📝 总结

通过不到 100 行 Python 代码,我们就实现了一个看起来非常高大上的 AI 交互应用。这其实就是计算机视觉魅力的冰山一角。

这个项目还可以继续扩展,比如:

  • 增加“橡皮擦”模式(两个手指张开)。

  • 通过手势切换画笔颜色。

  • 把画好的图保存到本地。

如果你对这个项目感兴趣,欢迎在评论区留言交流!觉得有用的话,点个赞支持一下吧! 👍

本文代码已在 PyCharm + Python 3.9 环境下测试通过。

Logo

火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。

更多推荐