实时视频抠图：基于绿幕检测与 Alpha 通道融合的 FFmpeg 实现

核心原理

1. 绿幕检测：通过色彩阈值识别绿色背景区域

   • 使用 HSL/HSV 色彩空间提高检测鲁棒性
   • 关键阈值参数：
     • 色相（H）：$ H \in [100^\circ, 140^\circ] $
     • 饱和度（S）：$ S > 0.3 $
     • 明度（V）：$ V > 0.1 $

2. Alpha 通道生成：

   • 绿幕区域透明度：$ \alpha = 0 $
   • 前景区域透明度：$ \alpha = 1 $
   • 边缘过渡区：$ \alpha \in (0,1) $（羽化处理）

3. 融合公式： $$ C_{\text{out}} = \alpha \cdot C_{\text{fg}} + (1 - \alpha) \cdot C_{\text{bg}} $$ 其中 $C$ 表示 RGB 通道值，$\alpha$ 为透明度权重。

FFmpeg 实现方案

ffmpeg \
  -i background.mp4 \          # 背景视频
  -i greenscreen.mp4 \         # 绿幕前景视频
  -filter_complex \
  "[1:v]colorkey=color=green:similarity=0.3:blend=0.1[ck]; \
   [ck]alphaextract[alpha]; \
   [1:v][alpha]alphamerge[fg]; \
   [0:v][fg]overlay=0:0[out]" \
  -map "[out]" \
  -c:v libx264 -preset ultrafast \
  output.mp4

关键滤镜解析

1. colorkey 滤镜：

   colorkey=color=0x00FF00:similarity=0.3:blend=0.1
   

   • color：绿幕基准色（十六进制）
   • similarity：颜色相似度阈值 $ \in [0,1] $
   • blend：边缘羽化强度 $ \in [0,1] $

2. alphaextract：从 RGBA 提取 Alpha 通道

3. alphamerge：合成带透明通道的前景帧

4. overlay：前景与背景帧叠加

参数优化指南

实时推流配置

ffmpeg \
  -f v4l2 -i /dev/video0 \     # 摄像头输入
  -i rtmp://server/live \      # 背景流
  -filter_complex \
  "[0:v]colorkey=color=green:similarity=0.25[ck]; \
   [ck]alphaextract[alpha]; \
   [0:v][alpha]alphamerge[fg]; \
   [1:v][fg]overlay=10:20[out]" \
  -map "[out]" \
  -c:v libx264 -preset ultrafast -tune zerolatency \
  -f flv rtmp://output/server

性能优化技巧

1. 添加分辨率缩放：在 colorkey 前插入 scale=w=1280:h=720
2. 使用 GPU 加速：

   -c:v h264_nvenc    # NVIDIA
   -c:v hevc_videotoolbox # macOS
   

3. 限制处理区域：crop=w:h:x:y 缩小抠图区域

注：实际效果需根据光照条件调整色相阈值，可通过 ffplay greenscreen.mp4 配合色彩拾取工具确定最佳 color 值。