一、核心基础模块（Core Modules）

1. core（核心数据结构与运算）

• 核心功能：定义基础数据结构、数学运算、类型转换、内存管理。
• 关键组件：
  • 数据结构：Mat（多维矩阵，图像/数组存储）、Point（2D/3D点）、Size（尺寸）、Rect（矩形区域）、Scalar（标量值）、KeyPoint（特征点）。
  • 矩阵运算：加减乘除、点乘/叉乘、转置、逆矩阵、范数计算（norm）、线性代数操作（solve、eigen）。
  • 类型转换：convertTo（数据类型转换）、cvtColor（颜色空间转换，如BGR↔RGB、灰度、HSV、YUV等）。
  • 内存管理：Mat的引用计数机制（避免内存泄漏）、create/release手动管理内存。
  • 辅助函数：mean（均值）、sum（求和）、minMaxLoc（极值定位）、split/merge（通道分离/合并）。
• 应用场景：所有OpenCV操作的底层支撑，图像/数组的基础处理。

2. imgproc（图像处理）

• 核心功能：图像预处理、滤波、几何变换、特征提取、形态学操作。
• 细分功能：
  • 滤波与降噪：高斯滤波（GaussianBlur）、中值滤波（medianBlur）、双边滤波（bilateralFilter）、均值漂移滤波（pyrMeanShiftFiltering）。
  • 边缘与轮廓：Canny边缘检测（Canny）、轮廓检测（findContours）、轮廓属性计算（面积、周长、矩moments）。
  • 形态学操作：腐蚀/膨胀（erode/dilate）、开运算/闭运算（morphologyEx）、顶帽/黑帽变换。
  • 几何变换：缩放（resize）、旋转（warpAffine）、仿射变换（getAffineTransform）、透视变换（warpPerspective）、重映射（remap）。
  • 直方图处理：直方图计算（calcHist）、均衡化（equalizeHist）、直方图比较（compareHist）、反向投影（calcBackProject）。
  • 阈值与二值化：全局阈值（threshold）、自适应阈值（adaptiveThreshold）、Otsu算法（自动选择阈值）。
  • 直线与圆检测：Hough变换（HoughLines/HoughLinesP检测直线，HoughCircles检测圆）。
• 应用场景：图像增强、目标分割、特征提取的核心模块。

3. highgui + videoio（图像/视频IO）

• highgui（图形用户界面）：
  • 窗口操作：namedWindow（创建窗口）、imshow（显示图像）、waitKey（等待按键）、destroyAllWindows（关闭窗口）。
  • 交互工具：鼠标回调（setMouseCallback）、轨迹栏（createTrackbar）。
• videoio（视频IO）：
  • 视频捕获：VideoCapture（读取摄像头或视频文件，支持RTSP流）、read/grab/retrieve获取帧。
  • 视频写入：VideoWriter（指定编码格式FourCC、帧率、尺寸）、write保存帧。
• 文件格式支持：
  • 图像：BMP、JPEG、PNG、TIFF等（通过imread/imwrite）。
  • 视频：AVI、MP4、MKV等，编码支持H.264、MPEG-4、VP09等。
• 应用场景：交互式图像显示、视频实时处理（如安防监控、无人机视频流）。

二、视觉与感知模块

4. calib3d（相机标定与三维视觉）

• 核心功能：相机标定、立体视觉、三维重建、姿态估计。
• 关键功能：
  • 相机标定：
    • 单目标定：findChessboardCorners（棋盘格角点检测）、calibrateCamera（计算内参矩阵、畸变系数）。
    • 双目标定：stereoCalibrate（双目相机内外参标定）、stereoRectify（极线校正）。
  • 三维重建：
    • 单视图重建：solvePnP（ Perspective-n-Point，3D点到2D点的位姿估计）。
    • 双目深度估计：stereoMatch（块匹配计算视差图，如StereoSGBM）、reprojectImageTo3D（视差转深度）。
  • 变换矩阵：旋转矩阵（Rodrigues）、平移向量、齐次矩阵（findHomography单应性矩阵）。
• 应用场景：AR/VR相机校准、自动驾驶传感器标定、3D建模。

5. features2d + xfeatures2d（特征检测与匹配）

• features2d（基础特征）：
  • 检测器：FAST角点（FastFeatureDetector）、BRISK（BRISK）、ORB（FAST+BRIEF，专利免费，ORB）。
  • 描述子：BRIEF（二进制描述子）、FREAK（仿生物特征）、计算描述子（compute）。
  • 匹配器：暴力匹配（BFMatcher）、FLANN匹配（FlannBasedMatcher，快速近似最近邻）。
• xfeatures2d（扩展特征，需contrib模块）：
  • 专利算法：SIFT（SIFT_create）、SURF（SURF_create，需手动编译OpenCV-contrib）。
  • 其他：DAISY（密集描述子）、GFTT角点（GoodFeaturesToTrack，光流法预处理）。
• 流程：检测（detect）→ 计算描述子（compute）→ 匹配（match）→ 筛选（Ratio Test，knnMatch）。
• 应用场景：图像匹配（如拼图、目标识别）、SLAM前端特征提取。

6. objdetect（目标检测）

• 核心功能：预训练模型的目标检测，支持传统算法与级联分类器。
• 关键算法：
  • Haar特征级联：CascadeClassifier（人脸、眼睛检测，load预训练XML文件）。
  • HOG+SVM：行人检测（HOGDescriptor，需手动设置窗口大小、块归一化）。
  • 可变形部件模型（DPM，xobjdetect模块）：复杂目标检测（需contrib）。
• 辅助函数：非极大值抑制（NMSBoxes）、检测结果可视化（绘制矩形框）。
• 应用场景：实时人脸检测、安防监控中的行人识别。

三、高级功能模块

7. dnn（深度学习推理）

• 核心功能：加载主流深度学习模型，支持前向传播推理。
• 支持框架：Caffe、TensorFlow（.pb/.pbtxt）、ONNX、Torch/PyTorch（通过ONNX转换）、Darknet（YOLO）等。
• 关键函数：
  • 模型加载：readNetFromCaffe/readNetFromTensorflow/readNetFromONNX。
  • 输入处理：blobFromImage（图像转输入张量，归一化、通道调整）。
  • 前向传播：forward（指定输出层名称获取结果）。
• 优化：支持CPU（OpenCV优化）和GPU（CUDA，需编译时启用），FP16/FP32混合精度。
• 应用场景：目标检测（YOLO、SSD）、图像分类（ResNet）、语义分割（DeepLab）。

8. ml（机器学习）

• 核心功能：传统机器学习算法，支持监督/无监督学习。
• 算法列表：
  • 分类/回归：SVM（SVM）、决策树（DT）、随机森林（RTrees）、逻辑回归（LogisticRegression）。
  • 聚类：K-Means（KMeans）、EM（期望最大化）。
  • 神经网络：多层感知机（ANN_MLP，简单全连接网络）。
• 数据格式：输入数据需为Mat类型（浮点型），标签支持分类（整数）或回归（浮点）。
• 应用场景：图像分类（非深度学习方案）、数据聚类分析。

9. video（视频分析）

• 核心功能：运动分析、光流法、背景建模。
• 关键算法：
  • 光流法：
    • 稀疏光流：Lucas-Kanade（calcOpticalFlowPyrLK，跟踪特征点）。
    • 稠密光流：Farneback（calcOpticalFlowFarneback，计算全图光流场）。
  • 背景建模：
    • BackgroundSubtractorMOG2（混合高斯模型）、BackgroundSubtractorKNN。
  • 运动检测：帧差法（差分图像阈值化）、连通区域分析（findContours）。
• 应用场景：视频运动跟踪、安防中的异常检测、无人机避障。

四、扩展与专用模块

10. stitching（图像拼接）

• 功能：全景图生成，多图像自动配准与融合。
• 流程：特征检测→匹配→单应性矩阵估计→图像变形→融合（消除接缝）。
• 关键类：Stitcher（自动拼接，支持球面/平面投影）。
• 应用场景：全景摄影、无人机巡检图像拼接。

11. photo（图像增强与修复）

• 核心功能：图像去噪、超分辨率、修复、HDR合成。
• 关键算法：
  • 去噪：非局部均值（fastNlMeansDenoising）、BM3D（需contrib）。
  • 修复：基于块的修复（inpaint）、划痕去除。
  • 超分辨率：单图超分辨率（dnn_superres模块，支持EDSR、ESPCN等模型）。
• 应用场景：老照片修复、低光照图像增强。

12. face（人脸识别，contrib模块）

• 功能：人脸检测、对齐、识别（特征提取与分类）。
• 支持算法：
  • 检测：Haar级联、HOG+SVM（同objdetect），或深度学习模型（如MTCNN，需自定义）。
  • 识别：LBPH（Local Binary Patterns Histograms）、Fisherfaces、Eigenfaces。
• 应用场景：门禁系统、人脸考勤。

13. tracking（目标跟踪，contrib模块）

• 跟踪算法：
  • 相关滤波：MOSSE、CSRT（TrackerCSRT_create）。
  • 深度学习：MDNet、GOTURN（需预训练模型）。
  • 传统：TLD、KCF（TrackerKCF_create）。
• 关键类：Tracker接口，支持多目标跟踪（MultiTracker）。
• 应用场景：视频中车辆跟踪、体育赛事运动员跟踪。

14. ximgproc（高级图像处理，contrib模块）

• 功能：扩展的滤波、边缘检测、形态学操作。
• 示例：
  • 导向滤波（guidedFilter）、自适应直方图均衡化（CLAHE，createCLAHE）。
  • 边缘细化（edges细化）、轮廓排序（sortContours）。
• 应用场景：医学图像预处理、遥感图像分析。

五、底层与工具模块

15. ts（测试框架）

• 功能：单元测试工具，验证算法正确性（如性能测试、结果对比）。

16. gpu（GPU加速，需CUDA支持）

• 功能：对核心模块（如imgproc、dnn）提供GPU加速，提升计算效率。
• 支持操作：矩阵运算、滤波、特征检测（部分算法）。

17. gapi（图形处理管线，C++专用）

• 功能：构建可优化的图像处理流水线，支持CPU/GPU/异构设备部署。

六、模块依赖与安装

• 主模块：随OpenCV官方版本发布（core、imgproc、dnn等）。
• 扩展模块（contrib）：需额外下载源码编译，包含xfeatures2d、face、tracking等。
• 语言支持：C++、Python、Java（部分模块），Python接口通过cv2调用。
• 安装：
  • Python：pip install opencv-python（主模块）、opencv-contrib-python（含扩展模块）。
  • C++：源码编译或通过包管理器（如apt、Homebrew）安装。

总结

OpenCV的模块设计覆盖了从基础图像处理到高级计算机视觉的全流程，核心模块支撑底层运算，视觉模块处理感知任务，高级模块整合深度学习与传统算法，扩展模块提供专用场景解决方案。掌握各模块的功能与交互（如imgproc预处理→features2d特征提取→calib3d三维重建）是构建复杂视觉系统的关键。实际应用中，需根据场景选择合适模块（如实时性优先用dnn的GPU加速，轻量部署用传统算法），并结合官方文档与示例代码深入实践。