GPU加速——GPU 上的相似度检查(PNSR 和 SSIM) OpenCV v4.8.0
本教程介绍如何在CUDA GPU上使用OpenCV实现PSNR和SSIM算法,以加速图像相似性计算。首先展示了CPU版本的PSNR和SSIM实现,随后分别提供基础CUDA实现和优化版本(通过缓冲区重用减少内存分配开销)。对于SSIM,教程演示了如何在GPU上分通道处理图像数据。这些优化显著提高了计算速度,尤其适用于大规模图像处理任务。代码示例包含完整的实现细节,包括数据转换、像素操作和性能优化技巧
下一个教程: 使用带有thrust的 cv::cuda::GpuMat
目标
在 “使用 OpenCV 进行视频输入和相似度测量 ”教程中,我已经介绍了用于检查两幅图像相似性的 PSNR 和 SSIM 方法。正如你所看到的,执行过程需要相当长的时间,尤其是在 SSIM 的情况下。不过,如果 CPU 上的 OpenCV 实现的性能数据不能让您满意,而您的系统中又恰好有一个英伟达™(NVIDIA®)CUDA GPU 设备,那么一切都不是问题。您可以尝试为显卡移植或编写自己的 owm 算法。
本教程将帮助您很好地掌握如何使用 OpenCV 的 GPU 模块进行编码。作为前提条件,您应该已经知道如何处理 core、highgui 和 imgproc 模块。因此,我们的主要目标是
- 与 CPU 相比有什么不同?
- 为 PSNR 和 SSIM 创建 GPU 代码
- 优化代码以获得最高性能
源代码
您也可以在 OpenCV 源代码库的 samples/cpp/tutorial_code/gpu/gpu-basics-similarity/gpu-basics-similarity 目录中找到源代码和视频文件,或从此处下载。完整的源代码相当长(因为要通过命令行参数和性能测量来控制应用程序)。因此,为避免冗长,这里只介绍函数本身。
PSNR 返回一个浮点数,如果两个输入值在 30 到 50 之间(越高越好),则返回值越大。
double getPSNR(const Mat& I1, const Mat& I2)
{
Mat s1;
absdiff(I1, I2, s1); // |I1 - I2|
s1.convertTo(s1, CV_32F); // 无法在 8 位上进行平方运算
s1 = s1.mul(s1); // |I1 - I2|^2
Scalar s = sum(s1); // 每个通道的元素总和
double sse = s.val[0] + s.val[1] + s.val[2]; // 通道总和
if( sse <= 1e-10) // 对于小数值,返回 0
return 0;
else
{
double mse =sse /(double)(I1.channels() * I1.total());
double psnr = 10.0*log10((255*255)/mse);
return psnr;
}
}
double getPSNR_CUDA(const Mat& I1, const Mat& I2)
{
cuda::GpuMat gI1, gI2, gs, t1,t2;
gI1.upload(I1);
gI2.upload(I2);
gI1.convertTo(t1, CV_32F);
gI2.convertTo(t2, CV_32F);
cuda::absdiff(t1.reshape(1), t2.reshape(1), gs);
cuda::multiply(gs, gs, gs);
Scalar s = cuda::sum(gs);
double sse = s.val[0] + s.val[1] + s.val[2];
if( sse <= 1e-10) // 对于小数值,返回 0
return 0;
else
{
double mse =sse /(double)(gI1.channels() * I1.total());
double psnr = 10.0*log10((255*255)/mse);
return psnr;
}
}
struct BufferPSNR // 优化的 CUDA 版本
{ // 在 CUDA 上,数据分配非常昂贵。使用缓冲区可以解决这个问题:一次分配,以后重复使用。
cuda::GpuMat gI1, gI2, gs, t1,t2;
cuda::GpuMat buf;
};
double getPSNR_CUDA_optimized(const Mat& I1, const Mat& I2, BufferPSNR& b)
{
b.gI1.upload(I1);
b.gI2.upload(I2);
b.gI1.convertTo(b.t1, CV_32F);
b.gI2.convertTo(b.t2, CV_32F);
cuda::absdiff(b.t1.reshape(1), b.t2.reshape(1), b.gs);
cuda::multiply(b.gs, b.gs, b.gs);
double sse = cuda::sum(b.gs, b.buf)[0];
if( sse <= 1e-10) // 对于小数值,返回 0
return 0;
else
{
double mse = sse /(double)(I1.channels() * I1.total());
double psnr = 10.0*log10((255*255)/mse);
return psnr;
}
}
SSIM 返回图像的 MSSIM。这也是一个介于 0 和 1 之间的浮点数(越高越好),但我们每个通道都有一个。因此,我们返回一个标量 OpenCV 数据结构:
Scalar getMSSIM( const Mat& i1, const Mat& i2)
{
const double C1 = 6.5025, C2 = 58.5225;
/***************************** INITS **********************************/
int d = CV_32F;
Mat I1, I2;
i1.convertTo(I1, d); // 无法计算一个字节的大数值
i2.convertTo(I2, d);
Mat I2_2 = I2.mul(I2); // I2^2
Mat I1_2 = I1.mul(I1); // I1^2
Mat I1_I2 = I1.mul(I2); // I1 * I2
/*************************** END INITS **********************************/
Mat mu1, mu2; // 初步计算
GaussianBlur(I1, mu1, Size(11, 11), 1.5);
GaussianBlur(I2, mu2, Size(11, 11), 1.5);
Mat mu1_2 = mu1.mul(mu1);
Mat mu2_2 = mu2.mul(mu2);
Mat mu1_mu2 = mu1.mul(mu2);
Mat sigma1_2, sigma2_2, sigma12;
GaussianBlur(I1_2, sigma1_2, Size(11, 11), 1.5);
sigma1_2 -= mu1_2;
GaussianBlur(I2_2, sigma2_2, Size(11, 11), 1.5);
sigma2_2 -= mu2_2;
GaussianBlur(I1_I2, sigma12, Size(11, 11), 1.5);
sigma12 -= mu1_mu2;
Mat t1, t2, t3;
t1 = 2 * mu1_mu2 + C1;
t2 = 2 * sigma12 + C2;
t3 = t1.mul(t2); // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))
t1 = mu1_2 + mu2_2 + C1;
t2 = sigma1_2 + sigma2_2 + C2;
t1 = t1.mul(t2); // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2))
Mat ssim_map;
divide(t3, t1, ssim_map); // ssim_map = t3./t1;
Scalar mssim = mean( ssim_map ); // mssim = ssim map 的平均值
return mssim;
}
Scalar getMSSIM_CUDA( const Mat& i1, const Mat& i2)
{
const float C1 = 6.5025f, C2 = 58.5225f;
/***************************** INITS **********************************/
cuda::GpuMat gI1, gI2, gs1, tmp1,tmp2;
gI1.upload(i1);
gI2.upload(i2);
gI1.convertTo(tmp1, CV_MAKE_TYPE(CV_32F, gI1.channels()));
gI2.convertTo(tmp2, CV_MAKE_TYPE(CV_32F, gI2.channels()));
vector<cuda::GpuMat> vI1, vI2;
cuda::split(tmp1, vI1);
cuda::split(tmp2, vI2);
Scalar mssim;
Ptr<cuda::Filter> gauss = cuda::createGaussianFilter(vI2[0].type(), -1, Size(11, 11), 1.5);
for( int i = 0; i < gI1.channels(); ++i )
{
cuda::GpuMat I2_2, I1_2, I1_I2;
cuda::multiply(vI2[i], vI2[i], I2_2); // I2^2
cuda::multiply(vI1[i], vI1[i], I1_2); // I1^2
cuda::multiply(vI1[i], vI2[i], I1_I2); // I1 * I2
/*************************** END INITS **********************************/
cuda::GpuMat mu1, mu2; // 初步计算
gauss->apply(vI1[i], mu1);
gauss->apply(vI2[i], mu2);
cuda::GpuMat mu1_2, mu2_2, mu1_mu2;
cuda::multiply(mu1, mu1, mu1_2);
cuda::multiply(mu2, mu2, mu2_2);
cuda::multiply(mu1, mu2, mu1_mu2);
cuda::GpuMat sigma1_2, sigma2_2, sigma12;
gauss->apply(I1_2, sigma1_2);
cuda::subtract(sigma1_2, mu1_2, sigma1_2); // sigma1_2 -= mu1_2;
gauss->apply(I2_2, sigma2_2);
cuda::subtract(sigma2_2, mu2_2, sigma2_2); // sigma2_2 -= mu2_2;
gauss->apply(I1_I2, sigma12);
cuda::subtract(sigma12, mu1_mu2, sigma12); // sigma12 -= mu1_mu2;
cuda::GpuMat t1, t2, t3;
mu1_mu2.convertTo(t1, -1, 2, C1); // t1 = 2 * mu1_mu2 + C1;
sigma12.convertTo(t2, -1, 2, C2); // t2 = 2 * sigma12 + C2;
cuda::multiply(t1, t2, t3); // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))
cuda::addWeighted(mu1_2, 1.0, mu2_2, 1.0, C1, t1); // t1 = mu1_2 + mu2_2 + C1;
cuda::addWeighted(sigma1_2, 1.0, sigma2_2, 1.0, C2, t2); // t2 = sigma1_2 + sigma2_2 + C2;
cuda::multiply(t1, t2, t1); // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2))
cuda::GpuMat ssim_map;
cuda::divide(t3, t1, ssim_map); // ssim_map = t3./t1;
Scalar s = cuda::sum(ssim_map);
mssim.val[i] = s.val[0] / (ssim_map.rows * ssim_map.cols);
}
return mssim;
}
struct BufferMSSIM // 优化的 CUDA 版本
{ // 在 CUDA 上,数据分配非常昂贵。使用缓冲区可以解决这个问题:一次分配,以后重复使用。
cuda::GpuMat gI1, gI2, gs, t1,t2;
cuda::GpuMat I1_2, I2_2, I1_I2;
vector<cuda::GpuMat> vI1, vI2;
cuda::GpuMat mu1, mu2;
cuda::GpuMat mu1_2, mu2_2, mu1_mu2;
cuda::GpuMat sigma1_2, sigma2_2, sigma12;
cuda::GpuMat t3;
cuda::GpuMat ssim_map;
cuda::GpuMat buf;
};
Scalar getMSSIM_CUDA_optimized( const Mat& i1, const Mat& i2, BufferMSSIM& b)
{
const float C1 = 6.5025f, C2 = 58.5225f;
/***************************** INITS **********************************/
b.gI1.upload(i1);
b.gI2.upload(i2);
cuda::Stream stream;
b.gI1.convertTo(b.t1, CV_32F, stream);
b.gI2.convertTo(b.t2, CV_32F, stream);
cuda::split(b.t1, b.vI1, stream);
cuda::split(b.t2, b.vI2, stream);
Scalar mssim;
Ptr<cuda::Filter> gauss = cuda::createGaussianFilter(b.vI1[0].type(), -1, Size(11, 11), 1.5);
for( int i = 0; i < b.gI1.channels(); ++i )
{
cuda::multiply(b.vI2[i], b.vI2[i], b.I2_2, 1, -1, stream); // I2^2
cuda::multiply(b.vI1[i], b.vI1[i], b.I1_2, 1, -1, stream); // I1^2
cuda::multiply(b.vI1[i], b.vI2[i], b.I1_I2, 1, -1, stream); // I1 * I2
gauss->apply(b.vI1[i], b.mu1, stream);
gauss->apply(b.vI2[i], b.mu2, stream);
cuda::multiply(b.mu1, b.mu1, b.mu1_2, 1, -1, stream);
cuda::multiply(b.mu2, b.mu2, b.mu2_2, 1, -1, stream);
cuda::multiply(b.mu1, b.mu2, b.mu1_mu2, 1, -1, stream);
gauss->apply(b.I1_2, b.sigma1_2, stream);
cuda::subtract(b.sigma1_2, b.mu1_2, b.sigma1_2, cuda::GpuMat(), -1, stream);
//b.sigma1_2 -= b.mu1_2; - 这会导致额外的数据传输操作
gauss->apply(b.I2_2, b.sigma2_2, stream);
cuda::subtract(b.sigma2_2, b.mu2_2, b.sigma2_2, cuda::GpuMat(), -1, stream);
//b.sigma2_2 -= b.mu2_2;
gauss->apply(b.I1_I2, b.sigma12, stream);
cuda::subtract(b.sigma12, b.mu1_mu2, b.sigma12, cuda::GpuMat(), -1, stream);
//b.sigma12 -= b.mu1_mu2;
//由于调用 operator*(Scalar,Mat),这里也会有额外的数据传输
cuda::multiply(b.mu1_mu2, 2, b.t1, 1, -1, stream); //b.t1 = 2 * b.mu1_mu2 + C1;
cuda::add(b.t1, C1, b.t1, cuda::GpuMat(), -1, stream);
cuda::multiply(b.sigma12, 2, b.t2, 1, -1, stream); //b.t2 = 2 * b.sigma12 + C2;
cuda::add(b.t2, C2, b.t2, cuda::GpuMat(), -12, stream);
cuda::multiply(b.t1, b.t2, b.t3, 1, -1, stream); // t3 = ((2*mu1_mu2 + C1).*(2*sigma12 + C2))
cuda::add(b.mu1_2, b.mu2_2, b.t1, cuda::GpuMat(), -1, stream);
cuda::add(b.t1, C1, b.t1, cuda::GpuMat(), -1, stream);
cuda::add(b.sigma1_2, b.sigma2_2, b.t2, cuda::GpuMat(), -1, stream);
cuda::add(b.t2, C2, b.t2, cuda::GpuMat(), -1, stream);
cuda::multiply(b.t1, b.t2, b.t1, 1, -1, stream); // t1 =((mu1_2 + mu2_2 + C1).*(sigma1_2 + sigma2_2 + C2))
cuda::divide(b.t3, b.t1, b.ssim_map, 1, -1, stream); // ssim_map = t3./t1;
stream.waitForCompletion();
Scalar s = cuda::sum(b.ssim_map, b.buf);
mssim.val[i] = s.val[0] / (b.ssim_map.rows * b.ssim_map.cols);
}
return mssim;
}
如何实现?- GPU
如上所述,我们为每项操作提供了三种函数。一个用于 CPU,两个用于 GPU。我为 GPU 设置两个函数的原因是为了说明,将 CPU 移植到 GPU 实际上会使速度变慢。如果你想获得一些性能提升,你需要记住一些规则,我稍后会详细说明。
在开发 GPU 模块时,我们尽可能使其与 CPU 模块相似。这使得移植过程更加容易。在编写任何代码之前,您需要做的第一件事就是将 GPU 模块链接到您的项目中,并包含该模块的头文件。GPU 的所有函数和数据结构都在 cv 命名空间的 gpu 子命名空间中。您可以通过使用命名空间关键字将其添加到默认的命名空间中,也可以通过 cv:: 将其明确标记到各个地方,以避免混淆。我将采用后者。
#include <opencv2/gpu.hpp> // GPU 结构和方法
GPU 是 “图形处理单元 ”的缩写。
它最初是用来渲染图形场景的。这些场景以某种方式建立在大量数据之上。尽管如此,这些数据并不都是按顺序相互依赖的,而是可以并行处理的。因此,一个 GPU 将包含多个较小的处理单元。这些都不是最先进的处理器,在与 CPU 的一对一测试中会落后于 CPU。然而,GPU 的优势在于其数量。近年来,在非图形场景(如渲染)中利用 GPU 的大规模并行处理能力的趋势日益明显。这就催生了图形处理器通用计算(GPGPU)。
GPU 拥有自己的内存。当您使用 OpenCV 将数据从硬盘读取到 Mat 对象时,该对象就在系统内存中。CPU 可以直接在内存中工作(通过其缓存),但 GPU 却不能。它必须将计算所需的信息从系统内存传输到自己的内存中。这是通过上传过程完成的,非常耗时。最后,计算结果必须下载回系统内存,供 CPU 查看和使用。不建议将小型函数移植到 GPU 上,因为上传/下载时间将大于并行执行所需的时间。
Mat 对象只存储在系统内存(或 CPU 缓存)中。要在 GPU 上获取 OpenCV 矩阵,您需要使用其 GPU 对应程序 cv::cuda::GpuMat。它的工作原理与 Mat 类似,但只有 2D 限制,而且其函数不返回引用(不能将 GPU 引用与 CPU 引用混用)。要将 Mat 对象上传到 GPU,需要在创建该类实例后调用 upload 函数。下载时,您可以使用对 Mat 对象的简单赋值或使用下载函数。
Mat I1; // 主内存项--例如使用 imread 读取图像
gpu::GpuMat gI; // GPU 矩阵 - 目前为空
gI1.upload(I1); // 将数据从系统内存上传至 GPU 内存
I1 = gI1; // 下载,gI1.download(I1) 也可以工作
在 GPU 内存中存储数据后,您就可以调用 OpenCV 支持 GPU 的函数了。大多数函数的名称与 CPU 上的相同,不同之处在于它们只接受 GpuMat 输入。
另一个需要注意的问题是,并非所有通道数都能在 GPU 上实现高效算法。一般情况下,我发现 GPU 图像的输入图像必须是单通道或四通道图像,并且项目大小必须是 char 或 float 类型。GPU 不支持双通道,抱歉。为某些函数传递其他类型的对象将导致异常抛出,并在错误输出上显示错误信息。文档中大部分地方都详细说明了输入所接受的类型。如果输入的是三通道图像,有两种方法:要么添加一个新通道(并使用 char 元素),要么分割图像并为每个图像调用函数。其实并不推荐第一种方法,因为这会浪费内存。
对于一些元素(邻接项)位置并不重要的函数,快速的解决方案是将其重塑为单通道图像。PSNR 实现就是这种情况,对于 absdiff 方法来说,邻域值并不重要。但是,对于高斯模糊(GaussianBlur)来说,这并不是一种选择,因此需要使用分割方法来获得 SSIM。有了这些知识,你就可以制作一个可行的 GPU 代码(如我的 GPU 代码)并运行它。你会惊讶地发现,它可能会比你的 CPU 实现更慢。
优化
在 GPU 上,内存分配和数据传输的成本是非常高的。而在 GPU 上,这个代价非常高。另一种优化方法是在 cv::cuda::Stream 的帮助下引入异步 OpenCV GPU 调用。
- GPU 上的内存分配相当可观。因此,在可能的情况下,应尽可能减少分配新内存的次数。如果您创建了一个打算多次调用的函数,最好只在第一次调用时为函数分配一次本地参数。为此,需要创建一个包含所有本地变量的数据结构。例如,在 PSNR 的情况下,这些变量是
struct BufferPSNR // 优化的 GPU 版本
{//数据分配在 GPU 上非常昂贵。使用缓冲区来解决:一次分配,以后重复使用。
gpu::GpuMat gI1, gI2, gs, t1,t2;
gpu::GpuMat buf;
};
然后在主程序中创建一个实例:
BufferPSNR bufferPSNR;
最后,在每次调用函数时都将其传递给函数:
double getPSNR_GPU_optimized(const Mat& I1, const Mat& I2, BufferPSNR& b)
现在,您可以通过以下方式访问这些本地参数:b.gI1、b.buf 等。只有当新的矩阵大小与上一次不同时,GpuMat 才会在新的调用中重新分配。
- 避免不必要的函数数据传输。一旦进入 GPU,任何微小的数据传输都将变得非常重要。因此,如果可能,所有计算都应就地进行(换句话说,不要创建新的内存对象–原因已在上一点中解释)。例如,虽然用一行公式来表达算术运算可能更容易,但速度会更慢。以 SSIM 为例,我需要在某一点上进行计算:
b.t1 = 2 * b.mu1_mu2 + C1;
虽然上层调用会成功,但请注意,其中存在一个隐藏的数据传输。在进行加法运算之前,它需要将乘法运算存储在某个地方。因此,它将在后台创建一个本地矩阵,将 C1 值加入其中,最后将其赋值给 t1。为了避免这种情况,我们使用 gpu 函数来代替算术运算符:
gpu::multiply(b.mu1_mu2, 2, b.t1); //b.t1 = 2 * b.mu1_mu2 + C1;
gpu::add(b.t1, C1, b.t1);
- 使用异步调用(cv::cuda::Stream)。默认情况下,当您调用 GPU 函数时,它会等待调用结束,然后返回结果。不过,也可以进行异步调用,这意味着它会调用操作执行,为算法分配昂贵的数据,然后立即返回。现在,您可以根据需要调用另一个函数。对于 MSSIM 来说,这是一个很小的优化点。在我们的默认实现中,我们将图像分割成多个通道,并为每个通道调用 GPU 函数。使用数据流可以实现一定程度的并行化。通过使用数据流,我们可以在 GPU 执行给定方法时进行数据分配和上传操作。例如,我们需要上传两张图片。我们将这些图片一个接一个排成队列,然后调用处理这些图片的函数。函数会等待上传完成,但同时会为下一个要执行的函数分配输出缓冲区。
gpu::Stream stream;
stream.enqueueConvert(b.gI1, b.t1, CV_32F); // 上传
gpu::split(b.t1, b.vI1, stream); // Methods (pass the stream as final parameter).
gpu::multiply(b.vI1[i], b.vI1[i], b.I1_2, stream); // I1^2
结果和结论
英特尔 P8700 笔记本电脑 CPU 搭配低端英伟达™(NVIDIA®)GT220M,性能数据如下:
Time of PSNR CPU (averaged for 10 runs): 41.4122 milliseconds. With result of: 19.2506
Time of PSNR GPU (averaged for 10 runs): 158.977 milliseconds. With result of: 19.2506
Initial call GPU optimized: 31.3418 milliseconds. With result of: 19.2506
Time of PSNR GPU OPTIMIZED ( / 10 runs): 24.8171 milliseconds. With result of: 19.2506
Time of MSSIM CPU (averaged for 10 runs): 484.343 milliseconds. With result of B0.890964 G0.903845 R0.936934
Time of MSSIM GPU (averaged for 10 runs): 745.105 milliseconds. With result of B0.89922 G0.909051 R0.968223
Time of MSSIM GPU Initial Call 357.746 milliseconds. With result of B0.890964 G0.903845 R0.936934
Time of MSSIM GPU OPTIMIZED ( / 10 runs): 203.091 milliseconds. With result of B0.890964 G0.903845 R0.936934
在这两种情况下,我们的性能都比 CPU 实现提高了近 100%。这可能正是您的应用程序所需要的改进。您可以在 YouTube 上观看运行实例。
火山引擎开发者社区是火山引擎打造的AI技术生态平台,聚焦Agent与大模型开发,提供豆包系列模型(图像/视频/视觉)、智能分析与会话工具,并配套评测集、动手实验室及行业案例库。社区通过技术沙龙、挑战赛等活动促进开发者成长,新用户可领50万Tokens权益,助力构建智能应用。
更多推荐
所有评论(0)