前言

上课使用到的一个网站 CNN Explainer
可视化 CNN,讲卷积的时候看着很爽,那个kernel滑过去的样子一目了然

这篇是课上临时记的,后来找AI又补了一堆,算是把模板卷积这一块(空间域滤波)从头捋了一遍

这篇文章的旧版本基本没有内容,只有框架,这篇文章是找AI拓充出来的(感谢DeepSeek老师,注意到上面那句话也是他写的)

模板卷积到底在算啥

模板(模板/核/kernel/mask)就是一个小矩阵,比如 $3\times3$、$5\times5$

拿它扣在图像的每一个像素上,把覆盖到的像素和核里对应位置的数相乘,再全部加起来,得到的新值就是输出图像对应位置的像素值

写成公式,核 $K$ 大小 $(2a+1)\times(2a+1)$,作用在 $(x,y)$ 上:

再按需要除以核元素之和(归一化系数),或者取绝对值/加偏移

所以本质上就是一个加权求和,核里的数字决定“看重周围哪些邻居”

相关和卷积的区别

严格来说上面这个式子叫互相关(correlation),卷积要先把核翻转 $180^\circ$:

不过图像处理里的模板基本都左右上下对称(均值、高斯、拉普拉斯、Sobel 全是对称的),翻不翻一样,所以大家平时都混着叫卷积

只有在核不对称的时候(比如某些一阶微分模板)才要注意一下

为什么核要“归一化”

如果是全正的平滑核,核元素加起来是 $S$,那么不除以 $S$ 的话,输出灰度会被放大 $S$ 倍,整张图直接过曝,白花花一片

所以均值核前面要乘 $\frac{1}{9}$,高斯核前面要乘 $\frac{1}{16}$

含负数的锐化核则要保证元素之和 = 0,这样图像中灰度平坦的区域(周围值都差不多)算出来正好是 0,也就是“没变化的地方不给响应”,这才叫边缘检测

边缘点的处理

核滑到图像最边上,会有一圈“吃不饱”的位置,凑不满 $3\times3$ 个邻居,这时候怎么办:

  • 舍弃:只计算内部能完整覆盖的区域,输出图会小一圈($(W-2)\times(H-2)$),最简单但会丢边上的信息
  • 往外复制:把最边上的像素值往外延拓一圈(BORDER_REPLICATE),或者镜像(BORDER_REFLECT)、补零(BORDER_CONSTANT)
  • 补零的问题是在原图边界上会凭空造出一条“灰度突变”,边缘检测时会出现一圈假的亮边

OpenCV 里 filter2D 的最后一个参数就是干这个的

矩阵(模板)的分类

按“核里有没有负数”大致分成两类,用途完全相反

全正

全部为 1 —— 均值(盒式)滤波

就是把周围 9 个像素求平均,使得图像更光滑、更平滑

核越大越糊,$5\times5$ 就是 25 个点求平均

它的毛病是模糊得没轻重——中心点和八丈远的邻居权重一样,处理完会丢细节、边缘变圆

高斯加权

高斯加权平均,越靠近中心的邻居权重越大,能尽量保留原始数据

核元素由二维高斯函数采样得到:

指数部分有 $e^{-(x^2+y^2)}$ 这种结构,所以看起来正好是 $1,2,1$ / $2,4,2$ / $1,2,1$

$\sigma$ 越大,核里各项越平均,就越接近均值滤波;$\sigma$ 越小,就越接近“只信自己”

用整数近似再统一除以和(这里是 16),是为了避免浮点核带来的额外开销,误差可以忽略

高斯核还有个很重要的性质:可分离,一个 $3\times3$ 的二维高斯可以拆成两个一维核

于是 $n\times n$ 的二维卷积可以从 $n^2$ 次乘法降到 $2n$ 次,实际工程里几乎都是这么实现的

含有负数

负数核用来抠出“变化量”,也就是边缘

四连通拉普拉斯

中心减掉上下左右,相当于相减,使得图像锐化:灰度连续的地方相互抵消得 0,只有灰度不连续的地方才留下非零值,就有效果了

系数 $4$ 保证核元素之和为 $0$,所以平坦区域输出 0

八连通拉普拉斯

连对角线的邻居一起减,中心系数变成 $8$

对斜向的边缘比四连通更敏感,但对角线方向的噪声也会被放大,抗噪更差

中值滤波

和卷积的思路不一样:不是加权求和,而是选择附近几个点(比如 $3\times3$ 共 9 个)排序后取中值作为中心像素的新值

它最大的好处是能防止(去掉)椒盐噪声:一个孤立的噪点(极黑或极白的点)在 9 个数里排序一定排到最边上,中值直接把它丢掉,其它 8 个正常值几乎不变

这也是它比均值滤波强的地方——均值滤波遇到噪点会把噪声“抹匀”到一片,中值滤波是真正把噪点删掉,同时还能保住边缘的陡峭程度(边缘两侧的值本来就是多数,中值会取到其中一侧的值)

但是当在边缘处有噪声时,会导致边缘的扩大或者缩小

原因是边缘处窗口里两侧像素的个数本来就不平衡,中值被“多数派”拉走,于是边界会往外挪一点或者往里缩一点

另外排序是要花时间的,$n\times n$ 窗口排序复杂度高,实际实现里会用快排/直方图等技巧优化

补充一句:中值滤波对高斯噪声效果一般,那是对着椒盐噪声的专门武器

锐化

边缘定义

指图像局部灰度显著变化的部分

分类

  • 阶跃不连续:灰度从一个平台跳到另一个平台(比如物体轮廓、桌子边)
  • 线条不连续:灰度先跳上去又跳回来,宽度很窄(比如电线、细纹路)

边缘检测算子对这两种响应的形状不一样,这个后面看一阶/二阶微分的区别就很清楚了

目的

其实是理想化了,加强轮廓

图像本来就有点糊,锐化的想法是“把变化的地方变化得更猛一点”,让轮廓看得更清楚

注意锐化不能恢复已经丢失的信息,只是把残留的边缘对比度拉大,纯噪声也会被一起拉大

等一下,看到课件上的实现好像就是二维二阶差分,hyw

没错,拉普拉斯就是二维二阶导数的离散形式。令 $f$ 在 $x$ 方向的一阶差分为

再差分一次就是二阶:

$y$ 方向同理,两者相加就是

把它按“每个邻居的系数”写回模板:

正好和我们前面那个四连通拉普拉斯符号相反,只是差一个负号(两者都叫拉普拉斯模板,习惯上不同教材写得不一样)

这就是为什么中心是 4、周围是 $-1$,它压根不是拍脑袋想出来的,就是二阶差分

一阶微分 vs 二阶差分

一阶(梯度,如 Sobel/Prewitt) 二阶(拉普拉斯)
平坦区响应 0 0
阶跃边缘 一个宽的“平台”(斜坡越陡值越大) 一正一负两个尖峰,中间穿越零点
线条边缘 两个尖峰(上去一个、下来一个) 三个峰(中间最强,两侧反号)
定位 边界定位在峰值处,比较粗 边界定位在零点交叉处,定位准
噪声 相对温和 二阶导极其放大噪声

所以:一阶适合找“边缘有多强”,二阶适合找“边缘在哪里”,但二阶必须先平滑

水平/垂直锐化

一阶水平锐化(上下相减):

这个是 Sobel 的 $y$ 方向核,检测的是水平方向的边缘(因为它是上下两行相减,灰度在竖直方向变化越大,响应越大)

中间那列权重是 2、两边是 1,等于在求差分的同时顺手做了一次 $[1,2,1]$ 的平滑,比 Prewitt 的 $[[1,1,1],[0,0,0],[-1,-1,-1]]$ 抗噪好一点

要是转置一下,就变成垂直的了:

两个方向分别算完,幅值取

方向取 $\theta=\arctan\dfrac{G_y}{G_x}$,这就是梯度的幅值和方向,Canny 里要用

计算得到负数的解决办法

卷积结果是负数说明这里有反向的灰度跳变,但像素值不能是负的(uchar 是 $0\sim255$,负数会直接溢出变成奇怪的值)

解决办法是整体抬升:减去最小的那个值(或者加一个偏移量),就变成正数了

这样做的代价是“0 值(平坦区)不再对应 0”,整张图底色被抬灰了,看起来灰蒙蒙一片,所以直接显示拉普拉斯结果一般不好看——它的正确定位是中间结果,不是最终图像

差异图和原图叠加

差异图(边缘图)和原图叠加就是结果图了:

按拉普拉斯的符号习惯,也可能是减:

两者是同一件事,取决于你用的模板中心是 $4$ 还是 $-4$

如果模板是中心 $4$、周围 $-1$,那么 $f-\nabla^2 f$ 展开出来就是

这就是“原图 + 拉普拉斯”合成的锐化核,一个 $3\times3$ 模板就能一步搞定,不用真的算两遍

八连通版本中心就是 $9$:

这类“原图叠边缘”的做法有个名字,叫非锐化掩蔽(unsharp masking):先高斯模糊得到“低频”,再用原图减模糊得到“高频(边缘细节)”,最后原图加回高频

$k$ 就是强度系数,取大了会出光晕(halo),边缘两侧出现明显的亮白/暗黑描边

Canny 算子

最优边缘检测器,理论上满足三个准则:

  • 有良好检测能力:真正的边缘不漏检,假的边缘不误检
  • 良好的定位性能:检测出的边缘位置和真实边缘位置尽量接近
  • 单一边缘响应:一条边缘只输出一条,不能变成多条粗带

实际流程分几步:滤噪,然后计算幅值(看差异),非极大值抑制,双阈值+滞后连接

第一步:高斯滤波去噪

为什么一定要先滤噪?因为下一步是求导,求导会放大噪声(一阶导把噪声放大一次,拉普拉斯这种二阶导放大得更狠),不平滑的话满屏都是假边缘

通常用 $5\times5$、$\sigma\approx1.4$ 的高斯核

第二步:计算梯度幅值和方向

一般就用 Sobel 的 $G_x$、$G_y$ 两个模板,得到

把 $\theta$ 量化到 $4$ 个方向($0^\circ,45^\circ,90^\circ,135^\circ$),因为后面 NMS 只需要知道“梯度大致朝向哪边”

第三步:非极大值抑制(NMS)

方法:沿梯度方向垂直计算,值保留最大值

更准确地说,是沿梯度方向(不是垂直!)取相邻两个点,如果当前点的幅值比这两个都大,就保留,否则置 0

严格讲:边缘是沿着“垂直于梯度”的方向延伸的,梯度方向横穿边缘,所以在梯度方向上比较,才能判断这个点是不是这条边缘上的“最亮的一行”

实现上因为像素是网格,$\theta$ 落在哪一区间就决定比较哪两个邻居:

梯度方向 比较的两个邻居
$0^\circ$(水平) 左、右
$90^\circ$(垂直) 上、下
$45^\circ$ 左上、右下
$135^\circ$ 右上、左下

作用:让边缘强制变细

(hyw,为什么这么暴力 —— 因为梯度幅值图里的“一条边缘”其实是一条有宽度的“山脊”,山脊上每个点都有一个不小的幅值;NMS 就是沿着横切山脊的方向做一次“取脊线”,只留下每个横截面上的最高点,于是宽度被压成单像素。暴力,但有效,而且它只是局部比较,$O(1)$ 就能判断,代价极低)

第四步:双阈值检测 + 滞后连接

(课件这里没细讲,但它是 Canny 单一边缘响应的关键)

  • 高阈值 $T_H$:幅值超过它的点,认定为“强边缘”,直接保留
  • 低阈值 $T_L$:低于它的点直接丢掉
  • 居于中间的“弱边缘”:只有和强边缘相连时才保留,否则丢掉

这样就能把真正的边缘连成完整的一条线,同时又不会让噪声引起的零星响应留下来

一般取 $T_H:T_L=2:1$ 或 $3:1$

OpenCV 里怎么写

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
Mat img = imread("lena.jpg", IMREAD_GRAYSCALE);

// 均值滤波
Mat mean; blur(img, mean, Size(3,3));

// 高斯滤波
Mat gauss; GaussianBlur(img, gauss, Size(3,3), 0);

// 自定义模板(注意第六个参数是 ddepth,负数是溢出时用 CV_8U 会截断)
Mat kernel = (Mat_<float>(3,3) << 0,-1,0, -1,4,-1, 0,-1,0);
Mat lap; filter2D(img, lap, CV_32F, kernel);
// 拉普拉斯有负数,要转回来显示
Mat lapShow; convertScaleAbs(lap, lapShow);

// 一步到位的锐化核
Mat sharpK = (Mat_<float>(3,3) << -1,-1,-1, -1,9,-1, -1,-1,-1);
Mat sharp; filter2D(img, sharp, CV_8U, sharpK);

// 中值滤波(ksize 必须是奇数且大于1)
Mat med; medianBlur(img, med, 3);

// Sobel
Mat gx, gy, mag;
Sobel(img, gx, CV_32F, 1, 0, 3);
Sobel(img, gy, CV_32F, 0, 1, 3);
magnitude(gx, gy, mag);

// Canny(内部已经做了高斯、Sobel、NMS、双阈值)
Mat edges; Canny(img, edges, 50, 150);

几个踩过的坑:

  • filter2D 输入是 CV_8U 时,负数和超过 255 的值会被截断(不是归一化),所以算梯度、拉普拉斯一定要用 CV_32F
  • 输出显示前用 convertScaleAbs(取绝对值再转 CV_8U),或者 normalize 到 $0\sim255$
  • Canny 的两个阈值就是前面说的 $T_L$、$T_H$,调参时先固定比例再整体缩放

小结

把这一堆算子按“核元素符号”排一下就很清楚了:

核元素 代表 作用 注意
全正,和为 1 均值、高斯 平滑、去噪、模糊 会把边缘一起糊掉;高斯比均值保细节
有正有负,和为 0 拉普拉斯、Sobel 找边缘、锐化 必须归一化抬升才能显示;放大噪声
非线性 中值 去椒盐噪声 排序耗时;会挪动边缘位置

一句话总结:全正 = 平均(低通),含负 = 差分(高通),锐化 = 原图 + 高通

Canny 就是把“高斯(低通)→ Sobel(高通)→ NMS(细化)→ 双阈值(筛选)”串起来的一套工程化最优解