模板卷积
前言
上课使用到的一个网站 CNN Explainer
可视化 CNN,讲卷积的时候看着很爽,那个kernel滑过去的样子一目了然
这篇是课上临时记的,后来找AI又补了一堆,算是把模板卷积这一块(空间域滤波)从头捋了一遍
这篇文章的旧版本基本没有内容,只有框架,这篇文章是找AI拓充出来的(感谢DeepSeek老师,注意到上面那句话也是他写的)
模板卷积到底在算啥
模板(模板/核/kernel/mask)就是一个小矩阵,比如 $3\times3$、$5\times5$
拿它扣在图像的每一个像素上,把覆盖到的像素和核里对应位置的数相乘,再全部加起来,得到的新值就是输出图像对应位置的像素值
写成公式,核 $K$ 大小 $(2a+1)\times(2a+1)$,作用在 $(x,y)$ 上:
再按需要除以核元素之和(归一化系数),或者取绝对值/加偏移
所以本质上就是一个加权求和,核里的数字决定“看重周围哪些邻居”
相关和卷积的区别
严格来说上面这个式子叫互相关(correlation),卷积要先把核翻转 $180^\circ$:
不过图像处理里的模板基本都左右上下对称(均值、高斯、拉普拉斯、Sobel 全是对称的),翻不翻一样,所以大家平时都混着叫卷积
只有在核不对称的时候(比如某些一阶微分模板)才要注意一下
为什么核要“归一化”
如果是全正的平滑核,核元素加起来是 $S$,那么不除以 $S$ 的话,输出灰度会被放大 $S$ 倍,整张图直接过曝,白花花一片
所以均值核前面要乘 $\frac{1}{9}$,高斯核前面要乘 $\frac{1}{16}$
含负数的锐化核则要保证元素之和 = 0,这样图像中灰度平坦的区域(周围值都差不多)算出来正好是 0,也就是“没变化的地方不给响应”,这才叫边缘检测
边缘点的处理
核滑到图像最边上,会有一圈“吃不饱”的位置,凑不满 $3\times3$ 个邻居,这时候怎么办:
- 舍弃:只计算内部能完整覆盖的区域,输出图会小一圈($(W-2)\times(H-2)$),最简单但会丢边上的信息
- 往外复制:把最边上的像素值往外延拓一圈(
BORDER_REPLICATE),或者镜像(BORDER_REFLECT)、补零(BORDER_CONSTANT) - 补零的问题是在原图边界上会凭空造出一条“灰度突变”,边缘检测时会出现一圈假的亮边
OpenCV 里 filter2D 的最后一个参数就是干这个的
矩阵(模板)的分类
按“核里有没有负数”大致分成两类,用途完全相反
全正
全部为 1 —— 均值(盒式)滤波
就是把周围 9 个像素求平均,使得图像更光滑、更平滑
核越大越糊,$5\times5$ 就是 25 个点求平均
它的毛病是模糊得没轻重——中心点和八丈远的邻居权重一样,处理完会丢细节、边缘变圆
高斯加权
高斯加权平均,越靠近中心的邻居权重越大,能尽量保留原始数据
核元素由二维高斯函数采样得到:
指数部分有 $e^{-(x^2+y^2)}$ 这种结构,所以看起来正好是 $1,2,1$ / $2,4,2$ / $1,2,1$
$\sigma$ 越大,核里各项越平均,就越接近均值滤波;$\sigma$ 越小,就越接近“只信自己”
用整数近似再统一除以和(这里是 16),是为了避免浮点核带来的额外开销,误差可以忽略
高斯核还有个很重要的性质:可分离,一个 $3\times3$ 的二维高斯可以拆成两个一维核
于是 $n\times n$ 的二维卷积可以从 $n^2$ 次乘法降到 $2n$ 次,实际工程里几乎都是这么实现的
含有负数
负数核用来抠出“变化量”,也就是边缘
四连通拉普拉斯
中心减掉上下左右,相当于相减,使得图像锐化:灰度连续的地方相互抵消得 0,只有灰度不连续的地方才留下非零值,就有效果了
系数 $4$ 保证核元素之和为 $0$,所以平坦区域输出 0
八连通拉普拉斯
连对角线的邻居一起减,中心系数变成 $8$
对斜向的边缘比四连通更敏感,但对角线方向的噪声也会被放大,抗噪更差
中值滤波
和卷积的思路不一样:不是加权求和,而是选择附近几个点(比如 $3\times3$ 共 9 个)排序后取中值作为中心像素的新值
它最大的好处是能防止(去掉)椒盐噪声:一个孤立的噪点(极黑或极白的点)在 9 个数里排序一定排到最边上,中值直接把它丢掉,其它 8 个正常值几乎不变
这也是它比均值滤波强的地方——均值滤波遇到噪点会把噪声“抹匀”到一片,中值滤波是真正把噪点删掉,同时还能保住边缘的陡峭程度(边缘两侧的值本来就是多数,中值会取到其中一侧的值)
但是当在边缘处有噪声时,会导致边缘的扩大或者缩小
原因是边缘处窗口里两侧像素的个数本来就不平衡,中值被“多数派”拉走,于是边界会往外挪一点或者往里缩一点
另外排序是要花时间的,$n\times n$ 窗口排序复杂度高,实际实现里会用快排/直方图等技巧优化
补充一句:中值滤波对高斯噪声效果一般,那是对着椒盐噪声的专门武器
锐化
边缘定义
指图像局部灰度显著变化的部分
分类
- 阶跃不连续:灰度从一个平台跳到另一个平台(比如物体轮廓、桌子边)
- 线条不连续:灰度先跳上去又跳回来,宽度很窄(比如电线、细纹路)
边缘检测算子对这两种响应的形状不一样,这个后面看一阶/二阶微分的区别就很清楚了
目的
其实是理想化了,加强轮廓
图像本来就有点糊,锐化的想法是“把变化的地方变化得更猛一点”,让轮廓看得更清楚
注意锐化不能恢复已经丢失的信息,只是把残留的边缘对比度拉大,纯噪声也会被一起拉大
等一下,看到课件上的实现好像就是二维二阶差分,hyw
没错,拉普拉斯就是二维二阶导数的离散形式。令 $f$ 在 $x$ 方向的一阶差分为
再差分一次就是二阶:
$y$ 方向同理,两者相加就是
把它按“每个邻居的系数”写回模板:
正好和我们前面那个四连通拉普拉斯符号相反,只是差一个负号(两者都叫拉普拉斯模板,习惯上不同教材写得不一样)
这就是为什么中心是 4、周围是 $-1$,它压根不是拍脑袋想出来的,就是二阶差分
一阶微分 vs 二阶差分
| 一阶(梯度,如 Sobel/Prewitt) | 二阶(拉普拉斯) | |
|---|---|---|
| 平坦区响应 | 0 | 0 |
| 阶跃边缘 | 一个宽的“平台”(斜坡越陡值越大) | 一正一负两个尖峰,中间穿越零点 |
| 线条边缘 | 两个尖峰(上去一个、下来一个) | 三个峰(中间最强,两侧反号) |
| 定位 | 边界定位在峰值处,比较粗 | 边界定位在零点交叉处,定位准 |
| 噪声 | 相对温和 | 二阶导极其放大噪声 |
所以:一阶适合找“边缘有多强”,二阶适合找“边缘在哪里”,但二阶必须先平滑
水平/垂直锐化
一阶水平锐化(上下相减):
这个是 Sobel 的 $y$ 方向核,检测的是水平方向的边缘(因为它是上下两行相减,灰度在竖直方向变化越大,响应越大)
中间那列权重是 2、两边是 1,等于在求差分的同时顺手做了一次 $[1,2,1]$ 的平滑,比 Prewitt 的 $[[1,1,1],[0,0,0],[-1,-1,-1]]$ 抗噪好一点
要是转置一下,就变成垂直的了:
两个方向分别算完,幅值取
方向取 $\theta=\arctan\dfrac{G_y}{G_x}$,这就是梯度的幅值和方向,Canny 里要用
计算得到负数的解决办法
卷积结果是负数说明这里有反向的灰度跳变,但像素值不能是负的(uchar 是 $0\sim255$,负数会直接溢出变成奇怪的值)
解决办法是整体抬升:减去最小的那个值(或者加一个偏移量),就变成正数了
这样做的代价是“0 值(平坦区)不再对应 0”,整张图底色被抬灰了,看起来灰蒙蒙一片,所以直接显示拉普拉斯结果一般不好看——它的正确定位是中间结果,不是最终图像
差异图和原图叠加
差异图(边缘图)和原图叠加就是结果图了:
按拉普拉斯的符号习惯,也可能是减:
两者是同一件事,取决于你用的模板中心是 $4$ 还是 $-4$
如果模板是中心 $4$、周围 $-1$,那么 $f-\nabla^2 f$ 展开出来就是
这就是“原图 + 拉普拉斯”合成的锐化核,一个 $3\times3$ 模板就能一步搞定,不用真的算两遍
八连通版本中心就是 $9$:
这类“原图叠边缘”的做法有个名字,叫非锐化掩蔽(unsharp masking):先高斯模糊得到“低频”,再用原图减模糊得到“高频(边缘细节)”,最后原图加回高频
$k$ 就是强度系数,取大了会出光晕(halo),边缘两侧出现明显的亮白/暗黑描边
Canny 算子
最优边缘检测器,理论上满足三个准则:
- 有良好检测能力:真正的边缘不漏检,假的边缘不误检
- 良好的定位性能:检测出的边缘位置和真实边缘位置尽量接近
- 单一边缘响应:一条边缘只输出一条,不能变成多条粗带
实际流程分几步:滤噪,然后计算幅值(看差异),非极大值抑制,双阈值+滞后连接
第一步:高斯滤波去噪
为什么一定要先滤噪?因为下一步是求导,求导会放大噪声(一阶导把噪声放大一次,拉普拉斯这种二阶导放大得更狠),不平滑的话满屏都是假边缘
通常用 $5\times5$、$\sigma\approx1.4$ 的高斯核
第二步:计算梯度幅值和方向
一般就用 Sobel 的 $G_x$、$G_y$ 两个模板,得到
把 $\theta$ 量化到 $4$ 个方向($0^\circ,45^\circ,90^\circ,135^\circ$),因为后面 NMS 只需要知道“梯度大致朝向哪边”
第三步:非极大值抑制(NMS)
方法:沿梯度方向垂直计算,值保留最大值
更准确地说,是沿梯度方向(不是垂直!)取相邻两个点,如果当前点的幅值比这两个都大,就保留,否则置 0
严格讲:边缘是沿着“垂直于梯度”的方向延伸的,梯度方向横穿边缘,所以在梯度方向上比较,才能判断这个点是不是这条边缘上的“最亮的一行”
实现上因为像素是网格,$\theta$ 落在哪一区间就决定比较哪两个邻居:
| 梯度方向 | 比较的两个邻居 |
|---|---|
| $0^\circ$(水平) | 左、右 |
| $90^\circ$(垂直) | 上、下 |
| $45^\circ$ | 左上、右下 |
| $135^\circ$ | 右上、左下 |
作用:让边缘强制变细
(hyw,为什么这么暴力 —— 因为梯度幅值图里的“一条边缘”其实是一条有宽度的“山脊”,山脊上每个点都有一个不小的幅值;NMS 就是沿着横切山脊的方向做一次“取脊线”,只留下每个横截面上的最高点,于是宽度被压成单像素。暴力,但有效,而且它只是局部比较,$O(1)$ 就能判断,代价极低)
第四步:双阈值检测 + 滞后连接
(课件这里没细讲,但它是 Canny 单一边缘响应的关键)
- 高阈值 $T_H$:幅值超过它的点,认定为“强边缘”,直接保留
- 低阈值 $T_L$:低于它的点直接丢掉
- 居于中间的“弱边缘”:只有和强边缘相连时才保留,否则丢掉
这样就能把真正的边缘连成完整的一条线,同时又不会让噪声引起的零星响应留下来
一般取 $T_H:T_L=2:1$ 或 $3:1$
OpenCV 里怎么写
1 | Mat img = imread("lena.jpg", IMREAD_GRAYSCALE); |
几个踩过的坑:
filter2D输入是CV_8U时,负数和超过 255 的值会被截断(不是归一化),所以算梯度、拉普拉斯一定要用CV_32F- 输出显示前用
convertScaleAbs(取绝对值再转CV_8U),或者normalize到 $0\sim255$ - Canny 的两个阈值就是前面说的 $T_L$、$T_H$,调参时先固定比例再整体缩放
小结
把这一堆算子按“核元素符号”排一下就很清楚了:
| 核元素 | 代表 | 作用 | 注意 |
|---|---|---|---|
| 全正,和为 1 | 均值、高斯 | 平滑、去噪、模糊 | 会把边缘一起糊掉;高斯比均值保细节 |
| 有正有负,和为 0 | 拉普拉斯、Sobel | 找边缘、锐化 | 必须归一化抬升才能显示;放大噪声 |
| 非线性 | 中值 | 去椒盐噪声 | 排序耗时;会挪动边缘位置 |
一句话总结:全正 = 平均(低通),含负 = 差分(高通),锐化 = 原图 + 高通
Canny 就是把“高斯(低通)→ Sobel(高通)→ NMS(细化)→ 双阈值(筛选)”串起来的一套工程化最优解