图像拼接算法及实现
第二章 图像拼接的基础理论及图像预处理
2.1图像拼接
图像拼接技术主要有三个主要步骤：图像预处理、图像配准、图像融合与边界平滑，
如图。
图像拼接技术主要分为三个主要步骤：图像预处理、图像配准、图像融合与边界平滑，图像预处理主要指对图像进行几何畸变校正和噪声点的抑制等，让参考图像和待拼接图像不存在明显的几何畸变。在图像质量不理想的情况下进行图像拼接，如果不经过图像预处理，很容易造成一些误匹配。图像预处理主要是为下一步图像配准做准备，让图像质量能够满足图像配准的要求。图像配准主要指对参考图像和待拼接图像中的匹配信息进行提取，在提取出的信息中寻找最佳的匹配，完成图像间的对齐。图像拼接的成功与否主要是图像的配准。待拼接的图像之间，可能存在平移、旋转、缩放等多种变换或者大面积的同色区域等很难匹配的情况，一个好的图像配准算法应该能够在各种情况下准确找到图像间的对应信息，将图像对齐。图像融合指在完成图像匹配以后，对图像进行缝合，并对缝合的边界进行平滑处理，让缝合自然过渡。由于任何两幅相邻图像在采集条件上都不可能做到完全相同，因此，对于一些本应该相同的图像特性，如图像的光照特性等，在两幅图像中就不会表现的完全一样。图像拼接缝隙就是从一幅图像的图像区域过渡到另一幅图像的图像区域时，由于图像中的某些相关特性发生了跃变而产生的。图像融合就是为了让图像间的拼接缝隙不明显，拼接更自然
2.2 图像的获取方式
图像拼接技术原理是根据图像重叠部分将多张衔接的图像拼合成一张高分辨率全景图 。这些有重叠部分的图像一般由两种方法获得 : 一种是固定照相机的转轴 ,然后绕轴旋转所拍摄的照片 ;另一种是固定照相机的光心 ,水平摇动镜头所拍摄的照片。其中 ,前者主要用于远景或遥感图像的获取 ,后者主要用于显微图像的获取 ,它们共同的特点就是获得有重叠的二维图像。
2.3 图像的预处理
2.3.1 图像的校正
当照相系统的镜头或者照相装置没有正对着待拍摄的景物时候，那么拍摄到的景物图像就会产生一定的变形。这是几何畸变最常见的情况。另外，由于光学成像系统或扫描系统的限制而产生的枕形或桶形失真，也是几何畸变的典型情况。几何畸变会给图像拼接造成很大的问题，原本在两幅图像中相同的物体会因为畸变而变得不匹配，这会给图像的配准带来很大的问题。因此，解决几何畸变的问题显得很重要。
图象校正的基本思路是，根据图像失真原因，建立相应的模型，从被污染或畸变的图象信号中提取所需要的信息，沿着使图象失真的逆过程恢复图象本来面貌。实际的复原过程是设计一个滤波器，使其能从失真图象中计算得到真实图象的估值，使其根据预先规定的误差准则，最大程度地接近真实图象。
2.3.2 图像噪声的抑制
图像噪声可以理解为妨碍人的视觉感知，或妨碍系统传感器对所接受图像源信息进行理解或分析的各种因素，也可以理解成真实信号与理想信号之间存在的偏差。一般来说，噪声是不可预测的随机信号，通常采用概率的方法对其进行分析。噪声对图像处理十分重要，它影响图像处理的各个环节，特别在图像的输入、采集中的噪声抑制是十分关键的问题。若输入伴有较大的噪声，必然影响图像拼接的全过程及输出的结果。根据噪声的来源，大致可以分为外部噪声和内部噪声；从统计数学的观点来定义噪声，可以分为平稳噪声和非平稳噪声。各种类型的噪声反映在图像画面上，大致可以分为两种类型。一是噪声的幅值基本相同，但是噪声出现的位置是随机的，一般称这类噪声为椒盐噪声。另一种是每一点都存在噪声，但噪声的幅值是随机分布的，从噪声幅值大小的分布统计来看，其密度函数有高斯型、瑞利型，分别成为高斯噪声和瑞利噪声，又如频谱均匀分布的噪声称为白噪声等。
1.均值滤波
所谓均值滤波实际上就是用均值替代原图像中的各个像素值。均值滤波的方法是，对将处理的当前像素，选择一个模板，该模板为其邻近的若干像素组成，用模板中像素的均值来替代原像素的值。如图2.4所示，序号为0是当前像素，序号为1至8是邻近像素。求模板中所有像素的均值，再把该均值赋予当前像素点((x, y)，作为处理后图像在该点上的灰度g(x,y)，即
g(x,y)=(2-2-2-1)
其中，s为模板，M为该模板中包含像素的总个数。
图2.2.2.1模板示意图
2.中值滤波
中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术。它的核心算法是将模板中的数据进行排序，这样，如果一个亮点（暗点）的噪声，就会在排序过程中被排在数据序列的最右侧或者最左侧，因此，最终选择的数据序列中见位置上的值一般不是噪声点值，由此便可以达到抑制噪声的目的。
取某种结构的二维滑动模板，将模板内像素按照像素值的大小进行排序，生成单调上升（或下降）的二维数据序列。二维德中值滤波输出为
( 2-2-2-2 )
其中，f(x,y)，g (x,y)分别为原图像和处理后的图像，w二维模板,k ,l为模板的长宽，Med 为取中间值操作，模板通常为3 3 、5 5 区域，也可以有不同形状，如线状、圆形、十字形、圆环形。
2.4 本章小结
本章主要介绍了图像几何畸变校正和图像噪声抑制两种图像预处理.
第三章 图像配准算法
3.1 图像配准的概念
图像配准简而言之就是图像之间的对齐。图像配准定义为:对从不同传感器或不同时间或不同角度所获得的两幅或多幅图像进行最佳匹配的处理过程。为了更清楚图像配准的任务，我们将图像配准问题用更精确的数学描述出来。配准可以用描述为如下的问题:
给定同一景物的从不同的视角或在不同的时间获取的两个图像I ,I 和两个图像间的相似度量S(I ,I ),找出I ,I 中的同名点，确定图像间的最优变换T,使得S(T(I ),I )达到最大值。
图像配准总是相对于多幅图像来讲的，在实际工作中，通常取其中的一幅图像作为配准的基准,称它为参考图,另一幅图像,为搜索图。图像配准的一般做法是，首先在参考图上选取以某一目标点为中心的图像子块，并称它为图像配准的模板，然后让模板在搜索图上有秩序地移动，每移到一个位置，把模板与搜索图中的对应部分进行相关比较，直到找到配准位置为止。
如果在模板的范围内，同一目标的两幅图像完全相同，那么完成图像配准并不困难。然而，实际上图像配准中所遇到的同一目标的两幅图像常常是在不同条件下获得的，如不同的成像时间、不同的成像位置、甚至不同的成像系统等，再加上成像中各种噪声的影响，使同一目标的两幅图像不可能完全相同，只能做到某种程度的相似，因此图像配准是一个相当复杂的技术过程。
