基于几何约束的倾斜影像特征匹配方法

韦春桃; 张冬梅

doi:10.3969/j.issn.0258-2724.20210662

基于几何约束的倾斜影像特征匹配方法

doi: 10.3969/j.issn.0258-2724.20210662

重庆交通大学土木工程学院，重庆 400074

基金项目: 重庆市基础科学与前沿技术研究专项重点项目（cstc2015jcyj BX0023）

详细信息

作者简介:
韦春桃（1968—），女，教授，博士，研究方向为摄影测量与遥感，E-mail：gxglwct@163.com

中图分类号: P237
计量
- 文章访问数: 456
- HTML全文浏览量: 507
- PDF下载量: 67
- 被引次数: 2
出版历程
- 收稿日期: 2021-08-12
- 修回日期: 2021-12-02
- 网络出版日期: 2023-09-06
- 刊出日期: 2022-03-31

Feature Matching Method of Oblique Images Based on Geometric Constraints

School of Architecture & Construction, Chongqing Jiaotong University, Chongqing 400074, China

摘要

摘要:
针对倾斜影像视角变换较大、重复纹理导致匹配数量少、匹配精度不高的问题，提出一种适用于倾斜影像的特征点、线分级匹配方法. 首先，用直线提取（检测）算法（LSD）获取影像直线特征，并将直线特征以一定约束进行直线组对，构建直线对区域与改进的SIFT （scale-invariant feature transform）特征描述符进行匹配，使用RANSAC算法剔除误匹配，获得初始匹配结果后再进行核线约束；然后，利用已获得直线对区域进行影像局部纠正，在纠正后的局部影像上采用SIFT匹配并反算回原始影像，利用得到的同名点全局纠正倾斜影像，并进行特征点匹配与采用基于方格的运动统计算法（GMS）剔除误匹配，仍将匹配结果反算回原始影像上；最后，将仿射尺度不变特征变化结果与点拓展匹配结果进行合并，得到最终匹配结果. 试验结果表明：本文方法匹配正确率与经典的仿射不变匹算法（ASIFT）的正确率相差不大，但匹配数量却是ASIFT算法的1倍～3倍.
- 倾斜影像 /
- 直线特征 /
- 核线约束 /
- 点拓展匹配 /
- 全局纠正
Abstract:
A feature point and line hierarchical matching method is proposed, suitable for oblique images to solve the challenges of large angle in view transformation, a few matches due to repeated texture, and low matching accuracy. Firstly, the line features of images derive from the line extraction (detection) algorithm (LineSegmentDector), follow constraints to pair, and construct line pair regions to match the improved SIFT feature descriptor. Secondly, after RANSAC algorithm eliminates mismatches, the epipolar constraint acts upon the initial matching results. Then, the obtained lines correct the local image, and the corrected local image uses SIFT matching, which contributes to calculating the original image reversely. The obtained matching points are used to globally correct the oblique image, and the feature points are matched; the grid-based motion statistics (GMS) algorithm eliminates the mismatches; the matching results go through reverse calculation and return to the original image. The line matching results and the point expanding matching results combine into final results, showing that the matching accuracy of the proposed method is close to that of ASIFT, but the number of matching is 1-3 times it.
- oblique image /
- line feature /
- epipolar constraint /
- point expanding matching /
- global correction

HTML全文

影像匹配是许多高级计算机视觉问题的关键步骤，如运动三维重建结构、目标识别等. 但是在获取影像的过程中，传感器受自身及环境的影响，获得的倾斜影像存在几何变形明显、地物遮挡显著及纹理相似性大等多种问题，加大了影像匹配的难度. 传统的匹配算法在此情况下不能完全适应，出现匹配数量少、匹配精度不高的问题，直接影响了倾斜影像结果后续视觉任务的精度，因此，如何实现可靠的倾斜影像匹配算法是解决此类问题的关键^[1].

影像特征匹配大致分为点特征匹配、线特征匹配和区域特征匹配. 尺度不变特征变换匹配算法（SIFT）^[2]是经典的点特征匹配算法，其通过在尺度空间提取描述子，达到对旋转、尺度、光照等变化的良好适应，但面对视角变化极大的影像，SIFT算法将不再适用^[3]. 仿射尺度不变特征变换算法（ASIFT）^[4]模拟了影像各个角度变化情况，然后利用SIFT算法在各个模拟影像上进行匹配，该算法具有较好的仿射不变性，与SIFT等其他传统算法相比，在对图像视角变换、旋转、尺度缩放、光照变化上具有更强的鲁棒性^[5]. 但是该算法在所有模拟影像间逐一遍历匹配，耗时较长. 与点特征相比，直线特征具有直观性与整体性，能够用较少的特征表达更丰富的纹理信息，弥补点特征缺乏局部结构几何信息的不足^[6]. 直线匹配算法通常利用直线的基本属性，如长度、光谱等特征进行匹配. 常见的直线匹配算法有直线提取（检测）算法（LSD）^[7]、LPI （line-point invariants）^[8]等. 基于区域的影像匹配方法有Harris Affine和 Hessian Affine^[9-10]，通过在影像上构建仿射不变性特征区域，并在区域上计算描述符来匹配，但在面对大倾角倾斜影像时难以适应这种较大的仿射变化 ^[11]. 文献[12]采用基于加权形状（WSH）局部区域特征的匹配方法，获得去除仿射变形的影像块，此方法对大部分图像能获得正确率较高的匹配结果. 目前还有一种基于影像纠正的匹配方法，其大致思路是将影像进行粗匹配，利用粗匹配结果对倾斜影像进行纠正，再对纠正后的影像进行匹配，并将匹配结果反算回原始影像，该方法被广泛应用^[13]，如现有的ISIFT （iterative SIFT）^[14]、NAIF （nicer affine invariant feature）^[15]算法等. 在倾斜影像中，点特征不会随着影像的视角变化、畸变而产生变化，因此，在一幅场景影像中，点特征与线特征相结合的匹配方法可达到更高精度^[16]. 陈敏等^[17]利用直线组队方法，通过直线特征来表达点特征的信息，构建直线交点的特征区域和描述符进行直线对匹配，该方法既能得到直线特征匹配结果，又能得到点特征匹配结果. 张平等^[18]利用直线匹配来获得同名点，并进行距离角度等拓扑约束获得同名单直线. 以上方法均能在一定视角变换的倾斜影像上获得一些均匀分布的匹配特征，但是匹配数量较少，匹配的点大都是建筑物的角点、直线的交点，不能对影像上一些直线外的点进行匹配. 综上所述，为了解决倾斜影像匹配数量少、匹配正确率不高的问题，本文提出一种点线结合的匹配方法，提高倾斜影像匹配的数量和正确率.

1. 影像匹配

本文算法整体流程如图1所示. 首先，通过LSD算法对参考影像、搜索影像提取直线段，将提取的直线进行组对，构建直线对的尺度和仿射不变局部特征区域；然后，采用SIFT描述符构建特征区域向量；最后，采用最小欧氏距离进行匹配，得到粗匹配结果. 将粗匹配结果进行几何约束，提高粗匹配精度；根据粗匹配结果进行影像纠正，包括影像局部纠正和全局纠正；利用粗匹配得到的局部区域进行纠正后匹配，针对所有匹配结果进行剔错，作为影像全局纠正的基础，对全局纠正后影像进行特征点匹配. 将三次匹配结果合并得到最终匹配结果.

图 1 本文算法整体流程

Figure 1. Flowchart of proposed method

下载: 全尺寸图片幻灯片

1.1 直线对匹配

进行直线特征提取得到参考影像和搜索影像上各自的直线特征集合. 利用相邻直线间的几何关系将目标影像与待匹配影像提取的直线分别进行编组，得到满足角度、距离等约束条件的直线组. 将计算编组后的直线交点，并构建局部区域进行匹配. 在进行初步剔错后，计算目标影像直线组交点在待匹配影像上的核线，判断已匹配直线组是否在核线上或直线对的交点到核线的距离满足一定阈值. 检验核线上或核线周围是否还有未匹配的直线组，若有，则利用直线组的几何属性特征计算目标直线组和候选直线组描述符的相似性进行拓展匹配，从而获得2幅影像上的所有同名直线组.

1.1.1 直线组队

以当前正在遍历参考影像上的直线特征 $L_{{\rm{f}}1}$ 为例， ${L_{{\rm{f}}1}}$ 为目标直线，以 ${L_{{\rm{f}}1}}$ 为中心，为直线 ${L_{{\rm{f}}1}}$ 创建一个宽度为 $\left| {{L_{{\rm{f}}1}}} \right|{\text{ + }}2w$ ，高度为 $2w$ （w为扩展长度）的矩形支撑区域，其中 $\left| {{L_{{\rm{f}}1}}} \right|$ 为 ${L_{{\rm{f}}1}}$ 的长度，如图2所示. 直线组队时，为避免后面构建的直线组区域面积太小，或两直线在空间上位置较远而误组对的情况，需满足一些限制条件：

图 2 直线组对^[6]

Figure 2. Line pairing^[6]

下载: 全尺寸图片幻灯片

1）首先，保证目标直线与编组直线存在交点. 这是因为平行直线不能进行后续构建仿射不变区域，且直线交点具有较高的稳定性及仿射、透视不变等特性.

2）其次，直线对的夹角满足阈值. 判断目标直线 ${L_{{\rm{f}}i}}$ 与编组直线 ${L_{{\rm{f}}i1}}$ （i=1, 2, 3, …）所形成的夹角 $\alpha$ 是否满足在一定的范围内，以防止夹角太小，导致直线对构成的局部区域太小，需预先设置合理的角度限值 ${\theta }$ ， $\alpha \geqslant {\theta }$ ；满足该条件的直线 ${L_{{\rm{f}}11}}$ 与目标直线 ${L_{{\rm{f}}1}}$ 暂时编为一组，记为 ${C_{\rm{f1}}}\; ({L_{\rm{f1}}},{L_{{\rm{f}}11}},{P_{\rm{f1}}})$ ，其中 ${P_{\rm{f1}}}$ 为直线组的交点坐标，且需要保证直线交点在矩形支撑区域内，防止两直线在影像中距离较远的情况，并将符合条件的交点储存在交点集合中.

因此，按照合理的限制对2张影像进行编组，最终得到参考影像的直线编组特征集和待匹配影像的直线编组特征集C_f、C_s分别为

$\begin{split} & C_{\rm{f}} = \left\{ C_{{\rm{f}}1}({L_{{\rm{f}}1}},{L_{{\rm{f}}11}} ,P_{{\rm{f}}1}),C_{{\rm{f}}2}({L_{{\rm{f}}2}},{L_{{\rm{f}}22}} ,P_{{\rm{f}}2}) ,\cdots , \right.\\ &\quad \left. C_{{\rm{f}}M}({L_{{\rm{f}}M}},{L_{{\rm{f}}M1}} ,P_{{\rm{f}}M}) \right\}, \end{split}$

(1)

$\begin{split} & C_{\rm{s}} = \left\{ C_{{\rm{s}}1}({L_{{\rm{s}}1}},{L_{{\rm{s}}11}} ,P_{{\rm{s}}1}),C_{{\rm{s}}2}({L_{{\rm{s}}2}},{L_{{\rm{s}}21}} ,P_{{\rm{s}}2}) ,\cdots, \right.\\ &\quad \left. C_{{\rm{s}}N}({L_{{\rm{s}}N}},{L_{{\rm{s}}N1}} ,P_{{\rm{s}}N}) \right\}, \end{split}$

(2)

式中： $M$ 、 $N$ 分别为参考影像和搜索影像提取到的直线数目，C_s1为搜索影像的直线对，L_s1为搜索上的目标直线，L_s11为L_s1对应的编组直线，P_s1为直线L_s11和L_s1的交点.

1.1.2 构建视角不变区域

本实验需要寻找3个视角不变的直线交点构建局部平行四边形区域. 以参考影像为例，在参考影像直线特征组 $C_{\rm{f}}$ 中，若当前的直线对为 $C_{{\rm{f}}i}$ （ ${L_{{\rm{f}}i}}$ ， ${L_{{\rm{f}}i1}}$ ， $P_{{\rm{f}}i}$ ），选取直线对交点 $P_{{\rm{f}}i}$ 为四边形的第1个顶点 ${P_{{\rm{f}}1}}$ ，另外2个直线交点分别为 ${P_{{\rm{f}}2}}$ 、 ${P_{{\rm{f}}3}}$ ，其中, ${P_{{\rm{f}}2}}$ 为 ${L_{{\rm{f}}i}}$ 与其支撑区域内的其他直线特征的交点， ${P_{{\rm{f}}3}}$ 为 ${L_{{\rm{f}}i1}}$ 与其支撑区域内其他直线特征的交点，如（a）所示. 由参考影像上的3个直线交点和3个点的距离，以 ${P_{{\rm{f}}1}}$ 为中心，构建一个对称的四边形特征区域，并将四边形区域归一化成正方形，如（b）所示. 同样的方法可在参考影像上确定相应的视角不变区域. 得到特征不变区域后采用改进SIFT进行特征描述. 最后，对特征描述符归一化处理后进行相似性度量 $S{\text{ = }}{1}/{({1{\text{ + }}D})}$ ， $D$ 为2条直线的欧式距离. 若相似度大于阈值 ${T}$ ，则表示匹配. 在本文中，这种算法会存在“一对多匹配”，本文将相似度值最大的匹配视为真正匹配. 在仿射不变区域归一化时，为所有特征点设置相同的特征区域尺寸 $S \times S$ ，并分别将平行四边行对应的4个顶点与 $S \times S$ 正方形的4个顶点对应，如（c）所示. 在这块区域内采用改进的SIFT描述符进行相似性度量匹配，得到匹配的直线对集合 $C_{\rm{M}}$ （如式（3））和同名稳定点. SIFT描述符的具体改进方法见1.1.3节.

图 3 构建四边形区域

Figure 3. Quadrilateral construction

下载: 全尺寸图片幻灯片

$\begin{split} & C_{\rm{M}}=\left\{\left({C}_{{\rm{s}}1}({L}_{{\rm{s}}1},{L}_{{\rm{s1}}1}{},{P}_{{\rm{s}}1}),{C}_{{\rm{f}}1}({L}_{{\rm{f}}1},{L}_{\rm{f1}}{1}{},{P}_{{\rm{f}}1})\right)\text{，}\cdots \text{，}\right.\\ &\quad \left.\left({C}_{{\rm{s}}i}({L}_{{\rm{s}}i},{L}_{{\rm{s1}}i}{},{P}_{{\rm{s}}i}),{C}_{{\rm{f}}i}({L}_{{\rm{f}}i},{L}_{{\rm{f1}}i}{},{P}_{{\rm{f}}i})\right)\right\}. \end{split}$

(3)

1.1.3 改进SIFT描述符

为更加准确地描述视角不变区域的信息特征，使得到的匹配结果更加准确，采用SIFT特征与图像纹理相结合的方式构建132维描述符. 采用灰度共生矩阵获得本文的图像纹理特征. 灰度共生矩阵作为一种成熟的图像纹理分析方法，是通过研究灰度的空间相关特性来描述纹理，具有较强的适应性与鲁棒性，且方法简单^[19].

在本文中，采用灰度共生矩阵的能量（A_Asm）、对比度（C_Con）、逆差矩（I_IDM）和信息熵（E_Ent） 4个特征来进行纹理描述. 能量表示图像灰度分布的均匀度和纹理的粗细度，是灰度共生矩阵元素的平方和；对比度反映了图像的清晰度和纹理的沟纹深浅，纹理的沟纹越深，反差越大，效果越清晰，反之，对比值小，则沟纹浅，效果模糊；逆差矩反映了图像纹理的同质性，可度量图像纹理局部变化；信息熵则表示图像物理的复杂度，熵值越大，图像纹理非均匀程度越大. 由1.1.2得到的视角不变区域计算每一个视角不变区域图像灰度共生矩阵的4个常用特征. 采用 $5 \times 5$ 的模板进行灰度共生矩阵的计算，最后将得到的灰度共生矩阵每个特征图像的像素值之和作为特征的最终值. 由于每个影像有4个方向（0°、45°、90°、135°）的灰度共生矩阵，将4个方向灰度共生矩阵求平均值，得到影像的灰度共生矩阵. 求0° 方向的灰度共生矩阵如图4 所示，同样的方法可以得到其他方向的灰度共生矩阵.

图 4 灰度共生矩阵

Figure 4. Gray-level co-occurrence matrix

下载: 全尺寸图片幻灯片

在求得灰度共生矩阵后，计算能量、对比度、熵和逆差矩，如式（4）～（7）.

$C_{{\rm{Con}}} = \sum\limits_k {\sum\limits_j {{{(k - j)}^2}p(k,j)} },$

(4)

$A_{{\rm{Asm}}} = {\sum\limits_k {\sum\limits_j {p^2(k,j)} } },$

(5)

$E_{\rm{Ent}} = - \sum\limits_k {\sum\limits_j {p(k,j)} } \log p(k,j),$

(6)

$I_{\rm{IDM}} = \sum\limits_k {\sum\limits_j {\frac{{p(k,j)}}{{1 + {{(k - j)}^2}}}} },$

(7)

式中： $p(k,j)$ 为灰度共生矩阵 $(k,j)$ 处的灰度值.

在得到灰度共生矩阵的特征后，将特征加入到SIFT特征的128维描述符中，构成132维特征描述符，最后进行相似性度量匹配.

1.2 几何约束

在摄影测量中，核线约束描述的是地物点在2张影像上的投影像点一定在同一个核平面上，进而可以推导出参考影像上每个像素点在搜索影像上的同名点一定在该像点所在核平面与搜索影像的交线（即核线）上. 核线约束将原先二维的搜索空间缩小至一维的核线空间，大大地减小了搜索范围，有效提高了匹配效率的约束. 一对影像的同名点的坐标 ${\boldsymbol{A}}$ 和 ${\boldsymbol{A}}_1$ 满足： ${\boldsymbol{A}}_1{\boldsymbol{F}}{\boldsymbol{A}} = {\boldsymbol{0}}$ ，其中， ${\boldsymbol{F}}$ 为基础矩阵. 对于参考影像上的一点 $B$ ，其在搜索影像上的同名点 $B_1$ 所在的核线 ${\boldsymbol{L}}{\text{ = }}{\boldsymbol{F}}{\boldsymbol{A}}$ .

根据粗匹配结果得到同名直线交点，并采用RANSAC （random sample consensus）^[20]算法剔除误匹配，将不满足RANSAC模型的点特征和匹配直线组删除. 计算两影像同名点的基础矩阵，将1.1.1节中参考影像得到的所有直线对进行核线约束，该步骤既能删除误匹配也能增加部分匹配. 遍历参考影像的每一组直线，判断该直线对是否已经匹配，并分以下2种情况来计算：1）若已经匹配则计算直线组交点在搜索影像上的核线与搜索影像上同名点的距离是否在阈值内，满足要求则保留，不满足则剔除直线组匹配对；2）若参考影像上的直线对未匹配，如（a）所示，计算参考影像上直线组交点在搜索影像上的核线，将搜索影像直线组交点到核线的距离小于一定阈值 ${T_{\rm{h}}}$ 的直线组作为待匹配直线组，如（b）所示，搜索影像上交点 $P_{\rm{s1}}$ 、 $P_{\rm{s2}}$ 、 $P_{\rm{s3}}$ 、 $P_{{\rm{s}}N}$ 为直线组 ${C_{\rm{f}}}\; (L_{{\rm{f}}1},{L_{{\rm{f}}11}} ,{P_{\rm{f1}}})$ 的交点P_f上可能的匹配点. 为直线组与待匹配直线组构建局部结构区域的特征描述，并进行相似度计算（1.1.2同样步骤），得到直线组的同名直线组^[21].

图 5 核线约束

Figure 5. Epipolar constraint

下载: 全尺寸图片幻灯片

1.3 影像纠正

在本实验中进行了局部影像纠正和全局影像纠正，如所示. 利用直线构建的四边形区域匹配进行影像的局部纠正，对局部纠正后的影像进行特征点匹配. 在整合直线匹配结果与局部特征点匹配结果后，对影像进行全局纠正，利用匹配得到的同名点计算倾斜影像对之间的单应性关系 $H$ ，计算每张搜索影像的纠正影像，其原理如所示，其中，I为待纠正影像， $I_1$ 为纠正后的影像.

图 6 局部纠正匹配图

Figure 6. Local correction matching

下载: 全尺寸图片幻灯片

图 7 全局影像纠正

Figure 7. Global image correction

下载: 全尺寸图片幻灯片

1.4 点特征拓展匹配

本文在参考影像和纠正后搜索影像上采用ORB （oriented fast and rotated brief）^[22]与LATCH （learned arrangements ofthree patch codes）^[23]算法相结合的方式进行匹配^[24]. 采用ORB算法提取特征点，LATCH算法进行描述计算并使用双向暴力匹配，采用GMS （grid-based motion statistics）^[25]算法进行误匹配剔除，将剔错后的匹配点反算回原始影像上，最后将特征点匹配和直线匹配得到的同名点进行合并得到最终匹配结果.

2. 实验与分析

2.1 实验环境与数据源

本次试验运行内存为 16.00 GB，处理器为 Intel（R） Core（TM） i7-10750H CPU @ 2.60 GHz，基于 Visual Studio2015的OpenCV3.4.0视觉库. 试验数据：重庆市的一组倾斜影像数据，影像大小为 $800 \times 533$ ,飞行高度为120 m；网上公开的boat数据集^[26]、graffiti数据集和magazine数据集^[27]，均为倾斜影像对. 影像对1和影像对3数据来源于网站https://www.robots.ox.ac.uk/～vgg/data/. 影像对2数据来自于公开网站http://www.cmap.polytechnique.fr/～yu/research/ASIFT/demo.html#1.%20Planar%20objects，后3组影像对为重庆市内某地的无人机图像，如所示. 直线区域大小根据文献[]设置，故在实验中构建直线区域的 $w$ 取值为20，直线对夹角不宜太小，确保直线对构成的局部区域太小，本文中夹角阈值 ${\theta }$ 的值为25°. 为了使仿射变换区域大小适中，且便于计算，在本文中 $S \times S$ 取值为 $100 \times 100$ . 在核线约束中，根据经验，在本文中点到核线的距离阈值 ${T_{\rm{h}}}$ 为30像素，相似性度量的阈值 ${T}$ 取值为0.65.

图 8 实验数据

Figure 8. Experimental datasets

下载: 全尺寸图片幻灯片

2.2 实验结果分析

本实验的对比方法有SIFT算法^[2]、Harris-Affine算法^[9]、Hessian-Affine算法^[10]、ASIFT算法^[4]和SuperGlue^[28]方法. 前4种对比方法采用RANSAC剔错，本文方法采用GMS剔错. 本文所有的对比方法本应统一采用GMS方法进行剔错，由于其他匹配算法与GMS算法结合时其表现效果并不好^[24]，在本实验中也证明了这一点，如表1所示，为实验结果的公平比对，本文所有对比算法采用更适合的RANSAC剔错. 在本实验中，以匹配总数、正确匹配数、匹配正确率（正确匹配数/总匹配对数）和匹配运行时间为评价指标，其中匹配总数为匹配合并后得到的匹配总数量，统计结果如表1、图9、10所示. 在本实验中对6组影像进行匹配，用本文方法的匹配结果如图9所示. 为了方便观看结果，本实验将匹配结果以点的形式呈现，其中绿色点表示直线匹配的结果，红色点表示在纠正影像上进行匹配并反算回原始影像的特征匹配点. 由图9可以看出：直线匹配的数量少，但匹配点分布分散且均匀，这样使得影像校正比较可靠，从而进行特征点匹配数量多且比较可靠. 点特征匹配（红色部分）数量较多，可见利用点特征匹配大大增加了匹配数量和匹配精度.

表 1 实验统计结果

Table 1. Statistic results of experiments 对

		SIFT		Harris-Affine		Hessian-Affine		ASIFT		SuperGlue	本文方法
项目	影像对	RANSAC	GMS	RANSAC	GMS	RANSAC	GMS	RANSAC	GMS	SuperGlue	GMS
匹配总数	1	41	0	20	0	38	0	708	502	0	943
	2	235	69	36	0	407	294	2392	2353	168	2228
	3	2081	218	79	0	79	0	2437	2181	216	8417
	4	227	24	16	0	46	0	1789	1231	208	2235
	5	55	0	19	0	40	0	232	56	207	443
	6	167	0	13	0	16	0	259	28	2	1086
正确数	1	—	0	—	0	1	0	686	488	0	880
	2	84	60	22	0	380	270	2266	2243	160	2163
	3	1870	209	—	0	32	0	2383	2095	209	8302
	4	198	20	—	0	1	0	1760	1207	199	2175
	5	21	0	1	0	4	0	230	53	193	330
	6	142	0	—	0	—	0	258	25	—	974

下载: 导出CSV

| 显示表格

图 9 场景实验结果

Figure 9. Matching results for different scenes

下载: 全尺寸图片幻灯片

图 10 匹配效率比较

Figure 10. Comparison of matching efficiency

下载: 全尺寸图片幻灯片

从匹配总数来看，本文方法在实验中的所有影像都是匹配数量最多的. 从表1可以看出：SIFT算法对旋转、尺度变化影像（如影像对3）有较好的鲁棒性，匹配数量较多，对视角变化较大的影像（如影像对1）的鲁棒性不足，匹配数量也大幅减少. Hessian-Affine作为Harris-Affine的改进算法，对大部分图像有一些正确匹配，但是仍然存在匹配数量少、匹配正确率低的问题. 在对比方法中，ASIFT算法的匹配总数相较其他方法匹配数量最多，但本文算法的匹配总数大概为ASIFT算法匹配总数的1倍～3倍.

从匹配正确数量来看，除了ASIFT算法，其他算法均存在无正确匹配点对的情况，在面对倾斜较大的影像时，匹配正确率较低. ASIFT算法在正确匹配数量上远超其他传统算法，但是从图10可以看出：ASIFT算法在时间成本上消耗较大. 本文算法在视角变换大，尺度变化以及旋转的情况下均能保持良好的匹配效果. 与ASIFT算法相比，本文算法在影像对1的匹配时间更长，但是匹配的正确数量却比ASIFT多. 本文算法虽在部分影像上的匹配精度没有ASIFT算法高，但是能在相对较短的时间内得到更多的正确匹配对. 这是因为ASIFT算法是将影像的各个角度变化的模拟影像进行逐一匹配，比较耗费时间. 本文的算法是进行直线组队来构建仿射不变区域，这部分是本文算法的基础和重心，在得到仿射不变区域后对仿射不变区域进行局部纠正匹配和全局纠正匹配来增加匹配的数量，使得匹配的总量数较多.

由于SuperGlue算法是基于深度学习的影像匹配算法，该算法初始匹配后没有进行RANSAC剔错处理，匹配结果如表1所示. 该算法的运行时间快，在影像匹配时可达到实时检测，但是该算法在影像角度变化较大的情况下，匹配效果和正确数量与本文算法相比较差.

综上所述，本文算法虽然没有SuperGlue算法的匹配时间快，但是匹配数量比SuperGlue多很多. 与ASIFT相比，在部分影像上的匹配时间较长，但是匹配的正确数量较多，以上说明本文算法在倾斜影像上具有较好的适应性.

3. 结　语

通过SIFT算法、Harris-Affine算法、Hessian-Affine算法、ASIFT算法和本文算法对比，证明本文算法正确率更高、稳健性更好. 研究结果可为无人机倾斜影像的精确匹配提供参考. 此外，通过实验发现本文算法运行时间较长，虽然在影像对2至影像对5的匹配速度比ASIFT算法快，但是相对于其他传统算法，本文算法相对较长，但随着软硬件水平的高速发展，效率问题在一定程度能够缓解. 后续将以改善匹配效率为目标进行深入研究，以期整体上进一步提升算法性能.

图 1 本文算法整体流程

Figure 1. Flowchart of proposed method

下载: 全尺寸图片幻灯片

图 2 直线组对^[6]

Figure 2. Line pairing^[6]

下载: 全尺寸图片幻灯片

图 3 构建四边形区域

Figure 3. Quadrilateral construction

下载: 全尺寸图片幻灯片

图 4 灰度共生矩阵

Figure 4. Gray-level co-occurrence matrix

下载: 全尺寸图片幻灯片

图 5 核线约束

Figure 5. Epipolar constraint

下载: 全尺寸图片幻灯片

图 6 局部纠正匹配图

Figure 6. Local correction matching

下载: 全尺寸图片幻灯片

图 7 全局影像纠正

Figure 7. Global image correction

下载: 全尺寸图片幻灯片

图 8 实验数据

Figure 8. Experimental datasets

下载: 全尺寸图片幻灯片

图 9 场景实验结果

Figure 9. Matching results for different scenes

下载: 全尺寸图片幻灯片

图 10 匹配效率比较

Figure 10. Comparison of matching efficiency

下载: 全尺寸图片幻灯片

表 1 实验统计结果

Table 1. Statistic results of experiments 对

		SIFT		Harris-Affine		Hessian-Affine		ASIFT		SuperGlue	本文方法
项目	影像对	RANSAC	GMS	RANSAC	GMS	RANSAC	GMS	RANSAC	GMS	SuperGlue	GMS
匹配总数	1	41	0	20	0	38	0	708	502	0	943
	2	235	69	36	0	407	294	2392	2353	168	2228
	3	2081	218	79	0	79	0	2437	2181	216	8417
	4	227	24	16	0	46	0	1789	1231	208	2235
	5	55	0	19	0	40	0	232	56	207	443
	6	167	0	13	0	16	0	259	28	2	1086
正确数	1	—	0	—	0	1	0	686	488	0	880
	2	84	60	22	0	380	270	2266	2243	160	2163
	3	1870	209	—	0	32	0	2383	2095	209	8302
	4	198	20	—	0	1	0	1760	1207	199	2175
	5	21	0	1	0	4	0	230	53	193	330
	6	142	0	—	0	—	0	258	25	—	974

下载: 导出CSV

参考文献(28)

[1]	余美. 倾斜立体影像匹配若干问题研究[D]. 徐州: 中国矿业大学, 2018.
[2]	LOWE D G. Distinctive image feature from scale-invariant key points[J]. International Journal of Computer Vision, 2004, 60(2): 91-110. doi: 10.1023/B:VISI.0000029664.99615.94
[3]	MA J, CHAN C W, CANTERS F. Fully automatic subpixel image registration of multiangle CHRIS/Proba data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(7): 2829-2839.
[4]	MOREL J M, YU G. ASIFT: a new framework for fully affine invariant image comparison[J]. SIAM Journal on Imaging Sciences, 2009, 2(2): 438-469. doi: 10.1137/080732730
[5]	YU G, MOREL J M. ASIFT: an algorithm for fully affine invariant comparison[J]. Image Processing on Line, 2011, 1: 11-38. doi: 10.5201/ipol.2011.my-asift
[6]	LI K, YAO J. Line segment matching and reconstruction via exploiting coplanar cues[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 125: 33-49. doi: 10.1016/j.isprsjprs.2017.01.006
[7]	GIOIR RAFAEL G V, JAKUBOWICZ J , MOREL J M, et al. LSD: a fast line segment detector with a false detection control[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(4): 722-732.
[8]	FAN B, WU F, HU Z. Robust line matching through line-point invariants[J]. Pattern Recognition, 2012, 45(2): 794-805. doi: 10.1016/j.patcog.2011.08.004
[9]	MIKOLAJCZYK K, SCHMID C. Scale & affine invariant interest point detectors[J]. International Journal of Computer Vision, 2004, 60(1): 63-86. doi: 10.1023/B:VISI.0000027790.02288.f2
[10]	MIKOLAJCZYK K, TUYTEIAARS T, SCHMID C, et al. A comparison of affine region detectors[J]. International Journal of Computor Vision, 2005, 65: 43-72. doi: 10.1007/s11263-005-3848-x
[11]	姚国标,邓喀中,艾海滨,等. 倾斜立体影像自动准稠密匹配与三维重建算法[J]. 武汉大学学报(信息科学版),2014,39(7): 843-849. YAO Guobiao, DENG Kazhong, AI Haibin, et al. An algorithm of automatic quasi-dense matching and three-dimensional reconstruction for oblique stereo images[J]. Geomatics and Information Science of Wuhan University, 2014, 39(7): 843-849.
[12]	余美,邓喀中,杨化超,等. 基于WαSH局部特征的立体影像匹配[J]. 中国矿业大学学报,2018,47(3): 685-690. YU Mei, DENG Kazhong, YANG Huachao, et al. Stereo images matching based on WαSH local features[J]. Journal of China University of Mining & Technology, 2018, 47(3): 685-690.
[13]	肖雄武,郭丙轩,李德仁,等. 一种具有仿射不变性的倾斜影像快速匹配方法[J]. 测绘学报,2015,44(4): 414-421. XIAO Xiongwu, GUO Bingxuan, LI Deren, et al. A quick and affine invariance matching method for oblique images[J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(4): 414-421.
[14]	YU Yinian, HUANG Kaiqi, CHEN Wei, et al. A novel algorithm for view and illumination invariant image matching[J]. IEEE Transactions on Image Processing, 2011, 21(1): 229-240.
[15]	XIAO X W, GUO B X, SHI Y R, et al. Robust and rapid matching of oblique UAV images of urban area[C]//Society of Photo-Optical Instrumentation Engineers (SPIE) Conference Series. Wuhan: SPIE, 2013: 223-230.
[16]	LI K, YAO J , XIA M H, et al. Joint point and line segment matching on wide-baseline stereo images[C]//2016 IEEE Winter Conference on Applications of Computer Vision (WACV). New York: IEEE, 2016: 1-9.
[17]	陈敏,朱庆,何海清,等. 面向城区宽基线立体像对视角变化的结构自适应特征点匹配[J]. 测绘学报,2019,48(9): 1129-1140. CHEN Min, ZHU Qing, HE Haiqing, et al. Structureadaptive feature point matching for urban area wide-baseline images with viewpoint variation[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(9): 1129-1140.
[18]	张平,王竞雪. 直线对几何特征约束的近景影像特征匹配[J]. 遥感信息,2020,35(4): 124-132. ZHANG Ping, WANG Jingxue. Line matching for close-range images with geometry features of line pairs[J]. Remote Sensing Information, 2020, 35(4): 124-132.
[19]	RAGURAM R, CHUM O, POLLEFEYS M, et al. USAC: a universal framework for random sample consensus[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 2022-2038.
[20]	王竞雪,朱庆,王伟玺. 顾及拓扑关系的立体影像直线特征可靠匹配算法[J]. 测绘学报,2017,46(11): 1850-1858. WANG Jingxue, ZHU Qing, WANG Weixi. Reliable line matching algorithm for stereo images with topological relationship[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(11): 1850-1858.
[21]	RUBLEE E, RABAUD V, KONOLIGE K, et al. ORB: an efficient alternative to SIFT or SURF[C]//2011 International Conference on Computer Vision. Barcelona: IEEE, 2011: 2564-2571.
[22]	LEVI G, HASSNER T. LATCH: learned arrangements of three patch codes[C]//2016 IEEE Winter Conference on Applications of Computer Vision (WACV). NewYork: IEEE, 2016: 1-9.
[23]	李卓,刘洁瑜,李辉,等. 基于ORB-LATCH的特征检测与描述算法[J]. 计算机应用,2017,37(6): 1759-1762. LI Zhuo, LIU Jieyu, LI Hui, et al. Feature detection and description algorithm based on ORB-LATCH[J]. Journal of Computer Applications, 2017, 37(6): 1759-1762.
[24]	BIAN J W, LIN W Y, MATSUSHITA Y, et al. GMS: grid-based motion statistics for fast, ultra-robust feature correspondence[J]. International Journal of Computer Vision, 2020, 128(6): 1580-1593. doi: 10.1007/s11263-019-01280-3
[25]	MIKOLAJCZYK K, SCHMID C. A performance evaluation of local descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(10): 1615-1630.
[26]	SONG W H, JUNG H G, GWAK I Y, et al. Oblique aerial image matching based on iterative simulation and homography evaluation[J]. Pattern Recognition, 2019, 87: 317-331.
[27]	杨蒙蒙,张爱华. 基于灰度共生矩阵和同步正交匹配追踪的分形图像压缩[J]. 计算机应用,2021,41(5): 1445-1449. YANG Mengmeng, ZHANG Aihua. Fractal image compression based on gray-level co-occurrence matrix and simultaneous orthogonal matching pursuit[J]. Journal of Computer Applications, 2021, 41(5): 1445-1449.
[28]	SARLIN P E, DETONE D, MALISIEWICZ T, et al. Superglue: Learning feature matching with graph neural networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 4938-4947.

施引文献

期刊类型引用(0)
其他类型引用(2)

附加材料(0)

访问统计

点击查看大图

图(10) / 表(1)

计量

文章访问数: 456
HTML全文浏览量: 507
PDF下载量: 67
被引次数: 2

1. 影像匹配
1.1 直线对匹配
1.2 几何约束
1.3 影像纠正
1.4 点特征拓展匹配
2. 实验与分析
2.1 实验环境与数据源
2.2 实验结果分析
3. 结　语

基于几何约束的倾斜影像特征匹配方法

doi: 10.3969/j.issn.0258-2724.20210662

作者简介: 韦春桃（1968—），女，教授，博士，研究方向为摄影测量与遥感，E-mail：gxglwct@163.com

计量

出版历程