基本信息

书名：基于图像点特征的多视图三维重建

定价：60.0元

作者：康来

出版社：科学出版社

出版日期：2015-09-17

ISBN：9787030455178

字数：250000

页码：

版次：1

装帧：平装

开本：16开

商品重量：0.4kg

编辑推荐

《基于图像点特征的多视图三维重建》可供计算机科学与工程、控制科学与工程以及信息技术相关专业的高年级本科生和研究生阅读，也可供计算机视觉、模式识别与人工智能等领域的教学和科研人员参考。

内容提要

基于图像的多视图三维重建研究如何从多幅二维图像中重构场景的三维几何结构，是计算机视觉的基《基于图像点特征的多视图三维重建》目标和热门研究方向。多视图三维重建的本质是从二维图像观察中估算相机参数和场景点的三维坐标，因此该过程是图像获取的逆过程。由于图像数据不可避免地受噪声和外点的干扰，多视图三维重建逆过程面临诸多挑战。《基于图像点特征的多视图三维重建》关注基于图像点特征、没有任何场景先验知识的多视图三维重建问题，介绍了多视图几何，以及多视图三维重建的基本原理和相关基础知识，在此基础上重点研究从两视图到一般多视图、从陆上到水下环境等四类典型的三维重建问题。《基于图像点特征的多视图三维重建》着眼于提高现有多视图三维重建方法的鲁棒性和精度，从三维重建问题建模及全局优化求解两方面展开深入研究，提出一系列创新的多视图三维重建相关算法和技术。

目录

作者介绍

文摘

章绪论
1.1研究背景与意义
1.1.1研究背景
视觉是人类感知外部环境、认知外部世界*重要的途径，人类大约有80%的外部信息都是通过视觉途径获取的。为了赋予计算机以人类视觉的认知功能，使其具备通过二维图像认知三维世界的能力，一门新兴的交叉学科||计算机视觉（putervision）在过去几十年得到了极大的关注和发展。20世纪80年代，麻省理工学院的Marr教授将心理学、人工智能，以及神经生理学等学科的研究成果集成到视觉处理中，提出了迄今*完善的计算机视觉信息处理系统框架。
Marr视觉计算理论将计算机视觉划分为自底向上的三个阶段，各阶段中场景分别用基元图（primalsketch）、2.5维图和三维模型来表达。从二维图像中重建三维场景是Marr视觉体系的主要目标，因此基于图像的三维重建（image-based3Dreconstruction）成为计算机视觉中的基本研究课题。基于图像的三维重建有两大任务：一是从二维图像中恢复相机参数，二是重建场景的三维几何结构。由于图像获取过程是一个从三维世界坐标到二维图像坐标的映射过程，该过程不可避免地丢失了场景的深度信息，所以基于图像的三维重建问题是极具挑战的逆问题（inverseproblem）。
在过去的二三十年中，外学者对基于图像的三维重建理论和方法进行了广泛、深入的研究，并取得了大量有益的研究成果。尽管基于图像的三维重建中的视图几何理论本身已经趋于成熟，但近年来关于基于图像的三维重建的**性、鲁棒性、效率等方面的研究又取得了许多新进展，促进三维重建的质量不断提升。这些新算法和新成果的不断涌现，使得基于图像的三维重建目前仍然是一个非常活跃的研究课题。
与传统的三维模型获取方法相比，基于图像的三维重建不仅设备简单、成本低廉，而且可以获取更加逼真、的三维模型。为了构建复杂的三维场景模型，传统的几何造型（geometricmodelling）技术（如实体造型、隐式曲面、细分曲面等）需要较大的工作量。对于基于图像的三维重建，其复杂度不会因为场景复杂度的增加而增大。此外，尽管利用三维激光扫描（3Dlaserscanner）设备可以直接获取高精度的场景深度信息，但这种方法通常不能获取场景的纹理信息，也不适合开放性的大范围场景。在数据源方面，早期的三维重建算法对此要求较高，需要利用已定标的设备捕获图像，这种限制在近年来的研究中逐渐解除。实际上，随着三维重建技术和图像获取技术的不断发展，可用于基于图像的三维重建的有效图像数据源也不断拓展。如今，人们可以利用消费级数码相机、数码摄像机、智能手机等越来越廉价、小型化的设备随时随地拍摄数字图像，而这些图像均可以作为基于图像的三维重建的输入。有效图像数据源的拓展进一步简化了三维重建过程、降低了三维重建的成本。
根据输入数据的不同，基于图像的三维重建面临许多不同的问题实例。例如，根据输入图像数量的不同，包含单视图三维重建、两视图三维重建和一般多视图三维重建三大类重建问题；根据是否需要相机参数信息，包含非定标视图三维重建和定标视图三维重建两大类重建问题。此外，根据图像捕获设备与被观察场景是否处于同一介质，也会引出不同类型的三维重建问题。以空气和水介质为例，可分为基于在空气中拍摄的传统图像的三维重建（本书称为陆上三维重建），以及基于在水下拍摄的图像的三维重建（本书称为水下三维重建）。不同类型的三维重建问题对应于不同的应用场合，各自的求解方法也不尽相同。
1.1.2研究意义
本书关注基于图像点特征的多视图度量三维重建（metric3Dreconstruction）方法，深入研究四类典型的三维重建问题的建模与求解方法。本书研究对场景结构本身没有任何限制（如共线、共面），也不需要任何场景先验知识，而且相对于线、面图像特征而言，点特征在二维图像中更加广泛存在，因此本书研究适用于一般三维场景的重建。下面从理论和实际应用两方面阐述本书研究的意义。
从理论上来说，基于图像的三维重建在本质上是一个参数估计问题，这些参数包括或者部分相机参数及其场景三维几何结构。为了获取理想的参数估计，需要定义某种准则来衡量参数估计的优劣，而该质量定义就是**化参数估计的目标函数。由于三维重建是一个逆问题，且图像数据不可避免地受噪声和外点（outlier）干扰，三维重建优化问题往往呈现非线性（non-linear）、非凸性（non-convex）和多模态（multi-modal，即存在多个局部**值），尚没有统一、高效的求解方法。目前，求解三维重建问题中相关子问题（如相机定标、三角化等）的全局方法主要有两大类：一类是确定性算法，这类算法对目标函数的形式要求十分严格，且在有外点干扰的情况下**性将无法保持；另一类是非确定性算法，这类方法往往存在效率低下、收敛性较差等不足之处。当然，尽管上述两类方法均存在不足，各自的优势也十分明显。对于确定性算法，可以从理论上证明其解的**性；对于非确定性算法，目标函数的设置具有较大的灵活性。本书研究提出在新的混合优化框架下充分挖掘并利用两类方法的优点，以实现算法性能的提升，这对视图几何问题的建模和求解具有较大的理论意义。
从应用上来说，本书研究内容涵盖了四类典型的三维重建问题，不仅研究基于普通相机拍摄的图像的陆上两视图和一般多视图三维重建，而且研究了由放置在防水外壳中的相机拍摄的水下图像的三维场景重建方法。实际上，计算机视觉领域的学者针对陆上三维重建已有大量研究，但水下环境的三维重建直到*近几年才在计算机视觉领域引起重视，目前尚处于探索阶段。因此，本书从两视图到一般多视图、从陆上到水下环境的三维重建研究，可进一步拓宽基于图像的三维重建技术的应用领域。具体来说，本书研究的非定标两视图三维重建方法适合图像数据少、先验知识不足的场合；定标多视图三维重建方法适合图像数据充足、相机参数已知的应用场合；两视图和一般多视图水下三维重建方法则适合相机和被观察物体处于不同介质中的应用场合。
随着基于图像的三维重建技术的不断发展，三维模型获取过程自动化程度越来越高、三维重建精度不断提升，该技术在三维模型获取、虚拟仿真、非接触式测量、科学计算、混合现实、数字娱乐等领域，以及军事领域的应用也不断扩展。前面已经提到，实际应用中可利用多种设备获取图像数据以实现三维重建。在战场环境中，也可利用安装在无人机（unmannedaerialvehicle）、装甲车、坦克，甚至数字单兵装备上的视觉传感器（如照相机、摄像头）来捕获感兴趣区域的数字图像。然后离线或者实时地生成目标区域（或者目标物体）的高精度三维结构。下面就几种常见的民事和军事应用进行简要说明。
（1）三维模型获取。从图像序列中重建得到的场景三维模型包含丰富的纹理信息和三维几何信息。在输入图像信息充足的情况下，可获得具有高度真实感的三维模型，并完全保持几何模型与真实场景之间的角度和比例关系。同时，与传统的基于手工的建模方法（如3DMAX建模软件）相比，基于图像的三维重建自动化程度较高，因此可在文物三维数字化、建筑设计、机械CAD、影视动画等领域中发挥重要作用。
（2）非接触式测量。基于图像的三维重建模型的尺寸与真实场景之间仅相差一个全局的比例系数，因此只要给出场景中的任何一个参考尺寸，就可以通过重建模型计算场景中任意两点间的真实距离。在真实场景的参考坐标已知的情况下，还可以得到重建场景中任意一点的**位置。基于图像的三维重建的上述特性，使其满足非接触式测量的要求。这种非接触式测量所需设备简单，通过相机拍摄的图像即可计算物体的三维尺度信息。
（3）混合现实技术。混合现实（mixedreality，MR）是将虚拟对象与真实场景的图像或视频集成起来，以达到虚实无缝融合的目的。基于图像的三维重建以恢复相机参数和场景的三维几何结构为目的。一方面，三维重建获得的相机参数可以为混合现实中的摄像机定标和跟踪提供支持；另一方面，真实场景的三维几何结构可以为虚拟对象的嵌入提供的坐标参考。因此，一旦实现基于图像的三维重建，虚拟对象便可准确地嵌入真实场景图像或者视频中。此外，混合现实中虚实场景的光照一致性等问题也将迎刃而解。
（4）战场态势感知。在军事上，基于图像的三维重建结果可服务于战场环境可视化（battleeldenvironmentvisualization）、自动目标识别（automatictargetrecog-nition）、毁伤估计（damageassessment）等应用，有效提升战场态势感知（situationalawareness）能力，从而为指挥员提供辅助决策支持。一方面，上述三维模型可以直接嵌入虚拟战场环境，获得更加逼真、可靠的战场可视化效果；另一方面，获得目标的三维信息之后，可以更加有效地对其进行识别；除此之外，在视觉传感器周围环境发生变化的情况下，借助实时重建的三维环境可更加准确、直观地进行毁伤估计。
（5）战场环境监测。通过无人机或者其他视觉传感器载体得到目标的多幅图像或影像后，可快速实施三维重建和目标三维尺寸的测量。这种非接触式测量为军事侦察提供了、高效的监测手段，极大地提高侦察的灵活性、准确性和安全性。特别地，本书深入研究了水下图像的三维重建方法，可获得正确、逼真的水下三维场景模型，该技术可极大促进水下战场环境监测、目标侦察等任务。由于基于图像的三维重建是一种被动式三维重建方法，较之其他主动式三维重建方法（如三维激光扫描）更具隐蔽性和灵活性，所以尤其适合上述军事应用。
（6）虚拟军事训练。随着基于图像的三维重建技术和混合现实技术的发展，其在虚拟军事训练中有着广阔的应用前景。在基于图像的三维重建技术支撑下，借助混合现实技术不仅可以使受训人员产生高度的沉浸感，而且可以利用先进的交互技术实现自然和谐的交互体验。基于混合现实的虚拟训练能模拟并展现逼真的、复杂的战场景况，不仅可以降低训练成本、确保训练安全，而且可重复训练过程、增加训练的趣味性、极大地提高训练成效。
1.2多视图三维重建的研究现状
基于图像的三维重建处于交叉研究领域，涉及计算机视觉、计算机图形学、图像处理、模式识别等诸多学科。通过外学者近几十年的研究，在理论上和应用中都涌现出大量的相关研究成果。由于相关工作繁多，这里无法面面俱到，本节仅对基于图像点特征的三维重建中涉及的*核心的技术进行简要回顾。在后续章节中将针对研究的具体问题再次回顾与各章紧密相关的研究工作。更加详细、全面的相关算法和应用请参阅文献、、。
1.2.1图像特征点检测和匹配
图像特征点对应（featurepointcorrespondence）指的是图像间稀疏的像素坐标对应关系。图像特征点对应是基于图像点特征的三维重建方法的基础，通常包括特征点检测、特征描述和特征匹配等主要步骤，下面分别加以介绍。
1.图像特征点检测
三维重建中图像特征点检测的目标是检测图像中稳定的兴趣点（interestpoint），并确定其位置、方向、尺度等仿射变换参数的过程。目前较流行的特征点检测算法有：Laplacian检测算法；用两个不同尺度的高斯滤波器的差值近似Laplacian算法的DOG（di.erenceofGaussian）检测算法；以及根据梯度协方差矩阵检测图像中角点位置的Harris-A±ne、Hessian-A±ne等检测算法。其中，文献提出的基于DOG的特征点检测方法||尺度不变特征变换（scale-invariantfeaturetransform，SIFT）是目前性能**的特征点检测算法之一。由于SIFT特征具有可重复性、对某些几何和摄影图像变换的不变性，所以适合多视图的匹配。SIFT特征点探测的主要流程如下：首先对输入图像进行DOG滤波，如图1.1(a)所示，然后搜索滤波后的图像中的所有极大和极小值，这些极值对应的像素坐标即为特征点坐

序言