編輯推薦
基於光學圖像的三維重建是計算機視覺領域重要的研究方嚮之一, 經過瞭幾十年的不斷探索,研究人員提齣瞭很多經典有效的算法,如:明暗恢復法、結構光三角法、多目立體視覺、近景工業測量、光度立體技術、雙目立體技術等。基於拍攝到的光學圖像對目標物體進行三維重建,可將物體或者場景的三維形狀準確的恢復齣來,去除由於環境變化或者視角偏差引起的對物體外觀的理解錯誤,對於煤炭、鑽井、勘探、考古等領域具有重要的應用前景。目前,雖有部分圖像處理或者機器視覺方麵的書籍涉及其中的某種技術,但並沒有係統全麵地介紹基於光學圖像的三維重建技術的參考書。本書基於光學圖像詳細地介紹三維重建領域的基本理論與典型算法,期望為從事該技術的人員提供一些有效的參考。
內容簡介
本書詳細論述瞭基於光學圖像進行三維重建的基本理論和方法,從攝像機模型、相機校準、常用的光學模型等基礎理論齣發,介紹瞭基於明暗形狀恢復、光度立體、結構光三維測量、雙目立體視覺等技術的基本原理和實現方法。從每種技術的理論基礎、係統組成、基本約束、重建精度、應用場閤等方麵分析瞭其理論依據和具體算法,為基於光學圖像的三維重建的實際應用提供瞭基本的理論參考。
全書共分8章: 第1章為概述部分;從第2章到第4章分彆論述瞭本書所涉及的數學基礎、基本的攝像機校準方法和光照模型;從第5章到第8章著重介紹瞭目前基於光學圖像進行三維重建的主要方法。在介紹三維重建理論的同時,書中提供瞭大量應用實例,可對理論部分進行直觀的解釋和驗證。
本書可供三維重建、圖像處理、計算機視覺等領域的工程技術人員參考,也可作為高等學校電子信息類、計算機類等專業高年級本科生或研究生的學習教材。
目錄
目錄第1章概述1
1.1人眼的空間知覺1
1.2三維重建技術的分類3
1.3光學三維重建技術6
1.3.1被動光學重建技術7
1.3.2主動光學重建技術8
1.4本章小結12第2章射影幾何與變換基礎13
2.12D射影幾何13
2.1.1點與直綫13
2.1.2理想點與無窮遠點15
2.2射影變換17
2.3射影變換的層次20
2.3.1射影變換的層次簡介20
2.3.2射影變換的分解24
2.4從圖像恢復仿射和度量性質24
2.4.1無窮遠綫25
2.4.2由圖像恢復仿射性質25
2.4.3虛圓點及其對偶27
2.5不動點和直綫28
2.63D射影幾何和變換29/基於光學圖像的三維重建理論與技術目錄/2.6.1點和射影變換30
2.6.2平麵錶示和變換30
2.6.3直綫的錶示和變換32
2.73D射影變換的層次36
2.8無窮遠平麵38
2.9本章小結40第3章攝像機標定與校準41
3.1相機射影幾何41
3.1.1相機射影幾何簡介41
3.1.2二維射影幾何42
3.1.3三維射影幾何42
3.2相機成像理論43
3.2.1空間坐標係之間的關係43
3.2.2攝像機的理論成像模型48
3.2.3實際成像模型49
3.3相機標定理論知識50
3.3.1張正友標定理論51
3.3.2相機參數的初始估計51
3.3.3拍攝圖像的徑嚮畸變53
3.3.4優化函數迭代求精54
3.3.5實驗步驟及注意的問題54
3.4本章小結58第4章光照模型59
4.1朗伯模型59
4.2雙嚮反射分布模型60
4.3Phong模型62
4.4Cook�睺orrance光照模型64
4.5球諧光照模型65
4.6各種光照模型的對比69
4.7本章小結74第5章利用明暗信息恢復物體的三維形狀76
5.1根據明暗信息恢復形狀概述77
5.1.1恢復形狀的常用方法77
5.1.2SFS方法需要解決的主要問題79
5.1.3根據明暗信息恢復形狀的應用80
5.2根據明暗信息估計圖像的光源參數81
5.2.1光源方嚮的估計83
5.2.2方位角τ的估計85
5.2.3傾角δ的估計87
5.3根據明暗信息恢復形狀算法89
5.3.1最小化方法89
5.3.2演化方法92
5.3.3局部分析方法93
5.3.4綫性化方法96
5.4根據明暗信息重建三維形狀98
5.5本章小結100第6章基於單目視覺的三維重建101
6.1經典的PMS技術101
6.1.1朗伯模型102
6.1.2基於光度立體技術估計目標物體錶麵高度信息103
6.2未校準的PMS技術107
6.3基於參照物的三維重建技術112
6.4基於學習的三維重建技術117
6.5本章小結120第7章基於結構光的三維重建技術122
7.1結構光的成像係統124
7.2係統標定127
7.3基於結構光的三維數據測量129
7.3.1結構光激光掃描法測量原理130
7.3.2相位測量輪廓法測量原理132
7.4投影圖像編碼136
7.4.1常用投影圖像編碼策略137
7.4.2基於格雷碼+相移的編碼策略138
7.5圖像特徵提取方法140
7.5.1選取有效區域的方法140
7.5.2邊界提取方法141
7.5.3三維點雲重建142
7.6本章小結144第8章基於雙目視覺的三維重建145
8.1雙目立體視覺的原理145
8.2雙目立體視覺的係統組成147
8.3雙目立體視覺的攝像機標定技術148
8.3.1張正友標定法簡述149
8.3.2雙目立體視覺攝像機標定過程151
8.4特徵提取與立體匹配152
8.4.1立體匹配的約束條件152
8.4.2特徵提取與立體匹配154
8.5雙目立體視覺的三維重建157
8.5.1基本的三維坐標求解方法158
8.5.2基於最小二乘法的三維坐標求解方法159
8.5.3基於視差測距法的三維坐標求解方法161
8.5.4三維重建的結果162
8.6本章小結166參考文獻167
精彩書摘
第5章利用明暗信息恢復物體的三維形狀
本章主要對基於圖像明暗信息的三維重建技術(Shape From Shading,SFS)進行介紹,講述基於明暗信息恢復目標物體形狀的常用方法、SFS的基本原理、單幅圖像光源參數估計以及常用的SFS算法。SFS技術能夠利用單幅圖像的明暗變化重建目標物體的三維錶麵形狀,而且不需要復雜設備,具有良好的應用前景。
從三維場景拍攝二維圖像的過程中,一些有用的信息因為從三維空間嚮二維空間的投影而丟失,所以無法通過測量的方式來確定位置信息。但是圖像中仍然包含隱含形式的三維信息,這些信息包含在明暗和紋理等信息中。如圖5.1所示,人眼將左圖中物體解讀為球體,是因為球體錶麵形狀變化信息轉換成對應的二維圖像上的明暗信息;人的視覺過程將圖5.1右圖中物體解讀為球體,是因為在投影成像的過程中,關於球體形狀變化的信息保留在瞭對應二維圖像的紋理變化中。根據二維圖像中隱含的三維信息可以對物體的形狀進行重建,比如利用圖5.1左圖中的明暗信息可以得到球體錶麵的高度信息,進而重建齣球體的三維形狀,或者利用右圖中紋理形變的規律得到球體的錶麵朝嚮信息也可恢復齣球體的三維形狀[51]。
圖5.1帶有明暗效果(左)和紋理效果(右)的球體
在計算機視覺中,根據二維圖像中的像素值對物體進行三維形貌重建的技術可稱為/基於光學圖像的三維重建理論與技術第5章利用明暗信息恢復物體的三維形狀/“Shape From X”,其中的“X”可代錶立體光(Stereo)、明暗(Shading)、輪廓(Contour)、紋理(Texture)、運動(Motion)等信息。其中根據光度立體恢復形狀(Shape From Stereo)技術、根據輪廓恢復形狀(Shape From Contour)技術,及根據運動信息恢復形狀(Shape From Motion)技術都需要利用至少兩幅圖像的信息對形狀進行重建,並且對圖像采集的要求較高,對於體積較大不易移動的物體不適用,而根據明暗信息恢復形狀技術僅利用單幅圖像中的明暗綫索即可重建物體的三維形狀。
5.1根據明暗信息恢復形狀概述
早期的藝術傢在繪畫藝術中已經開始探索明暗程度對物體形狀的錶現力,例如在素描繪畫中,物體的形狀幾乎完全依靠明暗關係錶現。一般通過明暗關係即可確定物體的形狀,例如圖5.1中的左圖,根據球麵的明暗信息,人們可以將其解讀為球體。因此要解決SFS問題首先要理解圖像是如何形成的。在朗伯反射模型的假設下,圖像的亮度值完全取決於光源的方嚮和實際物體上該點的錶麵朝嚮的夾角。理論上,如果給定一個明暗圖像,根據朗伯反射模型的假設和已知的光源方嚮等參數就能通過SFS算法得到物體錶麵各點的朝嚮。但是,物體錶麵各點的朝嚮至少有兩個未知量(用來錶示法矢量的空間方嚮),而圖像上某點的亮度信息隻能提供一個已知量,由此建立的方程是病態的,沒有唯一解。另外,實際圖像並不能總是滿足朗伯反射模型,拍攝的圖像會有高光、陰影和空中反射光的交叉反射的影響,也會在很大程度上影響錶麵朝嚮的計算,因此如何確定算法和具體的限製條件是本章的研究重點。
5.1.1恢復形狀的常用方法
20世紀70年代,Horn在美國麻省理工學院攻讀博士期間發錶論文,首先提齣瞭根據明暗信息恢復形狀問題[53]。他指齣如果光源方嚮和反射率已知,可以根據圖像的明暗信息得到一階偏微分方程並計算錶麵方嚮,進而恢復物體的錶麵朝嚮。
Horn的這種方法簡單且易實現,不需要復雜昂貴的光源,甚至一個手電筒就能滿足對光源的需求,從而引發瞭人們對於SFS問題的研究熱潮,提齣瞭很多經典的SFS算法,大緻可分為4類: 最小化方法、演化方法、局部分析方法和綫性化方法[51]。
1. 最小化方法
SFS理論被提齣後,Horn對模型進行瞭簡化,提齣最小化方法(Minimization Approaches)。Brooks和Horn對假設做瞭進一步研究[54],引入瞭光滑性限製,對物體錶麵形狀進行約束,把問題描述為泛函極值問題,用變分原理導齣相應的歐拉方程,再通過有限差分迭代求解;Frankot等人引入瞭可積性限製[55],將錶麵深度與梯度聯係起來。文獻[56]對Horn、Zheng和Chellappa、Lee和Kuo等算法采用的最小化方法的基本思想進行瞭總結。近幾年對最小化方法也有進一步的研究。在20世紀80年代中後期,最小化方法成為瞭SFS問題的基本求解方式,比如文獻[57]通過對圖像附加新的約束條件和改進變分的求解過程對SFS進行瞭改進。
最小化方法充分考慮瞭在圖像成像過程中各種可能的約束,利用這些附加約束和原亮度方程聯立求解時,能夠産生較為精確和穩定的解。
前言/序言
前言基於光學圖像的三維重建是計算機視覺領域重要的研究方嚮之一, 經過瞭幾十年的不斷探索,研究人員提齣瞭很多經典有效的算法,如: 明暗恢復法、結構光三角法、多目立體視覺、近景工業測量、光度立體技術、雙目立體技術等。基於拍攝到的光學圖像對目標物體進行三維重建,可將物體或者場景的三維形狀準確地恢復齣來,去除由於環境變化或者視角偏差引起的對物體外觀的理解錯誤,對於煤炭、鑽井、勘探、考古等領域具有重要的應用前景。目前,雖有部分圖像處理或者機器視覺方麵的書籍涉及其中的某種技術,但並沒有係統全麵地介紹基於光學圖像的三維重建技術的參考書。本書基於光學圖像詳細地介紹三維重建領域的基本理論與典型算法,期望為從事該領域相關工作的人員提供一些有效的參考。
本書的內容,除第1章概述外,分為兩部分: 第一部分(第2章至第4章)涉及三維重建需要的數學基礎,包括平麵幾何、射影幾何、射影變換的基本概念和基本定理,攝像機的三維射影幾何與校準等,可為後續基於圖像的三維重建技術的理解提供理論參考。第二部分(第5章至第8章)介紹目前主流的基於圖像的三維重建技術,每種技術獨占一章,從基本的光學模型理論入手,對基於圖像的三維重建進行比較深入的闡述和分析,對每一種技術采用“理論簡介、算法分析、實驗仿真”的方式進行論述,便於讀者從理論到實踐對現有的基於光學圖像的三維重建技術進行理解和掌握。
在編寫過程中,我們參考和藉鑒瞭許多專傢學者的研究成果,在書後均一一列齣,同時也參考和選用瞭許多博客和組織機構網站中的內容和圖片,由於數量太多未能全部列齣,在此嚮這些成果的所有者和組織機構錶示誠摯的謝意。
本書的研究工作得到國傢自然科學基金(61602229、61771231)、省自然科學基金(ZR2016FM13、ZR2017MF010)和魯東大學博士基金(LY2015032)的資助,為本書的順利齣版提供瞭資金支持。/基於光學圖像的三維重建理論與技術前言/感謝中國海洋大學董軍宇教授、青島理工大學吳則舉副教授、魯東大學鄒海林教授給予作者的熱心幫助。也感謝和作者朝夕相處的許多同事、朋友和學生的鼎力相助,多年來他們對本書內容提齣的建議和意見使作者受益匪淺,在此嚮我的同事、朋友和學生錶示由衷的感謝。
全書的策劃和編寫工作由孫玉娟負責。魯東大學鄒海林教授、中國海洋大學董軍宇教授對書稿進行瞭認真審閱,並提齣瞭許多寶貴的建議。殷波老師,國圳宇、孫曉婷、周子淇等同學在文字錄入、書稿校對等方麵付齣瞭辛勤的勞動,在此嚮他們一並錶示感謝。
特彆感謝清華大學齣版社,感謝責任編輯及其他參與此書編輯工作的各位老師為本書順利齣版而付齣的辛勤勞動。
在計算機視覺領域,基於圖像的三維重建發展非常迅速,本書雖力求全麵並緊跟其發展趨勢,但由於作者水平和時間有限,書中難免齣現疏漏之處,懇請作者不吝批評指正。
孫玉娟
2017年7月於煙颱
基於光學圖像的三維重建理論與技術 下載 mobi epub pdf txt 電子書