內容簡介
隨著真實世界中計算機生成的信息越來越多,增強現實(AR)可以通過不可思議的方式增強人類的感知能力。這個快速發展的領域要求學習者掌握多學科知識,包括計算機視覺、計算機圖形學、人機交互等。本書將這些知識有機融閤,嚴謹且準確地展現瞭當前具影響力的增強現實技術和應用。全書從技術、方法論和用戶的角度全麵講解相關知識,實現瞭理論與實踐的平衡,適閤開發者、高校師生和研究者閱讀。
作者簡介
迪特爾·施馬爾斯蒂格(Dieter Schmalstieg) 奧地利格拉茨理工大學教授,計算機圖形學和視覺中心主任。他是IEEE高級會員、奧地利科學院會員以及歐洲科學院會員,目前已發錶論文300餘篇,並擔任《IEEE可視化和計算機圖形學會刊》等核心期刊或論文集的編輯。2002年獲得奧地利科學基金會START Career奬,2012年獲得IEEE虛擬現實技術成就奬。
托比亞斯·霍勒爾(Tobias H?llerer) 加州大學聖芭芭拉分校計算機科學係教授,Four Eyes實驗室主任。曾獲得美國NSF授予的CAREER奬,並於2013年獲得ACM傑齣科學傢稱號。他曾擔任IEEE VR 2015、ICAT 2013等重要國際會議的程序委員會主席,並多次榮獲佳論文奬。
目錄
Contents
Contents
1 Introduction to Augmented Reality 1
Definition and Scope 3
A Brief History of Augmented Reality 4
Examples 13
Industry and Construction 13
Maintenance and Training 17
Medical 18
Personal Information Display 20
Navigation 21
Television 22
Advertising and Commerce 25
Games 27
Related Fields 28
Mixed Reality Continuum 28
Virtual Reality 29
Ubiquitous Computing 30
Summary 31
2 Displays 33
Multimodal Displays 34
Audio Displays 34
Haptic, Tactile, and Tangible Displays 35
Olfactory and Gustatory Displays 37
Visual Perception 39
Requirements and Characteristics 40
Method of Augmentation 40
Ocularity and Stereoscopy 42
Focus 45
Occlusion 47
Resolution and Refresh Rate 48
Field of View 50
Viewpoint Offset 51
Brightness and Contrast 53
Distortions and Aberrations 55
Latency 55
Ergonomics 55
Social Acceptance 55
Spatial Display Model 56
Visual Displays 58
Near-Eye Displays 59
Handheld Displays 69
Stationary Displays 72
Projected Displays 78
Summary 84
3 Tracking 85
Tracking, Calibration, and Registration 86
Coordinate Systems 87
Model Transformation 88
View Transformation 88
Projective Transformation 89
Frames of Reference 89
Characteristics of Tracking Technology 90
Physical Phenomena 90
Measurement Principle 91
Measured Geometric Property 91
Sensor Arrangement 91
Signal Sources 92
Degrees of Freedom 92
Measurement Coordinates 92
Spatial Sensor Arrangement 93
Workspace Coverage 94
Measurement Error 94
Temporal Characteristics 95
Stationary Tracking Systems 96
Mechanical Tracking 96
Electromagnetic Tracking 97
Ultrasonic Tracking 98
Mobile Sensors 99
Global Positioning System 99
Wireless Networks 101
Magnetometer 102
Gyroscope 102
Linear Accelerometer 103
Odometer 104
Optical Tracking 105
Model-Based versus Model-Free Tracking 106
Illumination 106
Markers versus Natural Features 109
Target Identification 113
Sensor Fusion 117
Complementary Sensor Fusion 117
Competitive Sensor Fusion 117
Cooperative Sensor Fusion 118
Summary 120
4 Computer Vision for Augmented Reality 121
Marker Tracking 123
Camera Representation 124
Marker Detection 126
Pose Estimation from Homography 128
Pose Refinement 132
Multiple-Camera Infrared Tracking 132
Blob Detection 133
Establishing Point Correspondences 133
Triangulation from Two Cameras 135
Triangulation from More Than Two Cameras 137
Matching Targets Consisting of Spherical Markers 137
Absolute Orientation 137
Natural Feature Tracking by Detection 138
Interest Point Detection 140
Descriptor Creation 144
Descriptor Matching 145
Perspective-n-Point Pose 146
Robust Pose Estimation 148
Incremental Tracking 149
Active Search 150
Kanade-Lucas-Tomasi Tracking 151
Zero-Normalized Cross-Correlation 152
Hierarchical Search 154
Combined Detection and Tracking 155
Simultaneous Localization and Mapping 156
Five-Point Algorithm for Essential Matrix 157
Bundle Adjustment 158
Parallel Tracking and Mapping 159
Relocalization and Loop Closure 160
Dense Mapping 161
Outdoor Tracking 164
Scalable Visual Matching 165
Prior Information from Sensors 167
Prior Information from Geometry 169
Simultaneous Tracking, Mapping, and Localization 170
Summary 176
5 Calibration and Registration 179
Camera Calibration 180
Internal Camera Parameters 180
Correcting Lens Distortion 182
Display Calibration 183
Single Point Active Alignment Method 185
Head-Mounted Display Calibration Using a Pointing Device 186
Hand–Eye Calibration 188
Registration 190
Geometric Measurement Distortions 190
Error Propagation 191
Latency 192
Filtering and Prediction 192
Summary 194
6 Visual Coherence 195
Registration 196
Occlusion 199
Occlusion Refinement 201
Probabilistic Occlusion 202
Model-Free Occlusion 202
Photometric Registration 205
Image-Based Lighting 207
Light Probes 208
Offline Light Capturing 210
Photometric Registration from Static Images 210
Photometric Registration from Specular Reflections 211
Photometric Registration from Diffuse Reflections 212
Photometric Registration f
前言/序言
前 言
在過去的20年裏,信息技術的應用從固定的辦公室和桌麵計算轉移到網絡、社交媒體和移動計算。近年來,即使將筆記本電腦歸入桌麵式電腦的類彆,智能手機和平闆電腦的銷量仍然遠超傳統桌麵式電腦。
雖然目前主流用戶界麵還沒有完全從20世紀90年代的桌麵計算(或者說是1981 Xerox Star)中脫離齣來,但是當今年輕一代獲取計算機知識的方式已經改變:各種應用和雲計算在許多情況下取代瞭電腦桌麵。計算已經從一項在辦公室或書房中開展的工作轉變為隨時隨地進行的活動。
初識增強現實隨著用戶逐漸遠離電腦桌麵,將真實世界融入我們的計算體驗變得越來越重要。考慮到真實世界既不是平麵的,也不是由書寫文檔組成的,因此必須有一個新的用戶界麵隱喻。增強現實(Augmented Reality,AR)有潛力成為用於情境計算的主流用戶界麵隱喻。增強現實具有能將真實世界和與之相關的虛擬信息直接關聯的獨特性質。整個世界變成瞭用戶界麵,這引齣瞭那句熟悉的宣言:
迴到真實世界!
虛擬現實(Virtual Reality,VR)的願景是將我們自身沉浸於人造世界,這推動瞭遊戲設備的發展,帶來瞭令人驚艷的畫麵效果,隨之又齣現瞭各類頭戴式顯示器和手勢跟蹤器。但即便如此,像虛擬現實這樣通過定義來獨占大眾注意力的用戶界麵隱喻,並不一定是日常計算的最佳選擇。
相反,我們越來越依賴可以隨意使用並能提供容易理解的少量信息的計算界麵。我們需要普適計算。這可以通過“寜靜”的計算過程實現,這一過程會在後颱進行,不需要用戶乾涉甚至根本不會引起用戶的注意。在需要普適交互時,增強現實脫穎而齣,成為閤適的用戶界麵技術。
為何寫作本書多個相互交叉的研究領域聚焦於增強現實的發展,相關的知識體係也在快速完善。我們自20世紀90年代以來一直以研究者的身份緻力於該知識體係的相關工作。本書的主要動力來自於我們所任教的格拉茨理工大學和加州大學聖芭芭拉分校關於增強現實的課堂教學。在備課過程中,我們明顯感到目前沒有一本教材能夠覆蓋這個快速發展領域的廣度和深度。從2001年的SIGGRAPH會議開始,各種學術會議及其研討會的部分講演文稿都為備課提供瞭參考,我們也參與組織瞭其中的一些會議。許多基礎理論從那時起逐漸構建起來,我們著眼於係統地匯集相關知識,同時注重新興概念與實踐信息。因此,這本書誕生瞭。
本書講述瞭哪些內容如書名所示,本書在原理和實踐之間力求平衡。我們的目標是讓這本書既能服務於科學研究人員,又能服務於對增強現實應用感興趣的從業者,特彆是工程師。因此,本書既可用作教材,又可用作參考讀物。為瞭充分利用本書,讀者需要對計算機科學有基本認識,如果能夠瞭解計算機圖形學以及計算機視覺領域的相關知識,或者對其感興趣,也會對理解本書有幫助。考慮到篇幅的限製,我們無法進一步提供必要背景技術的特定細節,而是給齣瞭已有文獻。與此同時,本書謹慎地介紹並清楚地解釋瞭超齣基礎知識的特定增強現實概念,從而使全書自成體係。本書采用下麵的篇章順序來介紹增強現實的技術和基本方法。
第1章為本書奠定基調,介紹增強現實的定義,簡略講述該領域的曆史,之後帶領讀者領略這項強大的真實世界用戶界麵技術的多種應用實例。小結部分介紹瞭一係列相關技術和研究領域的全景。
第2章的主題是顯示技術,這是增強現實的關鍵基礎技術之一。根據視覺感知的基礎理論,討論瞭各種適用於增強現實的顯示技術,尤其是頭戴式顯示、手持式顯示和投影式顯示。我們還討論瞭非視覺顯示技術,如聽覺和觸覺設備等。
第3章的主題是跟蹤技術,這是增強現實的潛在核心技術之一。首先討論瞭理解跟蹤(廣義的定義是測量係統)的工作原理所需要掌握的特定知識,然後討論瞭傳統的固定跟蹤係統,並將其與移動傳感器進行比較。著重介紹瞭最主流的光學跟蹤技術,並在結尾簡述瞭傳感器融閤的原理。
第4章繼續上一章中對光學跟蹤問題的討論,詳細介紹瞭用於實時位姿估計的計算機視覺算法,例如根據觀測圖像確定攝像機的位置與朝嚮。為瞭便於講解並使讀者更廣泛地瞭解背景知識,這一章由一係列案例研究組成。每一個案例研究僅介紹自身必需的相關知識,所以讀者不需要事先深入瞭解計算機視覺方麵的知識。此外,本書對涉及高等數學的問題做瞭標記,這些問題在實踐中通常依賴OpenCV等庫來解決,因此可以被視為“黑箱”,不想深入研究的讀者可略過這部分內容。
第5章討論用於增強現實的器件標定和注冊方法。在增強現實應用中,第3章所述的用於光學跟蹤的數字攝像機標定技術是實現可重復精確操作的必要前提。注冊是幾何上校準增強現實體驗中的真實世界和虛擬世界的過程,從而有利於形成一緻混閤環境的錯覺。
第6章聚焦於使真實和虛擬物體無縫融閤的一係列計算機圖形技術,包括虛擬和真實物體之間正確的遮擋或陰影關係。我們也解釋瞭消去實境,即消隱場景中的真實物體,並討論瞭物理相機的仿真。
第7章關注可視化技術,目的是使信息更容易理解。在增強現實環境中,這意味著幾何注冊到真實場景物體上的計算機生成的信息,必須按照便於用戶理解的方法。
增強現實:原理與實踐(英文版) 下載 mobi epub pdf txt 電子書