×

NEWS CENTER

新闻活动
首页 > 新闻活动  > 政策/行业指南

增强现实（AR）技术你了解多少？

增强现实（Augmented Reality，简称AR），是指透过摄影机影像的位置及角度精算并加上图像分析技术，让屏幕上的虚拟世界能够与现实世界场景进行结合与交互的技术。


 
这个词语最早被前波音公司研究员 Tom Caudell在1990年所使用。商业增强现实体验最初是在娱乐和游戏业务中引入的，随着电子产品运算能力的提升，增强现实的用途也越来越广。
 
目前对于增强现实有两种通用的定义。一是北卡大学教授罗纳德·阿祖玛（RonaldAzuma）于1997年提出的，他认为增强现实包括三个方面的内容：
 



 
而另一种定义是1994年保罗·米尔格拉姆（Paul Milgram）和岸野文郎（Fumio Kishino）提出的现实-虚拟连续统（Milgram's Reality-Virtuality Continuum）。他们将真实环境和虚拟环境分别作为连续系统的两端，位于它们中间的被称为“混合实境”。其中靠近真实环境的是增强现实（Augmented Reality），靠近虚拟环境的则是扩增虚境。

image.png




技术




硬件

增强现实的硬件组件包括:处理器、显示器、传感器和输入设备。像智能手机和平板电脑这样的现代移动计算设备就包含了这些元素，这些元素通常包括相机和微机电系统(MEMS)传感器，如加速计、GPS和固态罗盘，使它们适合于AR平台。在增强现实中使用了两种技术：衍射波导和反射波导。








软件和算法



AR系统的关键指标是它们如何现实地将增强功能与现实世界集成在一起。该软件必须获得独立于相机和相机图像的真实世界坐标，这一过程称为图像配准，它使用不同的计算机视觉方法，主要与视频跟踪有关。许多增强现实的计算机视觉方法都继承自视觉里程计。augogram是用于创建一个AR计算机生成的图像。Augography是为AR制作造影图的科学和软件实践。
 
通常，这些方法由两部分组成。第一步是检测摄像机图像中的兴趣点，基准标记或光流。此步骤可以使用特征检测方法，例如角点检测，斑点检测，边缘检测或阈值检测以及其他图像处理方法。第二阶段从第一阶段中获得的数据还原现实世界的坐标系。一些方法假定场景中存在具有已知几何形状（或基准标记）的对象。在某些情况下，应事先计算场景3D结构。如果场景的一部分未知，则同时定位和地图绘制（SLAM）可以绘制相对位置。如果没有有关场景几何的信息，则使用来自运动方法的结构，例如束调整。第二阶段使用的数学方法包括：射影（对极）几何，几何代数，带指数图的旋转表示，卡尔曼和粒子滤波，非线性优化，稳健统计。
 
在增强现实中，在两种不同的跟踪模式（称为标记和无标记）之间进行了区分。标记是触发虚拟信息显示的视觉提示。可以使用具有某些不同几何形状的纸。摄像机通过识别图形中的特定点来识别几何形状。无标记跟踪，也称为即时跟踪，不使用标记。取而代之的是，用户优选在水平面内将对象在摄像机视图中定位。它使用移动设备中的传感器来准确检测现实环境，例如墙壁和交叉点的位置。
 
增强现实标记语言（ARML）是开放地理空间联盟（OGC）内开发的一种数据标准，由可扩展标记语言（XML）语法组成，用于描述场景中虚拟对象的位置和外观以及ECMAScript绑定允许动态访问虚拟对象的属性。
 
为了能够快速开发增强现实应用程序，出现了一些软件开发工具，例如SenseAR、ARkit等。

增强现实系统组成




Monitor-based系统

在基于计算机显示器的AR实现方案中，摄像机摄取的真实世界图像输入到计算机中，与计算机图形系统产生的虚拟景象合成，并输出到屏幕显示器，用户从屏幕上看到最终的增强场景图片。它虽然不能带给用户多少沉浸感，但却是一套最简单使用的AR实现方案。由于这套方案的硬件要求很低，因此被实验室中的AR系统研究者们大量采用。

 

image.png

 
Video see-through系统
 
头盔式显示器（Head-mounted displays-HMD）被广泛应用于虚拟现实系统中，用以增强用户的视觉沉浸感。增强现实技术的研究者们也采用了类似的显示技术，这就是在AR中广泛应用的穿透式HMD。根据具体实现原理又划分为两大类，分别是基于视频合成技术的穿透式HMD（video see-through HMD）和基于光学原理的穿透式HMD（optical see-through HMD）。

图表　Video see-through增强现实系统实现方案
 
image.png
 
Optical see-through系统
 
在上述的两套系统实现方案中，输入计算机中的有两个通道的信息，一个是计算机产生的虚拟信息通道，一个是来自于摄像机的真实场景通道。而在optical see-through HMD实现方案中去除了后者，真实场景的图像经过一定的减光处理后，直接进入人眼，虚拟通道的信息经投影反射后再进入人眼，两者以光学的方法进行合成。
 
image.png
 
三种系统结构的性能比较
 
三种AR显示技术实现策略在性能上各有利弊。在基于monitor-based和video see-through显示技术的AR实现中，都通过摄像机来获取真实场景的图像，在计算机中完成虚实图像的结合并输出。整个过程不可避免的存在一定的系统延迟，这是动态AR应用中虚实注册错误的一个主要产生原因。但这时由于用户的视觉完全在计算机的控制之下，这种系统延迟可以通过计算机内部虚实两个通道的协调配合来进行补偿。而基于optical see-through显示技术的AR实现中，真实场景的视频图像传送是实时的，不受计算机控制，因此不可能用控制视频显示速率的办法来补偿系统延迟。
 
image.png
 
另外，在基于monitor-based和video See-through显示技术的AR实现中，可以利用计算机分析输入的视频图像，从真实场景的图像信息中抽取跟踪信息（基准点或图像特征），从而辅助动态AR中虚实景象的注册过程。而基于optical see-through显示技术的AR实现中，可以用来辅助虚实注册的信息只有头盔上位置传感器。

开发设计



在消费产品中实施增强现实需要考虑应用程序的设计以及技术平台的相关约束。由于AR系统严重依赖于用户的沉浸感以及用户与系统之间的交互，因此设计可以促进虚拟化的采用。对于大多数增强现实系统，可以遵循类似的设计准则。下面列出了设计增强现实应用程序时的一些注意事项：


情景设计

 

情景设计侧重于最终用户的物理周围环境，空间和可访问性，这些在使用AR系统时可能会发挥作用。开发者应注意最终用户可能遇到的物理情况。通过评估每种物理情况，可以避免潜在的安全隐患，并且可以进行更改以进一步改善最终用户的沉浸感。UX设计人员将必须为相关的物理场景定义用户旅程，并定义界面对每种场景的反应。

 

特别是在增强现实系统中，至关重要的是还要考虑影响增强现实技术有效性的空间和周围元素。诸如灯光和声音之类的环境因素可能会阻止AR设备传感器检测到必要的数据，并破坏最终用户的沉浸感。

 

情景设计的另一个方面涉及系统功能的设计及其适应用户偏好的能力。虽然辅助功能工具在基本应用程序设计中很常见，但在设计限时提示（以防止意外操作），音频提示和总体参与时间时，应考虑一些注意事项。在某些情况下，应用程序的功能可能会妨碍用户的能力。例如，用于驾驶的应用程序应减少用户交互的数量，而应使用音频提示。

 

交互设计

 

增强现实技术中的交互设计以用户与最终产品的互动为中心，以改善整体用户体验和娱乐性。交互设计的目的是通过组织呈现的信息来避免疏远或混淆用户。由于用户交互依赖于用户的输入，因此设计人员必须使系统控件更易于理解和访问。提高增强现实应用程序可用性的一项常用技术是在设备的触摸显示器中发现经常访问的区域，并设计应用程序以匹配这些控制区域。构建用户使用线路图和显示的信息流也很重要，这可以减少系统的总体认知负荷并极大地改善应用程序的学习曲线。

 

增强现实技术允许利用3D空间的引入。这意味着用户可以在单个AR应用程序中访问2D界面的多个副本。

 

视觉设计


为了改善图形界面元素和用户交互，开发人员可以使用视觉提示来通知用户设计了哪些UI元素与之交互以及如何与它们交互。由于在AR应用程序中导航对于入门用户比较比较难以理解，因此视觉提示设计可以使交互看起来更加自然。

 

在某些使用2D设备作为交互式表面的增强现实应用程序中，2D控制环境无法在3D空间中很好地转换，从而使用户不愿探索周围的环境。为解决此问题，设计人员应运用视觉提示来协助和鼓励用户探索周围的环境。



推荐阅读：移动AR产品开发设计经验分享




应用场景




从游戏和娱乐到医学，教育和商业，增强现实已经在许多应用中得到了探索。下面描述的示例应用领域包括建筑，商业和教育等。