VR 在游戏和互动娱乐方面的前景已经很清晰了。对于很多人来说，那是让他们这么多年没有放弃的原因。但是 VR 还有更多的潜力——成为一个像手机一样改变世界的真正全新的计算平台。
虽然这一愿景已经持续了几十年，并且在虚拟现实中占有突出的地位，真正让 VR 广泛应用、冲击大众市场的道路却不那么清晰。杀手级应用会是什么样的？什么样的使用场景能够更早的成为主流？哪些会滞后一些？
本文将和大家聊一聊各种消费级应用所需要的知识和能力。这张图是整个分析的总览，我们将在下面和大家详细讲述。
技术基础
VR 不是单一的技术，而是很多技术的集成。这些技术大多处于不同的发展成熟阶段。不同的消费级应用对于这些领域的应用也不太一样。所以任何对进入市场时机的分析必须以对技术的了解为基础。
我认为，VR 作为一个通用的计算平台有四个广泛的技术领域。
- 意图捕捉
是一种能够在任何时刻可靠和流畅的理解用户需求的能力，或者叫做输入方式。迄今为止，消费级 VR 在这方面相当缺失。最近 Valve Lighthouse 和 Oculus Touch 的进展将极大的改善这一处境。
- 人物捕捉
包括感知、编码、重现使用者的外观、行为、情绪、非语言暗示等目前应用程序需要的信号。这是技术领域最不成熟的一块，尤其缺乏消费级的解决方案。
- 环境捕捉
指的是感知、编码、重现真实世界的环境。这些技术在飞快的向成熟发展，Jaunt VR、NextVR、GoPro、Matterport 这些公司都在进行紧锣密鼓的研发，很快就会出现完整的商品。
- 环境渲染
是很多人想起 VR 时想到的：以高质量渲染虚拟的世界，其中包括了所有相关的感知方式。Oculus 的演示表现了消费级产品的出色渲染能力，这也标志的现代 VR 的来临。
当然，所有这些领域都包含了很多独立的技术，任何对于一个 VR 应用近期潜力的真实评估都需要比这里列出的更加详细的细节。例如，环境捕捉就可以分为相对简单的 360°全景视频和全景几何捕捉——后者需要应用更加复杂的计算机视角技术。
设计元素
单纯的技术不能够决定对于 VR 的某一种应用是不是将要进入黄金时间。我们还需要许多产品研发社区的知识才能让这些工具显示出非凡的效果。从广义上说，这是设计的问题，它可以被分成下面三个部分：
- 可用性
包括了 UI/UX 的所有方面。用户如何才能简单高效的让别人理解他的意图？这也是伴随着意图捕捉这一技术挑战所出现的问题。
- 叙述
指的是我们讲述故事、小说或其他什么东西的能力。这些都充满了信息，引人入胜，并且能引起人的共鸣。
- 信息呈现
指的是我们在描绘想法、数据、图表和其他抽象概念需要的专业知识，思维导图，信息图表，技术图纸等等。
就拿电容触控来说，我们花了许多年在设计和界面上，才达到现在的效果。尽管热切的开发者会尽快通过这个阶段，但它需要一定的时间。其他媒体的设计准则不再全部适用，有些需要调整或者重新思考。很多聪明的大脑已经沉浸在了这个问题中，更多的人也清楚的意识到了这个挑战。
但是毫无疑问的是，所有的设计领域——可用性、叙述、信息呈现——在 VR 中都还处于起步阶段。
应用程序
既然我们已经知道了技术和设计的必要元素，那么再来看看应用程序吧。我们在图表中用线的粗细表示了应用对于这些领域依赖的强弱。
有些应用拥有很高的技术门槛，如果这些技术基础没有改进，这些应用就无法真正进入市场。在这些领域，新企业如果想要起步，就需要进行这些基础的研发。个人通信就是一个很好的例子：我们还没有消费级的解决方案能够处理实时人物捕捉问题。一旦这些技术被开发出来，这块空间就将向大家敞开。
其他领域则更多的受限于我们的设计知识——我们不知道什么样的体验才是最好的。生产力工具就是最好的例子，很快 Oculus 和 Vive 都将把优秀的手势识别输入控制器推向市场，而剩下的主要技术障碍——意图识别——也将不复存在。但是 VR 中的 Word,Excel,Powerpoint 和 Photoshop 将是什么样的？它们如何工作？我认为我们对于可用性和界面设计的不了解才是我们面临的主要障碍。
那么什么样的应用可以投向市场，或者可以很快的投向市场，什么样的还需要等待时机？这里是我自己总结的关于产品的时间线。
短期（9-18 个月）
- 游戏：当然最强的依赖就是渲染了，这一块已经相当成熟。对于其他技术的依赖较弱吗，并且使用一些早期的技术就可以工作。叙述手段在短期内可能会有一些问题，因为人们需要去学会怎样建立和展开故事线。
- 直播：除了渲染，主要的依赖就是环境捕捉了——但是这一块发展真的很快！其他一些则不在本文讨论的范畴内，例如内容运营，分布式平台等等。
- 不动产：这类应用的门槛在于快速廉价准确的捕捉室内环境。Matterport（室内环境建模软件）这类的软件就是这样。
- 新闻：高效的 VR 新闻需要将叙述技术和环境捕捉相结合——这两个领域都需要更多的发展提高。不过使用现有的技术进行早期的尝试也能够成功，然后再慢慢的结合最新的技术成果。
中期（1.5-3年）
- 生产力工具：这类 APP 的存亡取决于它们激发、捕捉和响应我们的意图的能力。精准高效的输入解决方案即将投入使用，不过设计和开发人员还需要花一些时间才能弄清如何更好的利用这些输入设备。虽然这类应用被列入中期，但是很多重要的作品都需要数年的时间才能完善并面世。
- 社区：和其他人交流感兴趣的话题——这也是互联网最初和最持久的应用。在 VR 中实现它需要很好的人物捕捉（主要障碍）以及出色的产品设计，不过这类应用在相对较短的时间内就可以使用了。
- 影院：故事叙述不受主要的技术壁障现实，并且全景相机正在迅速的发展。现阶段最主要的难点就是创意——如何在这个媒介中讲故事。Oculus 、Google 以及许多传统工作室和制作公司已经在努力的探索这一领域了。
- 教育：这有点难分析，因为不同学科的需求不同。历史和文学与影院和旅行有很多相似之处，而细胞生物学和技能训练则更像游戏。
- 旅行：这几乎全靠环境捕捉——让我们感觉我们真的在哪里，这需要尽可能高的保真度和尽可能多的感官渠道。
更远一些 (3-5年)
- 商务会谈：需求很复杂，从高还原的人际关系，信息和思想的呈现，到可靠的产品设计。目前的会议解决方案例如 GoToMeeting 体验非常糟糕，在个人和公司转而使用这类技术前还有很多需要改进的地方。
- 个人通信：这类应用还很遥远，它需要能捕捉细微动作的人物捕捉技术，包括所有人类使用的非语言交流方式。除非有重大的技术突破，否则不会出现令人满意的解决方案来取代现有的通信方式。
- 扩展知觉：另一种很难分析的应用——通过数据展示以及感官输入这样全新的视角向我们展示现实和虚拟的世界。这需要等待设计准则的成熟以及最合适的数据流才能变得实用。
关于虚拟实境（metaverse）
我决定不将虚拟实境作为应用包括进来，它会成功还是失败取决于它们能否满足前面已经提到的一个或几个需求——不管是社区、通信还是商业。
我们还缺少些什么？
在这篇分析里，我主要讲解了不同 VR 应用的技术和设计需求——这也是决定能否做出有竞争力的产品的主要因素。但是在 VR 成为一个新的计算平台的过程中还有很多其他问题需要解决。其中一部分如下：
- 中间件，引擎，分布式平台，授权工具。这些都是一些幕后的模块，它们对于将应用推向市场很重要。当然，它们中的很多都在短期内会产生机会。
- 市场规模，货币化，商业模型。所有这些应用都拥有广阔的市场，有一些的市场特别大，而有一些则有明确的货币化的道路。不得不说，基于不动产的商业和基于体育在线直播的商业是完全不同的。
- 消费者的广泛接受以及头戴设备的渗透。有一些应用需要广大的消费者作为基础。而有一些则只需要早期的用户就可以启动。
中文译文为魔多 VR原创，微信公众号：moduo 魔多
·氧分子网（http://www.yangfenzi.com）延伸阅读：
2013年以来，随着虚拟现实(virtual reality，简称VR)/增强现实(augmented reality，简称AR) 设备(如头戴式显示器等) 质量迅速提升、价格大幅降低，VR开始普及化，从军事、航空航天等高端行业应用进入大众生活。在这样的趋势下，越来越多的科技公司将眼光投向VR，部署研发团队并推出自己的VR创新产品，展开抢占VR产业制高点的激烈竞争，使得VR 技术进入了前所未有的快速发展时期。
任何一项新兴高技术产业的可持续发展都需要有三方面的条件支撑，VR产业也不例外，这就是需要关键技术突破与科技创新的持续支持，各类VR人才的强大支撑，以及市场需求的不断推动，而市场的形成又有赖于VR 应用系统与内容的不断丰富与创新。
实现一个VR系统，大体需要四方面的技术: 数据与获取、分析与建模、绘制与表现， 以及传感与交互。这四个方面均涉及硬件平台与装置、核心芯片与器件、软件平台与工具和软硬标准与规范。同时VR应用也需要结合各行业领域的应用技术，因此VR是学科高度综合交叉的科学技术领域，是存在许多有待解决的科学技术问题、并不断产生新科学技术问题的充满活力的新兴领域。
“
2009年我根据自己多年从事VR技术研究的体会，归纳总结了当时VR中的10个科学问题，并于2011年发表于Communications of the ACM。现在回头来看，这些问题的提出， 在一些方面推动了VR技术的研究，其中有的在一定程度上有所突破， 有的进展不明显，有的则被更为迫切的问题所掩盖，这体现了VR技术领域的活跃性。根据本人对近年来VR技术的发展趋势、VR应用和产业发展所遇到的技术瓶颈的认识，以及本人新的研究体会，在本文提出当前VR科学技术中新的10个科学技术问题。这些技术的突破会导致VR 应用和产业的新的巨大进展。
”
1
VR头戴显示的输入与交互
现有VR头戴式显示器看不到体验者自身，输入不便，也缺少与景物的交互机制，身临其境的感觉受限。因此，VR 鼠标等便捷友好的VR 输入方式，能够实时逼真地表现体验者肢体、并能与虚拟场景对象实时交互的机制是需要研究的问题。
2
头戴式显示的空间计算与AR虚实融合及其室外化
头戴式显示虚拟场景的空间计算，包括体验者头部和位置的实时精准跟踪定位，以及AR头戴显示中虚拟对象在现实空间中的位置计算与实时表现是需要进一步研究的问题。与此相关，虚实融合是AR的基本问题之一，包括视频式AR显示中图形对象与视频图像的融合，以及光学透视式AR显示中图形对象与现实景物的融合。 前者研究的时间比较长，后者随着光学AR头戴显示的实用化，逐步成为这一方向的主流， 许多问题有待解决。同时，光学透视式AR 的室外化，包括室外大场景下的虚实融合是有待探索的一个方向。
3
VR视频的采集、制作与交互式播放
VR全景视频(包括基于桌面、移动终端或Web的VR视频) 的采集、制作、交互式播放技术与设备，以及跨平台VR视频播放器，是一个研究发展方向。如何在VR 视频中引入几何与控制元素，增加VR视频的交互类型，提高其交互性是值得研究的问题。
4
基于移动终端和互联网的VR
基于移动终端和互联网的VR具有巨大发展潜力。对于前者， 低计算、低存储VR 技术， 云计算VR技术， 低延迟大数据传输与新型交互等是可创新技术方向。后者需要全屏3D绘制、VR设备接入与更合适的人机交互机制， 以及新型浏览器标准。Web VR将对现有浏览器和邮件系统等带来变革和颠覆性影响， 成为互联网的新入口。
5
物理特征的更多表现与新型物理模型
目前，虚拟对象的物理表现及其物理模型研究主要集中在运动学和动力学方面。物理模型也只有粒子系统、弹簧模型、SPH (smoothed particle hydrodynamics) 方法等少数几个。物质的许多物理特征(如材料特征)，爆炸、切割等物理现象，柔、黏、塑、流、气、场等物质对象的物理特征与交互响应的实时逼真表现，存在许多理论问题。 由于物理模型计算量巨大， 因此具体应用时实时性和逼真性之间的平衡也是需要考虑的问题。提出表现某类物理特征和物理现象的新型物理模型，构造其物理引擎及核心算法芯片PPU (physics processing unit)， 可以带来原创性、平台工具性成果。
6
进化演化模型与虚拟孪生
基于化学、生物学和生命科学的人体器官的生理、化学、生物进化演化模型是有待深入研究的科学问题， 可能产生新的知识型、概率型等模型类型。现实世界中的每一个(类) 对象，均可以构建虚拟孪生，使其与现实孪生在几何、物理、生理， 以及进化演化等方面高度相似。人体、城市和复杂装备的虚拟孪生会成为未来发展的重点， 并对医疗健康、城市规划管理和装备设计维护领域产生颠覆性影响。构造虚拟孪生， 特别是可交互几何类虚拟孪生的理论与方法，既是VR，也是AR，MR (mixed reality，混合现实) 等的基础。
7
智能行为模型
随着VR应用领域的不断扩展，虚拟人(或计算机生成的人) 操纵实体(如飞机、车辆等) 成为VR系统的重要组成部分，这些智能体的行为使得VR 系统所具有的3I (immersion， interaction， imagina-tion) 特征向4I发展，即VR系统将具有更多的智能(intelligence) 特征。该类问题的解决有赖于人工智能技术和人脑科学的发展。
8
力交互的柔韧感与新型自然交互
人与虚拟对象之间的力/触觉逼真感知的方式、机制及其设备仍然存在大量的问题， 特别是柔韧感; 此外新的感知通道， 如温湿感、嗅/味觉等，有的刚起步，有的尚未涉足。这是一个需要多学科交叉研究解决的问题领域。
9
VR内容的智能化生产技术与通用软件开发工具
目前VR内容制作生产力低下，原因一是VR 建模、绘制、修补等生产环节的工具和开发平台自动化、智能化程度低， 二是VR 硬件不兼容，均采用各自的软件开发工具包(software development kit， SDK)。提高3D建模(几何、图像、扫描等) 的效率和空洞修补的自动化水平等是需要进一步研究的内容，研发标准应用程序接口和通用软件包是提高共享和研发效率的必然途径。
10
VR的逼真性度量与VR心理学、VR社会学
VR的逼真性，即虚拟与现实孪生的相似性测度是有待研究解决的一个理论问题。在此基础上研究各类VR应用的效果评价，特别是对人的心理影响，以及对人类社会带来的影响，并进行相关约束与法律研究也是必要的，这会形成新的人文学科研究方向。
上述是本人认为VR领域当前迫切需要研究解决的10个科学技术问题。 实际上，VR研究与应用领域中存在大量的科学技术问题。VR是一项可能的颠覆性技术， 主要体现在六个方面：突破目前以2D为主的显示，实现3D，以及未来的真三维显示；突破目前屏幕物理尺寸的局限，实现全景显示和交互体验；突破键盘、鼠标人机交互方式，实现手眼协调的人机自然交互；突破时空界限，把用户带入未来或过去的时空环境；取代现有互联网邮件系统为主的通讯交互方式，成为互联网的新入口和人际交互新环境。有助于实现上述颠覆性的基础理论与关键技术都应该是VR 技术研究者所追求的目标。
作者：
赵沁平
CCF会士，YOCSEF指导委员会专家，CCF王选奖获得者。北京航空航天大学教授，中国工程院院士，虚拟现实技术与系统国家重点实验室主任。长期从事计算机软件、虚拟现实技术等方向的科学技术研究。
文章来源：中国科学：信息科学，2017，47: 800-803
2017CCF未来计算机教育峰会
计算机教育关乎计算机学科的发展和人才培养，在当今建设“双一流”大学的大背景下，提升我国计算机本科教育的质量和国际竞争力迫在眉急。为此，中国计算机学会（CCF）将于2017年7月21-22日在北京召开首届CCF未来计算机教育峰会。
本次大会将是计算机教育领域内的一次高端盛会。大会由CCF理事长、中国工程院院士高文担任大会主席，清华大学计算机系主任、中国工程院院士吴建平担任大会执行主席。届时，百余位来自海内外著名高校的计算机/软件学院院长及教育家、关心教育的企业家，将围绕“一流计算机本科教育”和“计算机教育中的核心科学问题”的议题，探讨如何建设更有效的计算机本科教育体系，推动我国计算机教育和人才培养质量的进步，提高高校计算机专业教育质量。
报告题目（暂定）
主题报告
一流计算机本科教育
计算机教育中的核心科学问题
美国自然科学基金委对教育研究的支持模式与支持效果
观点报告：
竞赛对人才培养的促进作用
系统能力培养对于一流计算机人才的重要性
工程教育认证对实现一流本科教育的利与弊
从ACM SIGCSE看计算机基础教育研究
从MOOC看计算机基础教育研究
从NSF资助项目看计算机基础教育研究
从工程教育认证实施情况看计算机基础教育研究
Panel：
对一流的认知
计算机教育的评价体系
工程教育认证的利弊
CCSP等竞赛的作用