Labs 导读
针对VR一体机存在的用户体验差，系统标准缺乏以及VR内容资源贫乏这三个问题，中国移动智慧家庭运营中心基础平台研发团队通过对VR中间件的研发，实现用户体验的提升，一体机系统标准的统一和VR内容的丰富。本文对VR中间件进行了详细的介绍，主要包括：VR算法和技术优化、能力和应用集成、多应用引擎系统建设以及多硬件终端适配四个方面。
团队介绍：
「智慧家庭运营中心（杭研）终端应用产品部基础平台研发团队」
致力于以技术创新全面驱动数字化未来，赋能家庭领域产业全面进入数字化时代，通过开展智慧家庭网络型及连接型业务的研发，结合业务实际开展技术革新，支撑重大课题研究，致力实现让家庭更智慧、让企业更智能的美好愿景。
1 VR行业背景
随着双千兆网络的商用，VR技术日趋成熟、终端成本逐渐下降、产业生态不断发展完善，VR内容将成为未来数字家庭内容新形态。VR用户市场规模巨大，中国市场潜在用户达2.86亿, 据普华永道估算，截至2030年，VR技术将为中国经济带来约1833亿美元收入,增加约682万就业。近年VR硬件销售迅速增长，2019年VR硬件出货量为570万台，其中VR一体机达280万台，同比增长1倍多，预计2020年可达710万台。
VR设备（特别是VR一体机）作为蓬勃发展的VR行业的关键一环，当前还存在以下几个重要问题，极大地影响了用户体验以及整个行业在国内的发展进程。
1、亟需提升用户体验，目前国内VR企业没有自主知识产权，只是做个壳，成本高昂。很多VR一体机还缺乏设备管理、语音交互等常用功能，极大地影响了用户使用体验。
2、缺乏行业接口标准，目前行业没有对上层应用的API接口或底层设备的接口建立统一标准，市面上大多数VR一体机设备厂商的操作系统都是在安卓操作系统上进行适配和优化，各个厂商接口参差不齐，导致互相之间需进行大量重复、冗余的适配工作，间接提升了VR设备的成本，不利于VR的销售落地。
3、内容资源较为贫乏，当前VR应用程序必须使用每个VR设备系统专有 API，意味着应用程序如想在不同的VR 设备上运行，需不停进行重新编写，这极大增加了内容应用的制作成本，阻碍了VR内容生态的丰富和发展。同时，VR硬件设备上由于缺乏可运行的内容应用，导致设备落地推广困难,形成恶性循环。
2 VR中间件介绍
针对目前VR一体机存在的主要问题，VR中间件通过建立统一的系统框架，屏蔽多芯片种类的差异性，推动VR一体机系统标准建设，加速VR中间件标准化进程。主要完成了以下四个方面的工作：
首先，通过对安卓系统接口和架构的优化，建立了一套完整的VR技术体系，极大改善了用户使用体验。
其次，通过集成设备管理Andlink连接、语音交互、定制VR Launcher等多种应用能力，丰富系统基础功能，增加设备可用性。
另外，通过多应用引擎系统向上适配多类型应用，降低了内容厂商的开发成本，为用户提供更丰富的内容资源。
最后，通过设备插件扩展层向下适配多芯片方案，减少设备厂商复杂、冗余的适配工作，为VR设备厂商赋能，加速VR落地推广。
VR中间件的整体框图请参见图1，主要包括VR优化算法和技术、能力和功能集成、多应用引擎系统、多硬件终端适配这四个部分。
图1 VR中间件框图
（一）VR优化算法和技术
VR中间件在安卓系统上针对VR做了一些列的优化和改进，主要包括以下几点：
1、图像反畸变
任何图像经过光学镜片之后都会发生光学畸变，由于VR一体机目前主要通过在屏幕上堆叠光学透镜达到立体及近眼显示的效果，故而会存在一定的光学畸变，如图2所示。
图2 VR光学畸变
VR中间件具备对图像进行反畸变处理的能力，先将整个现实的图像做反畸变变形，然后经过光学镜片后还原为正常的图像。采用独特的反畸变、色散算法，不会增加额外渲染负担；将所有光学参数配置于云端，具备极强的扩展兼容性。
2、低延迟渲染
在用户使用VR设备的过程中，在获得沉浸式体验的同时，会对画面显示延迟有较高的敏感性，因此系统须加入低延迟渲染技术，且主要核心包含以下两个内容：
（1）Front Buffer Rendering将三缓冲变为单缓冲区，Display与GPU共享，降低延迟；
（2）Dynamic Time frame Replenishment（DTR），动态时间帧补偿技术，通过补偿算法使渲染帧率保持满帧，降低渲染延迟，同时根据应用场景，动态调整时间帧调度，降低系统功耗，给用户更好的体验；。
3、IMU融合及预测技术
VR画面渲染方式主要取决于用户当前的头部姿态，而用户的头部姿态由IMU传感器（包含陀螺仪、加速计、电子罗盘）进行标定。IMU传感器中每一种传感器都各有优劣，无法单独标定用户头部姿态，为此系统须具备稳定、准确的IMU融合算法，以准确标定用户头部姿态。
用户头部姿态满足一定的约束模型，可以通过用户头部姿态的历史数据对用户未来短时间（20ms左右）的姿态进行预测，从而进一步降低整个系统的延迟。
其整个过程如图3所示。
图3 IMU融合及预测算法过程
4、2D应用VR化技术
传统的安卓设备中存在着大量的内容资源（如手机、电视等平台内容），如VR操作系统支持该类型的应用程序便可充分使用；同时，为提升用户体验，需将2D内容VR化，即将2D应用程序显示在一个VR场景中。VR中间件通过在SurfaceFlinger层构建渲染引擎，在合成时改变渲染内容，将SurfaceFlinger层中不同Layer映射到三维场景中渲染。
（二）能力和应用集成
VR中间件集成了一些能力和应用，统一了使用体验，增加设备的可用性，主要包括以下几点。
1、Andlink能力：提供Andlink设备连接管理的能力，提供安全可靠的设备连接通信能力。支持向上将设备相关数据发送到Andlink平台，为后续的丰富场景应用提供数据支撑;向下将Andlink平台数据下发的数据发送给设备，实现远程管控，为VR设备、手机APP等多终端互动的各种场景实现提供技术基础，具有亿级设备的连接、百万级并发处理能力。
2、语音平台功能：通过前端声学适配和语音平台SDK的集成，实现语音控制。语音平台以“语音+内容+智能”为切入点，统一语音入口，致力于为家庭、个人、企业打造一站式智能语音交互平台和技能聚合平台，提供世界领先的语音识别、语音合成、语义理解、技能开放、设备开放等服务能力，解决国内外企业获取语音交互服务和技能的复杂过程，让VR产品快速具备“能听会说会思考”的功能，让智能语音交互更简单、实用，使VR用户可随时随地享受全方位的人工智能服务。
3、定制VR Launcher：以拉动双千兆业务发展为目标，中国移动定制的VR Launcher统一聚合行业VR精品内容，嵌入中国移动开放能力，把控VR内容入口，统一用户体验，助力分省精细化运营。
（三）VR多应用引擎系统
VR中间件对多个系统的接口和标准进行兼容，在安卓系统Library层上针对各个厂商系统实现对应的运行时（Runtime），对于应用来说，有效屏蔽了系统的差异性。
VR应用启动时，会根据应用运行的系统要求自动选取对应的运行时（Runtime），可直接适配已有的应用，应用不需要对系统进行适配。
具体的应用和Runtime框图如图4所示，
图4 VR多应用引擎系统框图
VR应用多引擎系统改变了之前内容厂商发散式的应用适配的方式，VR中间件直接对相关系统接口和标准进行兼容，极大降低了内容厂商开发应用的时间和人力成本。从而能快速丰富VR的内容应用内容，有利于公司VR业务的落地和推广。
VR多应用引擎系统具有以下两点明显的优势：
1、提升了已有内容的兼容性：使用VR应用多引擎系统，可以实现对已适配过的内容应用的直接移植运行，无须再适配，节约内容应用适配和测试工作量，以及多版本维护等工作。
2、新资源对接工作量减少：一次开发，长久受益。在新设备的引入工作中，可实现“仅对接一次”的工作量，后续适配该设备的内容，包括未来开发的，都可以直接使用，后续工作中，随着引入的设备和应用越多，整体节约的工作量越大。
（四）多硬件终端适配
设备插件扩展层向下兼容多种芯片平台，屏蔽不同厂家设备接口的差异，将设备相关接口标准化，向上提供统一的接口，做到设备的快速适配。设备插件扩展层可以实现VR设备的快速适配，对VR芯片方案的一次适配，后续对同样芯片方案的设备，能够直接平移，不需要重新适配，减少了开发工作量，缩减适配周期，能加快业务推广落地。
设备插件扩展层请参考图5中背景标黄部分：
图5 多硬件终端适配示意图
3 打造移动VR新生态
VR中间件主要用于引入中国移动运营体系的VR一体机设备，整个系统具备良好的硬件兼容性，能够解决当前行业中各家技术体系不统一的问题，同时保持了完备的功能及较好的用户体验，充分满足用户的使用需求。
后续中国移动会凭借运营商的优势，持续发挥VR中间件的差异化优势，借助省公司的落地渠道，发挥终端分销作用，积极响应市场需求，推进VR设备落地。中国移动采用开放的策略，与硬件厂商、平台软件厂商、内容厂商等各个环节的合作伙伴建立紧密的技术和业务协同关系，深化产业链建设，形成软硬件深度结合的体系，探索开放创新性VR系统的研发和发展模式，打造移动VR新生态。
