角逐元宇宙赛道，NVIDIA谱写Omniverse进化论

       如今，元宇宙（Metaverse） 是当之无愧的业界焦点，随着全球各头部公司对元宇宙的相继布局，标志着元宇宙已成为互联网的未来。在全新的数字空间中，元宇宙不仅为社交、游戏等行业提供了广阔的前景，也打开了创意工作者想象的大门。从富有唐朝历史文化背景的《大唐·开元》到朝阳大悦城的超写实数字人Vila，基于元宇宙带来的沉浸式体验和创新互动已在商业市场崭露头角。

      纵观元宇宙的应用开发现状，在产业井喷的背后，发展过程中的痛点也不容忽视。随着越来越多的设计师和技术人员参与建设这个虚拟世界，不同数字工具互操作性弱的弊端开始显现。为了让世界各地的创作者和开发者跨工具、跨应用的进行协同设计，NVIDIA在2019的GTC大会上发布了测试版Omniverse开放式3D设计协作平台。在持续更新和不断完善下，如今的Omniverse已成长为超过10万用户的成熟平台。日前，NVIDIA高级解决方案架构师宋毅明和NVIDIA中国区Omniverse业务发展经理何展针对Omniverse平台的新功能、大型3D场景设计痛点以及Omniverse如何赋能数字内容创作进行了详细介绍。

为虚拟世界“筑路”，走进Omniverse的前世今生

       在中国有句老话：“要想富，先修路。”现实生活中交通的高效运行会提高人流、物流等生产要素的流通效率，进而助力整个经济系统的发展。同样，在通向元宇宙的虚拟数字世界中，只有为不同个体的数据流通提供一个高效的交互平台，才能释放出其巨大的能量。

       实际上，宋毅明介绍NVIDIA打造Omniverse的目的并不是构建元宇宙本身，而是提供建设元宇宙的平台和工具。相较于3D制作引擎如Unity、Unreal Engine而言，Omniverse更偏向于内容协作，可以将其看成一个基于USD技术的底座平台。通过将NVIDIA旗下GPU数据处理、CUDA运算、实时光线追踪RTX技术等所有软硬件能力，以及NVIDIA长期深耕的图形、AI、仿真生态系统特质集中到一个平台下，从而以更高效和兼容的方式，解决从现实到虚拟世界的各项痛点。

      这其中，USD（Universal Scene Description，通用场景描述）作为一个关键技术，可以让Omniverse与Autodesk Maya、Autodesk Revit、Trimble SketchUp等多款DCC创作平台连接，实现了各种应用间的通用实时互操作性，便于用户在不同软件平台、不同ISV应用程序下进行合并使用以加强现有的3D工作流程。 

      这也是为什么NVIDIA一直和Autodesk、Unity等保持着长期合作而非竞争关系的原因，当设计师在进行CG动画模型、BIM建筑以及工业设计时，各个领域的传统工具仍然是他们的首选；当需要协作实时交互时，可以打通到Omniverse平台中，并利用Omniverse平台中NVIDIA的技术沉淀进行多GPU渲染等。

      自2019年在GTC大会上宣布发布测试版以来，Omniverse平台持续进行功能迭代，目前包括面向企业的Enterprise和面向个人的Individual两个版本，创新推出了五大重要App，分别为：

      1.偏向于为媒体、娱乐和制造/产品设计行业的Omniverse Create；

      2.偏向于建筑、工程和施工专业人员设计的Omniverse View；

      3.用于制作面部动画，可以通过音轨快速生成丰富面部表情的Audio2Face；

      4.用于机器人开发模拟的Omniverse Isaac Sim；

      5.面向新一代自动驾驶汽车仿真的Omniverse DRIVE Sim。

       在创建数字资产的过程中，其开发难点在于它是一个融合多技术、多学科的复杂工程，何展表示NVIDIA更希望设计师不局限在UGC概念中，而是向着AIGC的路径演进。例如在数字虚拟人的技术迭代过程中，需要更多前沿性的功能，这时候DCC和UGC完成的是前半段工作，而Omniverse平台则以开放的交互模式实现后半段落地。在何展看来，Omniverse平台旨在尽量低的降低技术门槛，让更多普通人都能参与到数字资产创建工作中。

       以制作数字人的面部表情为例，传统方式需要对CG面部动作捕捉和绑定，然后制定对应的表情和口型，整个流程不仅繁琐，成本也将居高不下。借助在CES 2022中发布的Omniverse Audio2Face，一般设计者仅十几分钟便可以基本掌握这个软件，只需要一条音轨即可立即制作人脸、动物甚至虚拟角色的各种面部表情和口型对白，并可提供Blend Shape支持，反向导入Maya或在Unreal Engine的Metahuman中直接使用。
       可以看出，Omniverse平台具有广泛的开放性，无论是汽车还是工业机器人，再到科学计算、验证、仿真、科研，亦或是楼宇建筑、游戏创建、产品设计，以及老生常谈到的娱乐、电影各项内容制作，Omniverse平台致力于帮助用户更快的完成协同设计、轻量化设计，更简单、更快速、更逼真地把整个虚拟世界复现出来，同时遵循现实世界的基本规律。

从知行合一到未来就绪，一步一个脚印实现从0到1的跨域

       在中央广播电视总台的《飞向月球》第二季中，首次将 AI 超写实数字人应用在4K科学纪录片中，通过4K HDR、物理渲染、实时光线追踪技术、灯光音效，创造出了极为可信的仿真现实。这其中，借助Omniverse平台完成了沉浸式太空环境创建数字资产和基于物理的渲染。同时，NVIDIA Quadro RTX 8000和NVIDIA RTX A6000 GPU提供了用于加载大量数据并减少渲染时间的大视频显存。

       在何展看来，帮助影音传媒行业加速制作流程，构建复杂的可视化效果，为观众呈现更逼真、更震撼的特效，是NVIDIA一直努力的方向。何展介绍例如通常电影拍摄前有一个故事板沟通环节，需要导演通过细致的图片来呈现他的视像和控制拍摄流程，以保证他的原始意图可以完整的被转化成影片。在这方面，以美工师出身的希区柯克是故事板制作典范，他手绘的《西北偏北》分镜图，如今已经成为众多电影人观摩学习的必读手册。 

       然而对于很多不擅长构图与绘画的导演而言，制作故事板是一个颇为头疼的工作。在最新的Omniverse平台中提供AI工具，可以输入一段文字生成对应语义的图片，这样导演能够通过文字描述快速的驱动故事板中的图片生成，并且快速的进行更改，使工作流程得到大幅度优化。

       当然这种针对自然语言生成场景的应用还在不断深化，针对复杂场景下的行为逻辑布局也在探索，但这种智能化的应用至少带来了“0”的突破。何展表示如果把0作为起点，1作为终点来看，Omniverse平台上的许多应用远没达到“1”的型态。例如针对Omniverse Audio2Face，宋毅明坦言神态表情并不自然，看上去如同面瘫患者一样喃喃自语，大众很容易分辨出是数字人，但这并不妨碍它的持续演进。在前段时间NVIDIA演示Audio2Face如何驱动面部表情和口型的线上直播活动中，吸引了超过1000名各行各业关注Audio2Face的开发者，会后收到了几百家公司对于应用的测试反馈，行业需求正推动Audio2Face快速开发出面向各个领域不同属性的新兴应用。

       在何展看来，现在包括未来Omniverse平台上的许多新应用，面世之时可能只处于0.3、0.5的阶段，但平台和生态无疑提供了技术演进的方向和路径，让更多懂行业know-how的设计者、开发者把因子输入这些算法和工具平台，生成属于自身行业的专业工具，并不断完善，这是Omniverse平台的基础逻辑，也是初心之一。

       为了达成这种螺旋式上升的目标，NVIDIA Omniverse自身也在不断创新。宋毅明介绍在打造更加真实的3D虚拟世界方面，NVIDIA提供了PhysX物理引擎和RTX实时光线追踪技术。一方面，PhysX可以精准的实现物理效果模拟，可为影视画面带来充满动感的真实效果和基于粒子的流体视觉呈现。另一方面，RTX利用AI算法模拟真实世界中的光线特性，能够做到物理上精确的阴影、反射和折射以及全局光照。针对Omniverse Audio2Face等各项应用，NVIDIA也在对多国语言处理等方面进行优化。通过内部长远的技术突破加上外部深入理解行业的合作伙伴，NVIDIA Omniverse就可以一步一个脚印，实现从“0”到“1”的跨越。

探索元宇宙，多维并进打造更多可能 

       如今元宇宙不仅成为社交、游戏等行业追逐的焦点，在刚刚结束的全国“两会”上，不少代表也提出加强顶层设计，赋能传统文化产业转型升级等一系列提案。工信部则提出培育一批进军元宇宙、人工智能等新兴领域的创新型中小企业。

       从形态上来看，目前许多互联网巨头都在以AR/VR、沉浸式游戏领域的应用为切入点。但在NVIDIA的眼中，未来元宇宙有着更广阔的前景：通过形成真实世界和数字世界的闭环，在元宇宙这个数字世界的数据可以反向指导真实世界的研发设计和实际运行，从而帮助真实世界更好进行研发设计和智能决策。

       例如爱立信就将自身多年的无线电网络仿真专业知识整合到NVIDIA Omniverse 中，通过构建城市规模的数字孪生，帮助准确模拟 5G 基站与环境之间的交互作用，从而更大程度地提高性能和覆盖率。宝马集团也早已采用NVIDIA Omniverse 来设计整个工厂，实现端到端的数字孪生。宝马全球生产网络中的数千名规划师、产品工程师、设备经理和精益专家能够在同一个虚拟环境中进行协作，在工厂实际建成或集成新产品之前，对极其复杂的制造系统进行设计、规划、工程、模拟和优化。

       这种将数字孪生边界延伸到整个宇宙的思维方式，也促使NVIDIA在Omniverse的协同设计、渲染仿真、AI应用等各个环节加速数字创作流程，从基于USD技术的数字工具交互，到面向设计者的各项智能化应用拓展，以及底层强大的GPU性能，NVIDIA加快了数字内容创作的各个节点，当这种“快”由点及面，势必引发针对元宇宙从量变到质变的革新。

       当然为了打造一个完全虚实结合的数字世界，还需要更多充分融合VR/AR、仿真建模、AI、云、物联网等新兴技术的复合型人才，各项技术的持续深化也还有很长的一段路要走。此外，我们还需找出元宇宙和实体世界在人文、伦理、法规上的各个平衡点。但无论怎样，通往未来的大门已经打开，通过NVIDIA Omniverse平台在各个环节的持续赋能，势必可以跑出面向元宇宙的“加速度”。
    
       新一届的GTC大会将于3月21日~24日在线上召开，大会期间不仅有来自于英伟达创始人兼首席执行官黄仁勋囊括众多新闻发布的主题演讲，还有来自IDC、NVIDIA、皮克斯、Bentley、宝马集团等高层嘉宾共同探讨元宇宙和数字孪生的3D虚拟世界，欢迎屏幕前的您随同NVIDIA，一起加入到元宇宙的探索之旅。