今天，我们宣布了Microsoft Mesh，这是一个基于Microsoft Azure的新平台，使开发人员能够构建身临其境的，多用户，跨平台的混合现实应用程序。Microsoft Mesh使其用户能够与状态连接，跨空间共享以及以身临其境的方式进行协作，就像他们身临其境，而无论其身在何处。客户可以利用Mesh增强虚拟会议，进行虚拟设计会议，更好地提供远程协助，虚拟地共同学习，主持虚拟社交聚会和聚会。

在此博客中，我们将窥视Microsoft Mesh的幕后知识，以了解该平台的构建基块。但是首先，让我们看看为什么首先需要这样一个平台。

混合现实是计算的第四次浪潮，紧随其后的是大型机，个人计算机和智能手机。混合现实正在成为消费者和商业界的主流，将屏幕绑定的体验解放为您的空间，事物之间以及与员工之间的本能交互。全世界有数以亿计的Niantic探险者通过您口袋中的设备体验了MR。当我们想念面对面的社交关系时，音乐会，健身训练等聚会正在转移到虚拟世界。超过50％的《财富》 500强组织已部署了HoloLens和其他混合现实解决方案，以推动材料RoI进入其业务。鉴于数量如此之多，人们会假设今天将开发成百上千的混合现实体验，即使不是成千上万。但事实并非如此。

• 用适当的现实感代表MR中的人需要大量时间和资源。
• 跨时间和设备类型在共享MR空间中保持全息图稳定并非易事。
• 很难将高保真3D模型引入MR以支持客户拥有的文件格式。
• 在地理位置分散的MR会话中同步人员的动作和表情非常复杂。

这些挑战使开发人员无法在多用户方案中启用MR体验。Microsoft Mesh打算解决这些挑战。Mesh为开发人员提供了一个平台，可以设计沉浸式多用户MR应用程序，而不必担心复杂的技术问题。让我们来看一下面向开发人员的Microsoft Mesh平台的核心组件：

Microsoft Mesh开发人员平台

多设备支持：首先，Mesh可以满足用户的需求。它支持多种设备，从全浸入式头戴式显示器（HMD），例如Microsoft HoloLens ，HP Reverb G2或Oculus Quest 2 ，提供三维立体体验，到iOS或Android上的手机和平板电脑（为方便起见），再到在PC和Mac上以2维视角完全绑定的体验，用户可以从任何地方进行连接。

开发人员平台：接下来是Mesh支持的全面的开发人员平台和工具。开发人员平台的核心是Azure。借助身份验证服务（如Azure Active Directory 和Microsoft帐户），它可以将经过适当身份验证和授权的用户带入安全且受信任的会话中。在微软图形继续与用户的流向，使他们能够在他们的连接，内容和喜好带来，无论从商业和消费空间。而且，作为开发人员，您无需担心计费，音频/视频传输以及底层实时状态管理功能等核心基础架构。

除了核心平台之外，我们还具有关键的AI驱动功能，这些功能使Mesh能够通过实现用于混合现实的大规模多用户在线（MMO）场景来解决一些最复杂的技术挑战。其中包括身临其境的状态，空间地图，全息渲染和多用户同步。

Microsoft Mesh AI驱动的功能

身临其境的存在：多用户方案的基本方面是能够根据参与者所加入的设备以不同的形式表示参与者。通过设备的内外传感器，Mesh通过具有代表性的化身提供了最易访问的3D存在。Mesh平台带有化身装备和自定义工作室，因此您可以使用开箱即用的化身。该平台还可以通过其AI驱动的运动模型为现有的化身装备提供动力，以捕获与用户动作一致的准确运动和表情。

除了替身，网眼也能够使最逼真的360 ^ö与外部的传感器能holoportation。这些由外而内的传感器可以是像Mixed Reality Capture Studio这样的自定义相机设置，可以帮助以全保真度捕获3D图像，也可以是Azure Kinect来捕获深度感应图像，以帮助产生全息图像。生成全息图后，就可以在沉浸式混合现实头戴式耳机或日常电话，PC和平板电脑上启用Mesh的应用程序中使用全息图，以最栩栩如生的方式呈现用户，并提供真实的存在感。

空间地图：构建在现实世界中保留全息内容的应用程序需要对每个参与者周围的空间有一个共同的认识，并需要对物理世界有一个了解。不管是技术人员的服务记录还是客户的寻路，可靠地放置可以在时间，空间和设备上持续存在的全息图都是常见的需求。通过空间贴图在网格中全部启用了此功能。在Mesh之前，每个设备都有其自己的局部世界视图。借助Mesh，可以对这些本地缓存进行合并和优化，以对它们所在的空间/环境有一个全局的了解。此框架使内容可以锚定，可以共享设备的观点，并可以在3D模型上进行协作。

网可以帮助您创建地图的你的世界是数量级比GPS更准确，它甚至可以在地方工作，而GPS访问。它有助于交付可以与特定兴趣点关联的“世界锁定全息图”。此外，Mesh可以生成与给定对象的精确布局和几何形状对齐的相同理解，从而使开发人员可以轻松构建可能需要将对象与视觉信息（如指令，服务记录和其他重要数据）完全匹配的可视化信息覆盖的应用程序对象。

全息渲染：全息渲染是智能 Edge和智能云体系结构的典型实例，无论设备的计算和热预算如何，全息渲染都能提供由Mesh提供的毫不妥协的保真度。Mesh允许您为每个场景和模型在应用程序内无缝地进行本地独立渲染或与云连接的远程渲染之间进行选择。这为设计应用程序提供了灵活性，这些应用程序可以根据所经历的设备针对延迟与保真度进行优化。不仅如此，全息渲染还支持大多数3D文件格式，以在启用Mesh的应用程序中进行本地渲染，从而解决了引入用户现有3D模型进行协作的挑战。

多用户同步：在协作会议中创建全息图的共同视角以及彼此之间的交流是一个巨大的挑战。在Mesh中，此共享上下文是通过多用户同步启用的。这可以照亮参与者的姿势更新，动作和表情，或者空间中发生的任何全息变换。所有这一切都在100毫秒的延迟内发生，而不管用户是在同一物理空间还是在世界的一半。通过Mesh中的空间音频增强了所有这些功能，从而在多用户场景中营造了在相同物理空间中的感觉。

为了利用这些功能和核心平台功能，Mesh提供了一个跨平台的开发人员SDK，以便开发人员可以针对自己选择的平台和设备（AR，VR，PC或手机）创建应用程序。今天，它与本机C ++和C＃一起支持Unity，但是在接下来的几个月中，Mesh也将支持Unreal，Babylon和React Native。除了访问这些功能之外，SDK还提供了预构建的UX结构，供开发人员在应用程序中使用。这些预制件旨在使开发过程更简单，更快速，以提供混合现实体验。

支持网格的应用程序：在开发平台之上，Microsoft Mesh还提供了一些使平台活跃的应用程序体验。该HoloLens 2网格的应用程序和AltspaceVR与新的企业能力的协作体验网可以点亮了身临其境的耳机实例。这些只是由Microsoft和我们的合作伙伴构建的众多其他体验中的第一个。

Mesh开发人员平台功能全面，其工具和功能旨在帮助开发人员快速入门并提供引人入胜的多用户混合现实体验。随着我们从早期采用者那里学习并预览客户，我们将继续开发SDK以支持更多引擎和框架。如果您有一个引人入胜的应用场景，并且想使用预览功能，请加入MR开发人员计划。这使您可以在MR领域的一些先驱者的帮助下构建MR应用，并一路为Mesh平台做出贡献。