全球首款AI原生UGC游戏引擎！输入文字秒建GTA世界，试玩体验来了
从此，游戏的未来不单单由专业设计师逐关打造，而是让每一个人都能实时构思、生成并体验游戏世界。
就在今天，全球首个由实时世界模型驱动的 AI 原生游戏引擎问世了！
该游戏引擎名为「Mirage 」，由 Dynamics Lab 开发。
该系统专为构建动态、交互式且持续演变的游戏体验而设计，玩家可以通过自然语言、键盘或控制器实时生成并修改整个游戏世界。
从功能定位来看，Mirage 支持多类型的游戏开发。
视频加载中...
目前发布了两款可玩游戏演示，包括都市乱斗（GTA 风格） 和海岸漂移（极限竞速地平线风格） 。
都市乱斗：https://demo.dynamicslab.ai/chaos海岸漂移：https://demo.dynamicslab.ai/drift所有场景都是实时动态生成的 ，并非预设脚本。我们看到的是一个随着玩家操作实时演变的可交互动态模拟世界。
都市乱斗（GTA 风格）
海岸漂移（极限竞速地平线风格）
机器之心上手试玩了一下都市乱斗（GTA 风格），打开后界面是下面这样的，左边是控制选项，右边是街景选项。
体验了一小会，我们发现：游戏延迟还比较高，人物前后左右移动的灵敏度有进一步提升的空间。
视频加载中...
团队成员 Zhiting Hu 在 上分享了延迟的可能原因，其中最大的延迟来源应该是网络延迟。
Mirage 还支持用户上传初始图片，然后进行游戏，机器之心用一张公司附近的照片进行了测试，视频如下：
视频加载中...
虽然当前体验效果与心中的预期仍有差距，但 Mirage 代表着 AI 技术的前沿突破。
相较于谷歌的 AI Doom/Genie、Decart 的 AI Minecraft 以及微软的《雷神之锤 II》AI 版等近期成果，Mirage 具备以下三大显著优势：
实时 UGC 创作 ：支持游戏过程中实时通过文本输入生成内容，在基于世界模型的游戏生成领域实现重大突破。影视级画质呈现 ：超越早期系统的像素块风格，实现照片级真实感视觉效果。持久交互体验 ：连续交互时长突破十分钟，大幅扩展生成式游戏的可持续体验边界。评论区的网友对 Mirage 给予了很高的评价与期待。
想要体验的小伙伴，赶紧去，目前服务器可能已经处于崩溃边缘了。
开发团队坚信：随着实时生成技术的持续突破，Mirage 必将重塑游戏产业的未来格局。
视频加载中...
UGC 2.0：生成式游戏的崛起
传统游戏采用预制设计：城市布局固定、任务脚本预设、体验存在终局。而 Mirage 打破了这一边界，让玩家在游戏过程中实时创造全新体验。
通过自然语言指令、键盘输入或控制器操作，玩家可随时生成逃亡巷道、召唤载具或扩展城市天际线。系统将即时响应，将这些用户生成元素无缝融入持续运行的模拟世界 —— 游戏世界不仅是可交互的，更在与玩家共同进化。
Mirage 支持从竞速、角色扮演到平台跳跃的多元游戏类型：
视频加载中...
这就是 UGC 2.0 的革新世界：
零门槛创作 ：仅需文本描述，人人皆可生成专属游戏世界。实时共创演化 ：玩家在游戏进程中即时创造、演进并重塑游戏内容。无限动态体验 ：每次体验皆独一无二，永不重复，彻底告别预设脚本。基于下一代 AI 构建
Mirage 基于前沿的 World Model 研究，采用了基于 Transformer 的大规模自回归扩散模型 ，能够生成可控的高保真视频游戏序列。据介绍，该技术框架融合了多项关键创新：
基于游戏进行的基础训练
Mirage 建立在强大的训练基础上 —— 目标是理解和生成丰富的游戏体验。这一基础始于从互联网上大规模收集各种游戏数据 —— 这些数据可提供捕捉各种游戏机制和风格所需的广度。
为此，Dynamics Lab 构建了一个专门的数据记录工具，可用于捕捉高质量的人类录制的游戏互动。通过细致的、高保真度的样本，这些精心编排的流程丰富了数据集，从而可以训练模型掌握复杂的玩家行为和游戏情境逻辑。
随后，收集和记录的数据会被输入到一个垂直训练流水线 —— 一种专注于游戏领域的特定训练方法。这使得模型能够深入内化游戏世界规则、系统模式和交互动态。
最终，该模型能够生成连贯、逼真且灵活的游戏内容，进而突破了传统预先编写游戏的限制。
交互式生成与实时控制的结合
通过将帧级提示词处理集成到其核心，Mirage 重新定义了实时交互。这使得玩家能够输入命令或提示 —— 它们会在游戏进行中被即时解释。
支持通过云游戏随时随地畅玩：
动态输入系统 ：Mirage 能以超低延迟处理玩家输入（主要通过键盘和文本），实现近乎即时的响应。实时输出 ：视觉更新通过一个全双工通信管道传输回浏览器；在这个管道中，输入和输出并行流动，从而消除延迟并确保流畅的交互。具体技术上，Mirage 基于一个定制版因果 Transformer 模型，并进行了以下增强：
专用视觉编码器经过改进的位置编码针对扩展式交互序列优化的结构Mirage 集中了 LLM 和扩散模型的优势，支持生成连贯、高质量的内容。为了同时保证速度和质量，该团队还在其扩散组件中使用的蒸馏策略。
游戏支持玩家随时使用自然语言重塑环境，从而触发即时世界更新。其具备由 KV cache 驱动的长上下文窗口 ，因此即使在世界实时演变的情况下，游戏也能保持视觉一致性。
关键功能
16 FPS 帧率：以标清 (SD) 分辨率进行实时交互。动态 UGC：玩家可以使用自然语言命令改变世界。扩展型游戏体验：Mirage 可生成分钟级的互动游戏，并保持视觉一致性。云串流：随时随地进行跨平台即时游戏，无需下载。无限重玩性：每次游戏体验都独一无二。多模式控制：接受文本、按键和控制器输入。团队成员及未来展望
据介绍，Mirage 由一支技术深厚、创意驱动型的 AI 研究员、工程师和设计师团队打造。
团队成员拥有谷歌、英伟达、亚马逊、世嘉、苹果、微软、卡内基梅隆大学及加州大学圣地亚哥分校的深厚背景。
Dynamics Lab 还在博客中分享了他们的「未来之路」：「生成式游戏不仅仅是一项功能，更是一种全新的媒介。Mirage 引领着一个游戏不再需要下载或设计，而是需要被想象、被激发、被体验的未来。」
博客地址：https://blog.dynamicslab.ai/
无需NeRF高斯点后处理，视频秒变游戏模型成现实
V2M4团队 投稿
量子位 | 公众号 QbitAI
只需一段视频，就可以直接生成可用 的4D网格动画？！
来自KAUST的研究团队提出全新方法V2M4，能够实现从单目视频直接生成高质量、显式的4D网格动画资源。这意味着无需NeRF/高斯点后处理，可直接导入游戏/图形引擎。
该方法构建了一个系统化的多阶段流程，涵盖相机轨迹恢复、外观优化、拓扑统一、纹理合成等关键步骤，让视频“秒变模型”，大幅提升动画与游戏内容的生成效率与可用性。
论文已被ICCV 2025正式接收。
结果显示，其生成的外观和结构高度还原，平均每帧仅需约60秒处理，比现有方法显著提速；而且还支持「长视频」，在300帧时长的视频上依然表现优异
视频生成4D动画模型有多难？
从一段视频生成连续动画网格资产，一直是视觉计算长期未解的问题：传统动画制作需依赖多摄像头、动捕设备、人工建模等高成本手段。隐式方法如NeRF虽能复现外观，却难以直接输出拓扑一致的显式网格。
而近期的原生3D生成模型能够重建出高质量的3D网格，但常常存在姿态错位、拓扑不一致、纹理闪烁等问题。
在该工作中，V2M4首次展示了利用原生3D生成模型，从单目视频生成可用4D网格动画资产的可能性，并展现了其视觉效果与实用性。
V2M4提出一套系统化的五阶段方法，直接从单目视频构建可编辑的4D网格动画资产。该方法以“生成高质量显式网格+拓扑一致+纹理统一”为目标，从结构、外观、拓扑和时序角度逐步优化模型，输出可直接用于图形/游戏引擎的4D动画文件。
相机轨迹恢复与网格重定位
由于原生3D生成模型输出的每帧网格常处于标准坐标系中心并且朝向固定，因此直接采用原生3D模型生成视频帧对应的3D网格会导致真实的平移和旋转信息的丢失，进而使得动画无法还原物体在视频中的真实运动。
为解决该问题，V2M4设计了三阶段相机估计策略，通过重建每帧视频的相机视角，进而将“相机运动”转化为“网格运动”。
候选相机采样+DreamSim评分：在物体周围均匀采样多个视角，渲染并与真实帧对比，挑选相似度最高的相机姿态。DUSt3R点云辅助估计：引入几何基础模型DUSt3R，通过预测点云来推算出更稳定的相机位姿，再与采样结果融合。粒子群优化+梯度下降精调：用PSO算法避免局部最优，再以渲染出的掩模差异为优化目标，通过gradient descent精细调整最终相机参数。最终，将估计得到的相机轨迹反向应用于每一帧3D网格，从而将网格从标准姿态中“还原”回视频中的真实空间位置，实现真实的动态建模。
外观一致性优化：条件嵌入微调
即使完成空间对齐，初始生成的网格外观往往与输入视频存在一定外观差异。为此，V2M4借鉴图像编辑中的null text optimization策略，对生成网络的条件嵌入进行微调，以DreamSim、LPIPS、MSE等指标衡量渲染结果与参考视频帧的相似度，从而优化嵌入向量，使生成的网格外观更加贴合原视频，实现更高质量的外观一致性。
拓扑对齐与结构一致性：帧间对齐+局部约束
由于现有3D生成模型在每帧输出中存在随机性，相邻帧的网格往往在拓扑结构上存在差异，例如顶点数量、边的连接方式或面片组织均不一致。这类结构差异会严重阻碍动画的连续性与可编辑性。为解决此问题，V2M4引入了逐帧配准与拓扑统一机制：以首帧网格为标准形态（rest pose），通过全局刚体变换和局部形变优化，逐步将其拓扑结构传递给所有后续帧。在配准过程中，该方法结合Chamfer距离、可微渲染损失与ARAP刚性形变约束，实现对整体姿态和局部结构的精准调整。最终，所有帧网格不仅在形状上保持高度连续性，更在拓扑层面实现完全一致，从而为后续纹理生成与时间插值奠定稳定基础。
跨帧纹理一致性优化：共享UV提图，消除闪烁与断裂
为了确保动画过程中外观的一致性，V2M4为所有帧构建了一张共享的全局纹理贴图，避免了逐帧独立纹理所带来的色彩跳变与贴图断裂问题。由于前述拓扑统一后，各帧网格的结构保持一致，该方法以第一帧网格的UV展开作为所有帧的纹理基准，并基于多视角渲染优化贴图细节。为提升与原视频匹配的局部质量，该方法引入视角加权机制，对应视频帧的相机视图被赋予更高权重。最终，实现外观一致、帧间平滑的动画体验。
网格插帧与4D动画导出：轻量封装，一键部署
为了提升动画的时间连续性与软件适配性，V2M4对生成的网格序列进行时间插帧与结构封装。具体而言，该方法对关键帧网格的顶点位置进行线性插值，生成时序上更平滑的动画序列，并进一步将其表示为：单个静态网格，加上一组随时间变化的顶点位移张量。最终结果被导出为符合GLTF标准的动画文件，包含统一拓扑结构、共享纹理贴图与顶点时序变形，可直接导入Blender等主流图形与游戏引擎进行编辑与复用。由此，该方法实现了从视频到4D网格动画资产的完整转换路径，具备可视化、可编辑与实际应用兼容性。
效果验证与评估
为系统评估 V2M4 的性能，该工作在比以往更具挑战性的视频数据上开展实验，结合定量与定性对比，验证其在重建质量、运行效率与泛化能力上的全面优势。
定量对比：性能全面领先
该方法基于CLIP、LPIPS、FVD和DreamSim等主流指标，从语义一致性、视觉细节与时序流畅性等维度，评估输入视频与重建网格渲染之间的匹配度，更贴近真实用户感知。
与DreamMesh4D和Naive TRELLIS等方法相比，V2M4在Simple（轻微动作）及Complex（复杂动作）两个数据集上各项指标均实现领先。同时，依托高效的插帧与纹理共享机制，平均每帧仅需约60秒即可完成重建，大幅优于现有方法。
视觉对比：结构更清晰、外观更真实
在视觉效果方面，V2M4生成的网格在渲染细节、法线结构与跨帧一致性上表现更出色，不仅还原度高、拓扑完整，更能稳定生成连续、流畅的动画，展现出优异的实用性与泛化能力。
论文链接：https://arxiv.org/abs/2503.09631
项目主页：https://windvchen.github.io/V2M4
相关问答
游戏引擎怎么开发?
嗯嗯,游戏引擎发展到今天,已经是一个产业化需求比较泛化的软件体系。如果细分,按不同的细分维度会有很多不同的划分,比如按功能分可以分为物理引擎,渲染引擎...
c#怎么开发游戏引擎?
要开发一个游戏引擎,你可以使用C#编程语言和相关的游戏开发框架,如Unity或MonoGame。首先,你需要学习C#语言和面向对象编程的基础知识。然后,你可以开始设...
小游戏引擎怎么下载?
要下载小游戏引擎,您可以按照以下步骤进行操作:1.确定您想要使用的小游戏引擎:有许多不同的小游戏引擎可供选择,如Unity、UnrealEngine、CocosCreator等...
壁纸引擎怎么玩游戏?
壁纸引擎不是游戏,它是一个桌面美化软件,用于设置动态壁纸和桌面特效。因此,无法在壁纸引擎中玩游戏。如果您想在电脑上玩游戏,请下载并安装相应的游戏客户端...
游戏引擎都有哪些?游戏公司都用这些引擎做出过哪些好游戏?
比较有名的首先是epic出的虚幻引擎到现在已经出了4代了,虚幻4也是印象中应用最广,游戏作品最多的引擎之一。很多大作都是基于虚幻4制作的。代表作有《堡垒之夜...
unity引擎能做什么游戏?
Unity引擎是一款非常强大的跨平台游戏引擎,可以用于开发各种类型的游戏,包括但不限于以下几种:1.2D游戏:Unity引擎提供了丰富的2D游戏开发工具和功能,可以...
2021十大游戏引擎?
一、Unity3DUnity3D是一个用于创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的综合型创作工具,由UnityTechnologies开发,是一个全面整合...
游戏引擎的生产要求?
包括以下几个方面:1.性能要求:游戏引擎需要具备高度的性能表现,包括渲染、物理模拟、人工智能等方面的计算能力,以及内存管理和多线程等方面的优化能力。2...
能说明一下游戏引擎到底是什么东西吗?
游戏引擎主要分为3个方面,第一个是渲染引擎,就是专攻与画面,比如上面那位老兄说的拿一些,第二个是物理引擎,专攻与现实世界的实现,重力碰撞等,比如box2d,...
游戏引擎，游戏框架的区别?
我认为,游戏引擎包含游戏框架,游戏框架是游戏的骨架撑起整个游戏的脉络,游戏引擎就像人体内的五脏六腑,使其可以正常运作,没有框架光用引擎,游戏会很乱,没...