Oasis

Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型,它是一个互动视频游戏,由Transformer端到端生成,基于逐帧生成。Oasis能够接收用户键盘和鼠标输入,实时生成游戏玩法,内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习,允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步,未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破,以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法,并结合了大型语言模型(LLMs)来训练一个自回归模型,该模型可以根据用户即时动作生成视频。此外,Decart AI还开发了专有的推理框架,以提供NVIDIA H100 Tensor Core GPU的峰值利用率,并支持Etched即将推出的Sohu芯片。

需求人群:

"目标受众为游戏开发者、AI研究者和对实时交互视频内容感兴趣的用户。Oasis提供了一个全新的平台,使得开发者可以创造和模拟复杂的游戏世界,而AI研究者可以探索和优化大型模型的推理技术。对于普通用户来说,Oasis提供了一个互动视频游戏的新体验,用户可以实时影响游戏世界的发展。"

使用场景示例:

游戏开发者使用Oasis创建一个全新的开放世界游戏,玩家可以实时影响游戏环境。

AI研究者利用Oasis进行模型训练和推理技术的研究,优化大型AI模型的性能。

教育机构使用Oasis作为教学工具,让学生体验和学习AI在游戏开发中的应用。

产品特色:

- 实时互动视频游戏生成:Oasis能够根据用户输入实时生成游戏玩法。

- 端到端Transformer模型:从用户输入到视频输出完全由Transformer模型处理。

- 内部模拟物理和游戏规则:模型内部模拟物理效果和游戏规则,无需传统游戏引擎。

- 支持多种用户操作:用户可以在Oasis中移动、跳跃、拾取物品、破坏方块等。

- 扩散训练和Transformer模型:结合扩散训练和Transformer模型,实现视频逐帧生成。

- 专有推理框架:Decart AI开发的专有推理框架,优化NVIDIA H100 Tensor Core GPU的利用率。

- 支持Etched的Sohu芯片:Oasis优化以支持Etched即将推出的Sohu芯片,提高性能和效率。

使用教程:

1. 访问Oasis的官方网站并了解产品概述。

2. 注册并获取访问Oasis模型的权限。

3. 根据文档说明,设置所需的硬件环境,如NVIDIA H100 Tensor Core GPU。

4. 下载并安装Oasis的代码和模型权重,准备运行环境。

5. 通过键盘和鼠标输入与Oasis模型进行交互,体验实时生成的游戏玩法。

6. 探索Oasis的高级功能,如自定义游戏规则和物理模拟。

7. 参与社区讨论,分享使用Oasis的经验和反馈,以改进模型性能。

浏览量:42

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

360

平均访问时长

00:00:00

每次访问页数

1.00

跳出率

94.20%

流量来源

直接访问

41.91%

自然搜索

37.51%

邮件

0.19%

外链引荐

11.80%

社交媒体

6.90%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

美国

100.00%

类似产品

生成和交互控制开放世界游戏视频的扩散变换模型

GameGen-X是专为生成和交互控制开放世界游戏视频而设计的扩散变换模型。该模型通过模拟游戏引擎的多种特性,如创新角色、动态环境、复杂动作和多样事件,实现了高质量、开放领域的视频生成。此外,它还提供了交互控制能力,能够根据当前视频片段预测和改变未来内容,从而实现游戏玩法模拟。为了实现这一愿景,我们首先从零开始收集并构建了一个开放世界视频游戏数据集(OGameData),这是第一个也是最大的开放世界游戏视频生成和控制数据集,包含超过150款游戏的100多万个多样化游戏视频片段,这些片段都配有GPT-4o的信息性字幕。GameGen-X经历了两阶段的训练过程,包括基础模型预训练和指令调优。首先,模型通过文本到视频生成和视频续集进行预训练,赋予了其长序列、高质量开放领域游戏视频生成的能力。进一步,为了实现交互控制能力,我们设计了InstructNet来整合与游戏相关的多模态控制信号专家。这使得模型能够根据用户输入调整潜在表示,首次在视频生成中统一角色交互和场景内容控制。在指令调优期间,只有InstructNet被更新,而预训练的基础模型被冻结,使得交互控制能力的整合不会损失生成视频内容的多样性和质量。GameGen-X代表了使用生成模型进行开放世界视频游戏设计的一次重大飞跃。它展示了生成模型作为传统渲染技术的辅助工具的潜力,有效地将创造性生成与交互能力结合起来。

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图