智元机器人发布的具身智能一站式开发平台,覆盖数据采集到模型推理全链路
Genie Studio 是智元机器人专为具身智能场景打造的一站式开发平台,具备数据采集、模型训练、仿真评测、模型推理的全链路产品能力。它为开发者提供从‘采’到‘训’到‘测’再到‘推’的标准化解决方案,极大地降低了开发门槛,提升了开发效率。该平台通过高效的数据采集、灵活的模型训练、精准的仿真评测和无缝的模型推理,推动了具身智能技术的快速发展和应用。Genie Studio 不仅提供了强大的工具,还为具身智能的规模化落地提供了支持,加速了行业向标准化、平台化、量产化的新阶段跃进。
用于评估 AI 代理在 Pokemon Red 游戏中的表现。
PokemonGym 是一个基于服务器 - 客户端架构的平台,专为 AI 代理设计,能够在 Pokemon Red 游戏中进行评估和训练。它通过 FastAPI 提供游戏状态,支持人类与 AI 代理的互动,帮助研究人员和开发者测试和改进 AI 解决方案。
Wan 2.1 AI 是一款将文本和图像转化为高质量视频的先进 AI 视频生成模型。
Wan 2.1 AI 是由阿里巴巴开发的开源大规模视频生成 AI 模型。它支持文本到视频(T2V)和图像到视频(I2V)的生成,能够将简单的输入转化为高质量的视频内容。该模型在视频生成领域具有重要意义,能够极大地简化视频创作流程,降低创作门槛,提高创作效率,为用户提供丰富多样的视频创作可能性。其主要优点包括高质量的视频生成效果、复杂动作的流畅展现、逼真的物理模拟以及丰富的艺术风格等。目前该产品已完全开源,用户可以免费使用其基础功能,对于有视频创作需求但缺乏专业技能或设备的个人和企业来说,具有很高的实用价值。
NVIDIA Cosmos是用于物理AI开发的世界基础模型平台。
NVIDIA Cosmos是一个先进的世界基础模型平台,旨在加速物理AI系统的开发,如自动驾驶车辆和机器人。它提供了一系列预训练的生成模型、高级分词器和加速数据处理管道,使开发者能够更容易地构建和优化物理AI应用。Cosmos通过其开放的模型许可,降低了开发成本,提高了开发效率,适用于各种规模的企业和研究机构。
用于强化学习的Unitree机器人平台
Unitree RL GYM是一个基于Unitree机器人的强化学习平台,支持Unitree Go2、H1、H1_2、G1等型号。该平台提供了一个集成环境,允许研究人员和开发者训练和测试强化学习算法在真实或模拟的机器人上的表现。它的重要性在于推动机器人自主性和智能技术的发展,特别是在需要复杂决策和运动控制的应用中。Unitree RL GYM是开源的,可以免费使用,主要面向科研人员和机器人爱好者。
大规模基础世界模型,生成多样的3D可操作环境
Genie 2是由Google DeepMind开发的一款大规模基础世界模型,能够基于单一提示图像生成无尽的、可操作的、可玩的3D环境,用于训练和评估具身智能体。Genie 2代表了深度学习和人工智能领域的一大进步,它通过模拟虚拟世界及其行动后果,展示了在大规模生成模型中的多种紧急能力,如物体交互、复杂角色动画、物理模拟等。Genie 2的研究推动了新的创意工作流程,用于原型化交互体验,并为未来更通用的AI系统和智能体的研究提供了新的可能性。
130亿参数的文生视频大模型,实现创意与物理准确性的结合
腾讯混元文生视频(HunyuanVideo)是一款突破性的视频生成模型,它拥有130亿参数,是目前开源模型中参数最多、性能最强的文生视频大模型。该模型能够生成具有较强物理准确性和一致性镜头的视频,提供超写实的视觉体验,并在真实与虚拟风格之间自由转换。它具备导演级运镜能力,实现艺术镜头的无缝衔接,完美融合真实效果与虚拟场景。同时,HunyuanVideo遵循物理定律,大幅降低违和感,并通过原生切镜和连续动作的设计,用户只需简单指令即可完成流畅创作,激发无限创意与灵感。
高质量3D资产生成技术
Edify 3D是NVIDIA推出的一款AI驱动的3D资产生成技术,它能够在两分钟内生成详细的、生产就绪的3D资产,包括组织良好的UV贴图、4K纹理和PBR材料。这项技术使用多视图扩散模型和基于Transformer的重建,能够从文本提示或参考图像合成高质量的3D资产,实现卓越的效率和可扩展性。Edify 3D对于视频游戏设计、扩展现实、电影制作和仿真等需要严格生产标准的行业至关重要。
将通用人工智能带入物理世界
Physical Intelligence (π) 是一个由工程师、科学家、机器人学家和公司建设者组成的团队,致力于开发基础模型和学习算法,以驱动当今的机器人和未来的物理驱动设备。该团队旨在将通用人工智能技术应用于物理世界,推动机器人技术的发展和创新。
首款通用型机器人基础模型
π0是一个通用型机器人基础模型,旨在通过实体化训练让AI系统获得物理智能,能够执行各种任务,就像大型语言模型和聊天机器人助手一样。π0通过训练在机器人上的实体经验获得物理智能,能够直接输出低级电机命令,控制多种不同的机器人,并可以针对特定应用场景进行微调。π0的开发代表了人工智能在物理世界应用方面的重要进步,它通过结合大规模多任务和多机器人数据收集以及新的网络架构,提供了迄今为止最有能力、最灵巧的通用型机器人政策。
基于Transformer的实时开放世界AI模型
Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型,它是一个互动视频游戏,由Transformer端到端生成,基于逐帧生成。Oasis能够接收用户键盘和鼠标输入,实时生成游戏玩法,内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习,允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步,未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破,以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法,并结合了大型语言模型(LLMs)来训练一个自回归模型,该模型可以根据用户即时动作生成视频。此外,Decart AI还开发了专有的推理框架,以提供NVIDIA H100 Tensor Core GPU的峰值利用率,并支持Etched即将推出的Sohu芯片。
模块化仿人机器人,具有高自由度
Agibot X1是由Agibot开发的模块化仿人机器人,具有高自由度,基于Agibot开源框架AimRT作为中间件,并使用强化学习进行运动控制。该项目包括模型推理、平台驱动和软件仿真等多个功能模块。AimRT框架是一个用于机器人应用开发的开源框架,它提供了一套完整的工具和库,以支持机器人的感知、决策和行动。Agibot X1项目的重要性在于它为机器人研究和教育提供了一个高度可定制和可扩展的平台。
基于物理的图像到视频生成技术
PhysGen是一个创新的图像到视频生成方法,它能够将单张图片和输入条件(例如,对图片中物体施加的力和扭矩)转换成现实、物理上合理且时间上连贯的视频。该技术通过将基于模型的物理模拟与数据驱动的视频生成过程相结合,实现了在图像空间中的动态模拟。PhysGen的主要优点包括生成的视频在物理和外观上都显得逼真,并且可以精确控制,通过定量比较和全面的用户研究,展示了其在现有数据驱动的图像到视频生成工作中的优越性。
基于物理的角色动画研究项目
ProtoMotions是一个致力于创建交互式物理模拟虚拟代理的项目。它支持IsaacGym和IsaacSim,并且基于Hydra和OmegaConfig构建,使得配置组合变得简单。这个项目为研究者和开发者提供了一个平台,用于开发和测试基于物理的角色动画技术。它不仅能够用于学术研究,还能在游戏、电影和虚拟现实等领域中应用。
24小时在线物理题目解答AI
LearnFast.ai 是一款面向物理学习者的智能AI解答平台,它利用先进的GPT-4o API,能够理解复杂的文字、图像并进行逻辑计算,为学生、教师、家长和研究人员提供快速准确的物理题目解答服务。该平台支持多种文件格式,无需注册即可使用,并且每天都有免费额度,适合各个学习阶段的用户。
模拟数字生物与进化的人工生命仿真程序
ALIEN是一个基于CUDA的专门物理和渲染引擎的人工生命仿真程序。它旨在模拟数字生物在人工生态系统中的行为,并作为进化仿真的平台。该软件项目开源,遵循BSD-3-Clause许可。
AI生成的90年代风格操作系统仿真。
Windows 9X是一个以90年代操作系统为蓝本的仿真产品,利用SawyerSoft IntelliOptimize™人工智能技术,实时创建应用程序,优化用户体验,提升操作效率。
视频生成的轨迹导向扩散变换器
Tora是一种基于扩散变换器(DiT)的视频生成模型,它通过集成文本、视觉和轨迹条件,实现了对视频内容动态的精确控制。Tora的设计充分利用了DiT的可扩展性,允许在不同的持续时间、纵横比和分辨率下生成高质量的视频内容。该模型在运动保真度和物理世界运动模拟方面表现出色,为视频内容创作提供了新的可能性。
© 2025 AIbase 备案号:闽ICP备08105208号-14