产品库

物理模拟角色的指令驱动控制系统

InsActor是一个基于物理模拟的角色控制系统。它可以通过自然语言指令驱动角色在复杂环境中完成各种交互任务。该系统利用条件与对抗扩散模型进行多级规划,并与低级控制器相结合,实现稳定、鲁棒的控制。具有控制流畅、交互自然的优势,适用于创意内容生成、互动娱乐、人机交互等应用场景。

智能穿戴设备领域的创新者

Gyges Labs致力于创造AI时代的智能穿戴设备，结合了独特的先进光学技术和协作AI技术。公司利用团队在微纳米光学方面的专业知识，开发了基于视网膜投影原理的DigiWindow技术，实现了世界上最小最轻的近眼显示模块。与Birdbath和波导等光学解决方案相比，DigiWindow不仅将尺寸从厘米减少到毫米，还降低了功耗，并提供了完整的视光学兼容性。此外，基于团队在协作AI方面的累积经验，Gyges Labs开发了基于镜像神经元原理并针对可穿戴设备定制的AI引擎Mirron，以增强未来可穿戴设备的感知和交互能力，为未来的“第二大脑”设备奠定了坚实的基础。

多智能体任务规划与推理的基准测试

PARTNR是由Meta FAIR发布的一个大规模基准测试，包含100,000个自然语言任务，旨在研究多智能体推理和规划。PARTNR利用大型语言模型（LLMs）生成任务，并通过模拟循环来减少错误。它还支持与真实人类伙伴的AI代理评估，通过人类在环基础设施进行。PARTNR揭示了现有基于LLM的规划器在任务协调、跟踪和从错误中恢复方面的显著局限性，人类能解决93%的任务，而LLMs仅能解决30%。

Agent S：一个开放的代理框架，让计算机像人类一样使用计算机。

Agent S是一个开放的代理框架，旨在通过图形用户界面(GUI)实现与计算机的自主交互，通过自动化复杂多步骤任务来转变人机交互。它引入了经验增强的分层规划方法，利用在线网络知识和叙事记忆，从过去的交互中提取高级经验，将复杂任务分解为可管理的子任务，并使用情景记忆进行逐步指导，Agent S不断优化其行动并从经验中学习，实现适应性强且有效的任务规划。Agent S在OSWorld基准测试中的表现超过了基线9.37%的成功率（相对提高了83.6%），并在WindowsAgentArena基准测试中展示了广泛的通用性。

基于Transformer的实时开放世界AI模型

Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型，它是一个互动视频游戏，由Transformer端到端生成，基于逐帧生成。Oasis能够接收用户键盘和鼠标输入，实时生成游戏玩法，内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习，允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步，未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破，以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法，并结合了大型语言模型（LLMs）来训练一个自回归模型，该模型可以根据用户即时动作生成视频。此外，Decart AI还开发了专有的推理框架，以提供NVIDIA H100 Tensor Core GPU的峰值利用率，并支持Etched即将推出的Sohu芯片。

基于物理的图像到视频生成技术

PhysGen是一个创新的图像到视频生成方法，它能够将单张图片和输入条件（例如，对图片中物体施加的力和扭矩）转换成现实、物理上合理且时间上连贯的视频。该技术通过将基于模型的物理模拟与数据驱动的视频生成过程相结合，实现了在图像空间中的动态模拟。PhysGen的主要优点包括生成的视频在物理和外观上都显得逼真，并且可以精确控制，通过定量比较和全面的用户研究，展示了其在现有数据驱动的图像到视频生成工作中的优越性。

基于物理的角色动画研究项目

ProtoMotions是一个致力于创建交互式物理模拟虚拟代理的项目。它支持IsaacGym和IsaacSim，并且基于Hydra和OmegaConfig构建，使得配置组合变得简单。这个项目为研究者和开发者提供了一个平台，用于开发和测试基于物理的角色动画技术。它不仅能够用于学术研究，还能在游戏、电影和虚拟现实等领域中应用。

沟通无界，让每次对话都创造价值。

心辰Lingo语音大模型是一款先进的人工智能语音模型，专注于提供高效、准确的语音识别和处理服务。它能够理解并处理自然语言，使得人机交互更加流畅和自然。该模型背后依托西湖心辰强大的AI技术，致力于在各种场景下提供高质量的语音交互体验。

实时语音交互的人工智能对话系统。

Listening-while-Speaking Language Model (LSLM)是一款旨在提升人机交互自然度的人工智能对话模型。它通过全双工建模(FDM)技术，实现了在说话时同时监听的能力，增强了实时交互性，尤其是在生成内容不满意时能够被打断和实时响应。LSLM采用了基于token的解码器仅TTS进行语音生成，以及流式自监督学习(SSL)编码器进行实时音频输入，通过三种融合策略（早期融合、中期融合和晚期融合）探索最佳交互平衡。

全身运动生成框架，支持多模态控制

ControlMM是一个全身运动生成框架，具有即插即用的多模态控制功能，能够在文本到运动(Text-to-Motion)、语音到手势(Speech-to-Gesture)和音乐到舞蹈(Music-to-Dance)等多个领域中生成稳健的运动。该模型在可控性、序列性和运动合理性方面具有明显优势，为人工智能领域提供了一种新的运动生成解决方案。

实时表情生成人类模型

PROTEUS是Apparate Labs推出的一款下一代基础模型，用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型，创新的潜在空间设计实现了实时效率，并能通过进一步的架构和算法改进，达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现，为人工对话实体提供直观的接口，并且与多种大型语言模型兼容，可定制用于多种不同应用。

生成受控于参考图像、音频和V-Kps序列的头像视频。

V-Express是一个由腾讯AI实验室开发的头像视频生成模型，它通过一系列渐进式丢弃操作平衡不同的控制信号，使得生成的视频能够同时考虑姿态、输入图像和音频。该模型特别针对音频信号较弱的情况进行了优化，解决了在控制信号强度不同的情况下生成头像视频的挑战。

一个由真实世界用户与ChatGPT交互构成的语料库。

WildChat数据集是一个由100万真实世界用户与ChatGPT交互组成的语料库，特点是语言多样和用户提示的多样性。该数据集用于微调Meta的Llama-2，创建了WildLlama-7b-user-assistant聊天机器人，能够预测用户提示和助手回应。

探索人工智能如何塑造我们的世界和交互模式。

The Shape of AI 是一个专注于人工智能交互模式的网站，它提供了关于如何在设计中融入人工智能的深入见解。该网站强调了用户体验的重要性，并探讨了在AI驱动的世界中，如何通过设计来优化人机交互。它包含了丰富的资源和工具，帮助设计师和开发者理解AI的新兴模式，以及如何利用这些模式来提升他们的产品和服务。

通过视频生成实现基于物理的3D对象交互

PhysDreamer是一个基于物理的方法，它通过利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。这种方法允许在缺乏真实物体物理属性数据的情况下，模拟出对新颖交互（如外力或代理操作）的真实反应。PhysDreamer通过用户研究评估合成交互的真实性，推动了更吸引人和真实的虚拟体验的发展。

用于构建理解和模拟人类语音表情的声控人工智能接口。

Hume AI的同理心语音接口(EVI)是一种由同理心大型语言模型(eLLM)驱动的API,可以理解和模拟语音音调、词语重音等,从而优化人机交互。它基于10多年的研究成果、数百万专利数据点和30多篇发表在顶尖期刊的论文。EVI旨在为任何应用程序提供更自然、富有同情心的语音界面,让人与AI的互动更加人性化。该技术可广泛应用于销售/会议分析、健康与保健、AI研究服务、社交网络等领域。

从单一视频创建实时互动游戏环境

Video2Game是一项技术，可以将单一视频转换成具有实时、互动、真实感和浏览器兼容性的高质量虚拟环境。它通过构建大规模的NeRF模型来实现高质量的表面几何形状，然后将该模型转换为带有对应刚体动力学的网格表示，以支持交互。使用UV映射的神经纹理，既能表达丰富，又与游戏引擎兼容。最终得到的是一个虚拟环境，虚拟角色可以与之互动，响应用户控制，并能从新的相机视角实时提供高分辨率渲染。

为与人类安全共存而开发的创新双臂机器人机制

AMBIDEX是NAVER LABS开发的双臂机器人，旨在实现与人类的安全共存。该机器人具有强大的动力传递机制，同时保持轻便和灵活，满足坚韧和安全性的要求。AMBIDEX项目正在研究新的学习方式，使机器人能够学习人类的动作能力，以执行日常遇到的复杂任务。

通过表情丰富的掩蔽音频手势建模实现整体共话手势生成

EMAGE是一种统一的整体共话手势生成模型,通过表情丰富的掩蔽音频手势建模来生成自然的手势动作。它可以从音频输入中捕捉语音和韵律信息,并生成相应的身体姿势和手势动作序列。EMAGE能够生成高度动态和表现力丰富的手势,从而增强虚拟人物的互动体验。

01 Light是一款用于家用电脑的语音界面。

01 Light是一款语音控制界面,可以让你用语音控制家用电脑执行各种操作。它的优势是操作便捷、语音识别准确。定价暂未公布,定位是家用电脑的语音控制辅助工具。

创建你的多元宇宙AI

Salieri是一个多元宇宙AI平台，帮助用户创建、配置和分享无限的并行世界。它支持人机交互、机器人之间的交互，并能将用户的故事转化为小说、漫画、游戏和电影等形式。

机器人教学框架,无需在野机器人

通用操作接口(UMI)是一个数据收集和策略学习框架,允许直接将现场人类演示中的技能转移到可部署的机器人策略。UMI采用手持夹具与仔细的界面设计相结合,实现便携、低成本和信息丰富的数据收集,用于挑战性的双手和动态操作演示。为促进可部署的策略学习,UMI结合了精心设计的策略界面,具有推理时延迟匹配和相对轨迹动作表示。从而产生的学习策略与硬件无关,并且可以在多个机器人平台上部署。配备这些功能,UMI框架解锁了新的机器人操作功能,仅通过为每个任务更改训练数据,允许泛化的动态、双手、精确和长时间的行为,从而实现零次调整。我们通过全面的真实环境实验演示了UMI的通用性和有效性,其中仅通过使用各种人类演示进行训练的UMI策略,在面对新环境和对象时实现了零次调整的泛化。

UFO是一个用于Windows操作系统交互的UI聚焦双Agent框架

UFO是一个用于Windows操作系统交互的UI聚焦双Agent框架。它通过自然语言理解用户请求,并在一个或跨多个应用程序内无缝导航和操作来执行这些请求。该框架包含AppAgent和ActAgent两个agent。AppAgent负责根据用户请求选择应用程序。ActAgent负责在选定的应用程序内迭代执行操作,直到任务成功完成。两者都利用GPT-Vision的多模态功能来理解应用程序的UI并满足用户的请求。

多模态语言模型

SpeechGPT是一种多模态语言模型，具有内在的跨模态对话能力。它能够感知并生成多模态内容，遵循多模态人类指令。SpeechGPT-Gen是一种扩展了信息链的语音生成模型。SpeechAgents是一种具有多模态多代理系统的人类沟通模拟。SpeechTokenizer是一种统一的语音标记器，适用于语音语言模型。这些模型和数据集的发布日期和相关信息均可在官方网站上找到。

与各种AI人物互动，解决任何问题

Inquire是一个AI交互平台，用户可以与各种AI人物互动，解决各种问题。无论您是需要建肌肉、编程问题、写作灵感还是其他任何问题，Inquire都能帮助您得到最有效的AI助手。

AI学习电脑应用中的人类行为

rabbit是一个研究项目，旨在开发可以理解和模拟人类在计算机应用中的行为的系统。这个系统被称为大型行动模型（LAM），采用神经符号编程技术，允许直接模拟各种应用程序和用户在其上执行的操作。LAM在精确度、可解释性和速度方面与最先进的方法相媲美。它的目标是为各种AI助手和操作系统的部署提供支持，帮助塑造下一代自然语言驱动的消费者体验。

PDF文件交互工具，提高生产力

CelestialPDF是一款能够让您与任何PDF文件进行交互的工具。只需上传您的文件，立即开始提出问题。我们致力于为您提供最佳工具，以提升您的生产力。让人工智能为您总结和创建，让您可以专注于真正重要的工作。您可以通过免费计划或选择我们的专业计划开始使用CelestialPDF。上传您的PDF文件，我们将处理您的文件并准备好让您进行交互。CelestialPDF让您与PDF文件进行交谈变得前所未有的简单。

一分钟创建网站演示视频,无需编程

DDLE.DEV是一个通过AI生成语音和人脸的网站演示视频工具。它可以在1分钟内为您的网站创建交互式演示,就像视频通话,但没有安排的麻烦。主要功能包括全屏录制、即时分享链接、无需下载等。

AI语音助手,代替您进行个性化回复

AI Twin是一个基于AI的虚拟助手,它可以在语音通话中准确地模拟您的声音及语调,从而以极其逼真的方式代表您进行交流。无论您是网红、专业人士、企业家还是时间紧迫的忙碌者,AI Twin都可以帮助您代理个性化的语音回复,使您能更专注于重要的事情。只需将AI Twin添加到您的个人资料中,它就可以为您处理语音通话中的交互应答,从而帮助您扩大影响力及建立更牢固的人脉关系。

创建可分享的个人AI克隆

MeGPT允许创作者、品牌、艺术家、出版商、机构和各种规模的企业创建一个AI克隆版本，通过一个简单的链接使其在网上更具交互性和可发现性。