浏览量:254
MM_StoryAgent 是一个多智能体框架,用于生成沉浸式故事视频。
MM_StoryAgent 是一个基于多智能体范式的故事视频生成框架,它结合了文本、图像和音频等多种模态,通过多阶段流程生成高质量的故事视频。该框架的核心优势在于其可定制性,用户可以自定义专家工具以提升每个组件的生成质量。此外,它还提供了故事主题列表和评估标准,便于进一步的故事创作和评估。MM_StoryAgent 主要面向需要高效生成故事视频的创作者和企业,其开源特性使得用户可以根据自身需求进行扩展和优化。
下一代情感智能的对话视频界面,让AI交互更自然、更人性。
Conversational Video Interface(CVI)是Tavus推出的一种情感智能对话视频界面。它通过Phoenix-3、Raven-0和Sparrow-0三个模型协同工作,赋予AI真正的人类感知、倾听、理解和实时互动能力。CVI不仅是一个工具,更是一种全新的人机沟通方式,可应用于医疗、心理健康、销售培训、客户服务等多个领域,具有无限的使用场景。其背后的技术突破在于将人类对话的细微情感和节奏融入AI交互中,使AI不再是简单的回应,而是能思考、反应并改变我们与机器的互动方式。
一个基于语音交互的故事创作聊天机器人,提供沉浸式的“选择你自己的冒险”体验。
该产品利用 Gemini 2.0 语言模型和 Google Imagen 图像生成技术,结合语音识别和语音合成,为用户提供一个互动式的故事创作体验。用户可以通过语音输入选择故事走向,系统会实时生成故事内容和相关图像。该产品的主要优点是创新的交互方式和强大的内容生成能力,适合用于教育、娱乐和创意启发。目前该产品处于开源阶段,未明确具体定价,主要面向开发者和教育机构。
一种无需训练的单提示文本到图像生成方法,用于一致的图像生成。
1Prompt1Story是一种创新的文本到图像生成技术,能够在无需额外训练的情况下,通过单个提示生成一致的图像序列。该技术利用语言模型的上下文一致性,通过单个提示串联所有描述,生成具有身份一致性的图像。它支持多角色生成、空间控制生成以及真实图像个性化等功能,具有广泛的应用前景。该模型主要面向需要高效、一致图像生成的创作者和开发者,可用于故事创作、动画制作等领域。
使用AI大模型一键生成高清故事短视频,支持多种语言模型和图像生成技术。
Story Flicks 是一个基于AI大模型的故事短视频生成工具。它通过结合先进的语言模型和图像生成技术,能够根据用户输入的故事主题快速生成包含AI生成图像、故事内容、音频和字幕的高清视频。该产品利用了当前流行的AI技术,如OpenAI、阿里云等平台的模型,为用户提供高效、便捷的内容创作方式。它主要面向需要快速生成视频内容的创作者、教育工作者和娱乐行业从业者,具有高效、低成本的特点,能够帮助用户节省大量时间和精力。
AI驱动的故事创作仪表板
StoryLegend是一个AI驱动的故事创作仪表板,旨在帮助作者和内容创作者通过先进的AI写作辅助、分析和反馈工具来提高写作质量、增加生产力和创造力。产品背景信息显示,StoryLegend通过即时建议和改进帮助用户更好地撰写故事,内置代码管理帮助结构化故事,快速草稿生成工具将想法快速转化为初稿,写作分析提供个性化建议以增强作品,角色开发功能通过AI辅助生成人物特质、背景故事和对话,简单易用的编辑工具帮助用户轻松润色和格式化故事。价格方面,StoryLegend提供三种不同的订阅计划,满足不同用户需求。
探索未来人机交互的AI代理项目
Project Mariner是Google DeepMind基于Gemini 2.0模型开发的早期研究原型,旨在探索未来的人机交互方式,特别是在网络浏览器中的应用。这个项目能够理解浏览器屏幕上的信息,包括像素和网页元素,如文本、代码、图像和表单,并利用这些信息完成任务。Project Mariner在技术上实现了通过Chrome扩展程序在浏览器中直接操作,为用户提供了一种全新的代理服务体验。
一个用于GUI视觉代理的视觉-语言-行动模型。
ShowUI是一个轻量级的视觉-语言-行动模型,专为GUI代理设计。它通过结合视觉输入、语言理解和行动预测,使得计算机界面能够以更自然的方式响应用户的指令。ShowUI的重要性在于它能够提高人机交互的效率和自然性,特别是在图形用户界面自动化和自然语言处理领域。该模型由showlab实验室开发,目前已在huggingface平台发布,供研究和应用。
AI驱动的界面解决方案,引领智能新体验。
Ant Design X 是由Ant Design团队推出的AI界面解决方案,它基于RICH设计范式(角色、意图、会话和混合界面),延续Ant Design的设计语言,提供了全新的AGI混合界面(Hybrid-UI)解决方案。Ant Design X 旨在通过AI技术提升人机交互的效率和体验,它适用于多种AI场景,包括Web独立式、Web助手式和Web嵌入式等。Ant Design X 的主要优点包括易于配置、极致体验的通用图表库,以及能够快速理解和表达AI意图的能力。产品背景信息显示,Ant Design X 是在蚂蚁集团内部海量AI产品中实践和迭代的结果,它的目标是创造更美好的智能视界。
智能穿戴设备领域的创新者
Gyges Labs致力于创造AI时代的智能穿戴设备,结合了独特的先进光学技术和协作AI技术。公司利用团队在微纳米光学方面的专业知识,开发了基于视网膜投影原理的DigiWindow技术,实现了世界上最小最轻的近眼显示模块。与Birdbath和波导等光学解决方案相比,DigiWindow不仅将尺寸从厘米减少到毫米,还降低了功耗,并提供了完整的视光学兼容性。此外,基于团队在协作AI方面的累积经验,Gyges Labs开发了基于镜像神经元原理并针对可穿戴设备定制的AI引擎Mirron,以增强未来可穿戴设备的感知和交互能力,为未来的“第二大脑”设备奠定了坚实的基础。
多智能体任务规划与推理的基准测试
PARTNR是由Meta FAIR发布的一个大规模基准测试,包含100,000个自然语言任务,旨在研究多智能体推理和规划。PARTNR利用大型语言模型(LLMs)生成任务,并通过模拟循环来减少错误。它还支持与真实人类伙伴的AI代理评估,通过人类在环基础设施进行。PARTNR揭示了现有基于LLM的规划器在任务协调、跟踪和从错误中恢复方面的显著局限性,人类能解决93%的任务,而LLMs仅能解决30%。
Agent S:一个开放的代理框架,让计算机像人类一样使用计算机。
Agent S是一个开放的代理框架,旨在通过图形用户界面(GUI)实现与计算机的自主交互,通过自动化复杂多步骤任务来转变人机交互。它引入了经验增强的分层规划方法,利用在线网络知识和叙事记忆,从过去的交互中提取高级经验,将复杂任务分解为可管理的子任务,并使用情景记忆进行逐步指导,Agent S不断优化其行动并从经验中学习,实现适应性强且有效的任务规划。Agent S在OSWorld基准测试中的表现超过了基线9.37%的成功率(相对提高了83.6%),并在WindowsAgentArena基准测试中展示了广泛的通用性。
AI驱动的儿童电子绘本及故事创作平台
Readkidz是一个利用人工智能技术简化和加速儿童多媒体内容创作的平台。它提供了一个一站式解决方案,使得教育者、家长和内容创作者能够在短时间内制作出高质量、吸引人的儿童内容。平台通过AI辅助的故事生成、插图创作和视频制作,使得用户可以轻松地从概念到完成整个创作过程。Readkidz的界面直观、功能可定制,确保创作内容能够适应特定年龄段和教育目标,是将富有想象力和教育意义的故事变为现实的终极工具。
文本到图像生成工具,创造连贯角色故事。
StoryMaker是一个专注于文本到图像生成的AI模型,能够根据文本描述生成具有连贯性的角色和场景图像。它通过结合先进的图像生成技术和人脸编码技术,为用户提供了一个强大的工具,用于创作故事性强的视觉内容。该模型的主要优点包括高效的图像生成能力、对细节的精确控制以及对用户输入的高度响应。它在创意产业、广告和娱乐领域有着广泛的应用前景。
沟通无界,让每次对话都创造价值。
心辰Lingo语音大模型是一款先进的人工智能语音模型,专注于提供高效、准确的语音识别和处理服务。它能够理解并处理自然语言,使得人机交互更加流畅和自然。该模型背后依托西湖心辰强大的AI技术,致力于在各种场景下提供高质量的语音交互体验。
实时语音交互的人工智能对话系统。
Listening-while-Speaking Language Model (LSLM)是一款旨在提升人机交互自然度的人工智能对话模型。它通过全双工建模(FDM)技术,实现了在说话时同时监听的能力,增强了实时交互性,尤其是在生成内容不满意时能够被打断和实时响应。LSLM采用了基于token的解码器仅TTS进行语音生成,以及流式自监督学习(SSL)编码器进行实时音频输入,通过三种融合策略(早期融合、中期融合和晚期融合)探索最佳交互平衡。
全身运动生成框架,支持多模态控制
ControlMM是一个全身运动生成框架,具有即插即用的多模态控制功能,能够在文本到运动(Text-to-Motion)、语音到手势(Speech-to-Gesture)和音乐到舞蹈(Music-to-Dance)等多个领域中生成稳健的运动。该模型在可控性、序列性和运动合理性方面具有明显优势,为人工智能领域提供了一种新的运动生成解决方案。
共同创作故事,记录生活点滴
Thyme & Tell是一款协作性的故事创作应用,它将共享的经历转化为持久的叙述。适用于家庭、朋友或团队,提供了一种独特的方式捕捉、创造和保存你们的集体故事。它不仅支持图片,还结合了故事,使记忆更加珍贵。应用通过AI辅助写作,帮助用户以独特的视角讲述引人入胜的故事,并可以将数字故事转化为可保存的纪念品,如PDF格式,供世代传承。
使用LangGraph代理帮助用户编写故事
story-writing是一个基于LangGraph Cloud的应用程序,旨在以一种有趣且互动的方式展示LangGraph Cloud的功能。该应用程序允许用户在LangGraph代理的帮助下编写故事,用户可以编辑已经写好的章节,或者继续编写下一章。用户可以有多个相同章节编号的版本,并选择他们最喜欢的版本继续故事。在开始时,用户提供故事摘要、所需的写作风格和对故事重要的任何其他细节。从那时起,他们只需要提供编辑和继续指令,以引导代理朝期望的方向发展。注意:这个应用程序是一个原型,尚未准备好部署,可能会有bug或代理的输出结果不佳。
生成受控于参考图像、音频和V-Kps序列的头像视频。
V-Express是一个由腾讯AI实验室开发的头像视频生成模型,它通过一系列渐进式丢弃操作平衡不同的控制信号,使得生成的视频能够同时考虑姿态、输入图像和音频。该模型特别针对音频信号较弱的情况进行了优化,解决了在控制信号强度不同的情况下生成头像视频的挑战。
探索人工智能如何塑造我们的世界和交互模式。
The Shape of AI 是一个专注于人工智能交互模式的网站,它提供了关于如何在设计中融入人工智能的深入见解。该网站强调了用户体验的重要性,并探讨了在AI驱动的世界中,如何通过设计来优化人机交互。它包含了丰富的资源和工具,帮助设计师和开发者理解AI的新兴模式,以及如何利用这些模式来提升他们的产品和服务。
用于构建理解和模拟人类语音表情的声控人工智能接口。
Hume AI的同理心语音接口(EVI)是一种由同理心大型语言模型(eLLM)驱动的API,可以理解和模拟语音音调、词语重音等,从而优化人机交互。它基于10多年的研究成果、数百万专利数据点和30多篇发表在顶尖期刊的论文。EVI旨在为任何应用程序提供更自然、富有同情心的语音界面,让人与AI的互动更加人性化。该技术可广泛应用于销售/会议分析、健康与保健、AI研究服务、社交网络等领域。
为与人类安全共存而开发的创新双臂机器人机制
AMBIDEX是NAVER LABS开发的双臂机器人,旨在实现与人类的安全共存。该机器人具有强大的动力传递机制,同时保持轻便和灵活,满足坚韧和安全性的要求。AMBIDEX项目正在研究新的学习方式,使机器人能够学习人类的动作能力,以执行日常遇到的复杂任务。
探索人工智能的无限可能
无限人工智能致力于构建生成式视频模型,专注于人类。我们相信人是故事的中心,而故事是人类处理、学习和进化的方式。我们预测未来 10 年内,一支由 3 名作家组成的团队,无需演员、导演或其他工作人员,将赢得奥斯卡奖。我们正在开发他们将使用的工具。欢迎加入我们的探索之旅。
通过表情丰富的掩蔽音频手势建模实现整体共话手势生成
EMAGE是一种统一的整体共话手势生成模型,通过表情丰富的掩蔽音频手势建模来生成自然的手势动作。它可以从音频输入中捕捉语音和韵律信息,并生成相应的身体姿势和手势动作序列。EMAGE能够生成高度动态和表现力丰富的手势,从而增强虚拟人物的互动体验。
01 Light是一款用于家用电脑的语音界面。
01 Light是一款语音控制界面,可以让你用语音控制家用电脑执行各种操作。它的优势是操作便捷、语音识别准确。定价暂未公布,定位是家用电脑的语音控制辅助工具。
用AI技术创建出60秒左右的微电影短视频
Story.com是一个利用人工智能生成短视的网站。它能够根据用户输入的故事情节,自动生成60秒左右长度的微电影短视频。具有以下优势:1)生成速度快,能实时生成。2)赋予用户充分的创作控制权,可以重写情节、修改人物、调整场景等。3)注重故事性,模拟剧情发展曲线。4)针对不同用户群体有不同的使用模式,如动画师、影视从业者、影响力创作者、普通故事创作者等。目前暂无公开的付费信息。
机器人教学框架,无需在野机器人
通用操作接口(UMI)是一个数据收集和策略学习框架,允许直接将现场人类演示中的技能转移到可部署的机器人策略。UMI采用手持夹具与仔细的界面设计相结合,实现便携、低成本和信息丰富的数据收集,用于挑战性的双手和动态操作演示。为促进可部署的策略学习,UMI结合了精心设计的策略界面,具有推理时延迟匹配和相对轨迹动作表示。从而产生的学习策略与硬件无关,并且可以在多个机器人平台上部署。配备这些功能,UMI框架解锁了新的机器人操作功能,仅通过为每个任务更改训练数据,允许泛化的动态、双手、精确和长时间的行为,从而实现零次调整。我们通过全面的真实环境实验演示了UMI的通用性和有效性,其中仅通过使用各种人类演示进行训练的UMI策略,在面对新环境和对象时实现了零次调整的泛化。
© 2025 AIbase 备案号:闽ICP备08105208号-14