产品库

用于自动驾驶的大规模视频生成模型

GenAD是由上海人工智能实验室联合香港科技大学、德国图宾根大学和香港大学共同推出的首个大规模自动驾驶视频生成模型。它通过预测和模拟真实世界场景,为自动驾驶技术的研究和应用提供支撑。GenAD在理解复杂动态环境、适应开放世界场景、精准预测等方面具有较强能力,能够通过语言和行车轨迹进行控制,并展现出应用于自动驾驶规划任务的潜力,有助于提高行车安全性和效率。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

视频生成评估基准测试

Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。

重新定义视频创作

Hailuo AI Video Generator 是一款利用人工智能技术，根据文本提示自动生成视频内容的工具。它通过深度学习算法，将用户的文字描述转化为视觉图像，极大地简化了视频制作流程，提高了创作效率。该产品适用于需要快速生成视频内容的个人和企业，特别是在广告、社交媒体内容制作和电影预览等领域。

数字人模型，支持生成普通话视频

JoyHallo是一个数字人模型，专为普通话视频生成而设计。它通过收集来自京东健康国际有限公司员工的29小时普通话视频，创建了jdh-Hallo数据集。该数据集覆盖了不同年龄和说话风格，包括对话和专业医疗话题。JoyHallo模型采用中国wav2vec2模型进行音频特征嵌入，并提出了一种半解耦结构来捕捉唇部、表情和姿态特征之间的相互关系，提高了信息利用效率，并加快了推理速度14.3%。此外，JoyHallo在生成英语视频方面也表现出色，展现了卓越的跨语言生成能力。

谷歌旗下领先的人工智能研究公司

Google DeepMind 是谷歌旗下的一家领先的人工智能公司，专注于开发先进的机器学习算法和系统。DeepMind 以其在深度学习和强化学习领域的开创性工作而闻名，其研究涵盖了从游戏到医疗保健等多个领域。DeepMind 的目标是通过构建智能系统来解决复杂的问题，推动科学和医学的进步。

生成视频的开源模型

CogVideoX是一个开源的视频生成模型，由清华大学团队开发，支持从文本描述生成视频。它提供了多种视频生成模型，包括入门级和大型模型，以满足不同质量和成本需求。模型支持多种精度，包括FP16和BF16，推荐使用与模型训练时相同的精度进行推理。CogVideoX-5B模型特别适用于需要生成高质量视频内容的场景，如电影制作、游戏开发和广告创意。

专业的数据解决方案提供商

博登智能自主研发的数据标注处理平台——BASE（Boden Annotation Service Enhancement），具有超强适用性，可完成从数据采集、清洗、标注到验证的全套服务。BASE平台覆盖了包括语音、文本、图像、视频、点云等多种模态类型的数据处理能力，通过AI辅助标注的形式，相较于传统的标注方式，帮助企业节省了高达30%-40%的成本，并提升50%以上的效率，已经获得了市场的广泛认可。 数据处理平台——BASE平台能够支持开展包括通用图像标注，3D/4D点云标注，图片点云融合标注，NLP文本标注，医疗影像标注，视频描述标注，音素标注，音频标注等标注业务。

文本到视频的生成模型

CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。

欧洲最大的私人人工智能实验室

Silo AI 是欧洲最大的私人人工智能实验室，与行业领导者合作开发智能设备、自动驾驶车辆、工业4.0和智能城市。其产品和技术致力于将最先进的人工智能带入生产，为客户带来利益。

可控视频和图像生成技术

ControlNeXt是一个开源的图像和视频生成模型，它通过减少高达90%的可训练参数，实现了更快的收敛速度和卓越的效率。该项目支持多种控制信息形式，并且可以与LoRA技术结合使用，以改变风格并确保更稳定的生成效果。

高质量人体动作视频生成

MimicMotion是由腾讯公司和上海交通大学联合研发的高质量人体动作视频生成模型。该模型通过信心感知的姿态引导，实现了对视频生成过程的可控性，提高了视频的时序平滑性，并减少了图像失真。它采用了先进的图像到视频的扩散模型，结合了时空U-Net和PoseNet，能够根据姿势序列条件生成任意长度的高质量视频。MimicMotion在多个方面显著优于先前的方法，包括手部生成质量、对参考姿势的准确遵循等。

基于 GPT-4 的代码审查模型

CriticGPT 是基于 GPT-4 模型开发的工具，旨在帮助人类审查 ChatGPT 的代码输出。通过识别错误并提供评论，提高训练师审查的准确性和效率。该工具能有效捕捉潜在问题，为 AI 模型的改进提供有力支持。

开创高保真、可控视频生成新领域。

Gen-3 Alpha 是 Runway 训练的一系列模型中的首个，它在新的基础设施上训练，专为大规模多模态训练而建。它在保真度、一致性和动作方面相较于 Gen-2 有重大改进，并朝着构建通用世界模型迈进了一步。该模型能够生成具有丰富动作、手势和情感的表达性人物角色，为叙事提供了新的机会。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

训练无关的运动克隆，实现可控视频生成

MotionClone是一个训练无关的框架，允许从参考视频进行运动克隆，以控制文本到视频的生成。它利用时间注意力机制在视频反转中表示参考视频中的运动，并引入了主时间注意力引导来减轻注意力权重中噪声或非常微妙运动的影响。此外，为了协助生成模型合成合理的空间关系并增强其提示跟随能力，提出了一种利用参考视频中的前景粗略位置和原始分类器自由引导特征的位置感知语义引导机制。

文本到视频生成的创新模型，实现姿势引导的动画制作。

Follow-Your-Pose是一个文本到视频生成的模型，它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值，解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案，结合预训练的文本到图像模型，实现了姿势可控的视频生成。

实时视频生成与增强工具

KREA Video 是一款在线视频生成和增强工具，它利用先进的人工智能技术，为用户提供实时视频生成和编辑功能。它允许用户上传图片或文本提示，生成具有动画效果的视频，并且可以调整视频的时长和关键帧。KREA Video 的主要优点是操作简便，用户界面友好，能够快速生成高质量的视频内容，适用于内容创作者、广告制作者和视频编辑专业人士。

一款面向高质量长视频生成的实验性框架，具有扩展序列长度和增强动态特性。

Mira（Mini-Sora）是一个实验性的项目，旨在探索高质量、长时视频生成领域，特别是在模仿Sora风格的视频生成方面。它在现有文本到视频（T2V）生成框架的基础上，通过以下几个关键方面实现突破：扩展序列长度、增强动态特性以及保持3D一致性。目前，Mira项目处于实验阶段，与Sora等更高级的视频生成技术相比，仍有提升空间。

零样本身份保持人类视频生成技术

ID-Animator是一种零样本人类视频生成方法，能够在不需要进一步训练的情况下，根据单个参考面部图像进行个性化视频生成。该技术继承了现有的基于扩散的视频生成框架，并加入了面部适配器以编码与身份相关的嵌入。通过这种方法，ID-Animator能够在视频生成过程中保持人物身份的细节，同时提高训练效率。

AI图像、视频、音乐生成工具

ApolloAI是一款人工智能平台，提供AI图像、视频、音乐、语音合成等功能。用户可以通过文本或图片输入生成多种类型的内容，具备商业使用权。定价灵活，提供订阅和一次性购买两种模式。

探索人工智能的无限可能

无限人工智能致力于构建生成式视频模型，专注于人类。我们相信人是故事的中心，而故事是人类处理、学习和进化的方式。我们预测未来 10 年内，一支由 3 名作家组成的团队，无需演员、导演或其他工作人员，将赢得奥斯卡奖。我们正在开发他们将使用的工具。欢迎加入我们的探索之旅。

用于人形机器人学习的通用基础模型

NVIDIA Project GR00T是一种通用基础模型,可在仿真和真实世界中改变人形机器人的学习方式。通过在NVIDIA GPU加速模拟中进行训练,GR00T使得人形机器人能够从少量的人类演示中通过模仿学习和NVIDIA Isaac Lab进行强化学习,并可从视频数据生成机器人动作。GR00T模型接受多模态指令和过去的交互作为输入,并输出机器人需要执行的动作。

生成具有动态效果的高分辨率视频的文生视频模型

DynamiCrafter是一种文生视频模型,能够根据输入的图像和文本生成约2秒长的动态视频。这个模型经过训练,可以生成分辨率为576x1024的高分辨率视频。主要优势是能够捕捉输入图像和文本描述的动态效果,生成逼真的短视频内容。适用于视频制作、动画创作等场景,为内容创作者提供高效的生产力工具。该模型目前处于研究阶段,仅供个人和研究用途使用。

Etna是七火山科技开发的AIGC模型，专注于根据文本描述生成相应的视频内容

Etna模型采用了Diffusion架构，并结合了时空卷积和注意力层，使其能够处理视频数据并理解时间连续性，从而生成具有时间维度的视频内容。该模型在大型视频数据集上进行训练，使用了深度学习技术策略，包括大规模训练、超参数优化和微调，以确保强大的性能和生成能力。

Morph Studio可以帮助用户通过文本提示创造出独特的视频

Morph Studio是一个基于人工智能的文本到视频生成平台。它使用先进的算法,可以通过用户提供的文本提示,自动生成高质量的视频。Morph Studio使创作者可以将自己的创意快速实现成动态的视觉内容。它极大地降低了视频制作的门槛,用户无需具备专业技能和昂贵设备,就可以创造出独特的视频作品。此外,Morph Studio还提供了强大的自定义功能,用户可以调整生成视频的长度、分辨率、样式等参数,输出结果更符合自己的需求。总之,这是一款极具创新和颠覆性的人工智能产品。

从文本生成视频

SoraPrompt是一种AI模型，可以根据文本指令创建逼真且富有想象力的场景。它利用Sora技术生成视频查询摘要，用于高效的内容分析。SoraPrompt基于最新的openai技术，可以生成各种类型的视频，如水族馆、纽约市、后退慢跑者、篮球爆炸、大溪地等。用户可以根据自己的兴趣和想法与SoraPrompt互动。

用人工智能生成音频和视频

Sora AI Video Generator是一个使用人工智能技术生成视频的在线平台。用户只需要输入文本描述,它就可以自动生成高质量的视频动画。该平台提供强大的创意工具,使用户无需专业技术就可以创作出精美的视频内容。关键功能包括:支持多种视觉风格选择,视频分辨率高达4K,支持添加背景音乐和文字,一键生成高质量视频等。适用于视频创作者、广告公司、游戏开发者等创意行业,以及个人用户的视频内容生产。

文本转音乐和音频

MAGNeT是一个提供各种人工智能模型和数据集的社区平台。用户可以在平台上找到各种先进的自然语言处理和机器学习模型，以及相关的数据集。该平台还提供了一系列解决方案，包括文本到语音转换、图像处理等。MAGNeT定位于为开发人员、研究人员和企业提供高质量的人工智能模型和数据集。