产品库

内容一致的多场景视频生成

VideoDrafter 是一个内容一致的多场景视频生成框架。它利用大型语言模型（LLM）将输入提示转换为包含多场景脚本的综合脚本，脚本包括描述事件、前景 / 背景实体以及相机运动的提示。VideoDrafter 识别脚本中的共同实体，并要求 LLM 对每个实体进行详细描述。然后，将每个实体的描述输入到文本到图像模型中，以生成每个实体的参考图像。最后，通过考虑参考图像、事件描述和相机运动，通过扩散过程生成多场景视频，扩散模型将参考图像作为条件和对齐进行处理，以增强多场景视频的内容一致性。

视频生成模型的一致性初始化方法

FreeInit是一个简单有效的方法,用于提高视频生成模型的时间一致性。它不需要额外的训练,也不引入可学习的参数,可以很容易地在任意视频生成模型的推理时集成使用。

3D一致性的视频生成框架

CamCo是一个创新的图像到视频生成框架，它能够生成具有3D一致性的高质量视频。该框架通过Plücker坐标引入相机信息，并提出了一种符合几何一致性的双线约束注意力模块。此外，CamCo在通过运动结构算法估计相机姿态的真实世界视频上进行了微调，以更好地合成物体运动。

深入研究大型语言模型的内部一致性和自我反馈

ICSFSurvey是一个关于大型语言模型内部一致性和自我反馈的调查研究。它提供了对LLMs自我评估和自我更新机制的统一视角，包括理论框架、系统分类、评估方法、未来研究方向等。

StoryDiffusion 能够通过生成一致的图像和视频来创造魔法故事。

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。

视频生成的大型语言模型

VideoPoet 是一个大型语言模型，可将任何自回归语言模型转换为高质量视频生成器。它可以根据输入的文本描述生成视频，无需任何视觉或音频指导。VideoPoet 能够生成各种类型的视频，包括文本到视频、图像到视频、视频编辑、风格化和修复等。它可以用于电影制作、动画片、广告制作、虚拟现实等领域。VideoPoet 具有高质量的视频生成能力，并且可以灵活应用于不同的场景。

基于 AI 技术生成视频内容的智能服务。

清影 AI 视频生成服务是一个创新的人工智能平台，旨在通过智能算法生成高质量的视频内容。该服务适合各种行业用户，能够快速便捷地生成富有创意的视觉内容。无论是商业广告、教育课程还是娱乐视频，清影 AI 都能提供优质的解决方案。该产品依托于先进的 GLM 大模型，确保生成内容的准确性与丰富性，同时满足用户个性化需求。提供免费试用，鼓励用户探索 AI 视频创作的无限可能。

StreamingT2V: 一致、动态、可扩展的长视频文本生成

StreamingT2V 是一种先进的自回归技术，可以创建具有丰富动态运动的长视频，没有任何停滞。它确保视频中的时间一致性，与描述性文本紧密对齐，并保持高帧级图像质量。

利用AI技术快速生成视频内容

AI视频生成神器是一款利用人工智能技术，将图片或文字转换成视频内容的在线工具。它通过深度学习算法，能够理解图片和文字的含义，自动生成具有吸引力的视频内容。这种技术的应用，极大地降低了视频制作的成本和门槛，使得普通用户也能轻松制作出专业级别的视频。产品背景信息显示，随着社交媒体和视频平台的兴起，用户对视频内容的需求日益增长，而传统的视频制作方式成本高、耗时长，难以满足快速变化的市场需求。AI视频生成神器的出现，正好填补了这一市场空白，为用户提供了一种快速、低成本的视频制作解决方案。目前，该产品提供免费试用，具体价格需要在网站上查询。

Freepik AI 视频生成器，基于人工智能技术快速生成高质量视频内容。

Freepik AI 视频生成器是一款基于人工智能技术的在线工具，能够根据用户输入的初始图像或描述快速生成视频。该技术利用先进的 AI 算法，实现视频内容的自动化生成，极大地提高了视频创作的效率。产品定位为创意设计人员和视频制作者提供快速、高效的视频生成解决方案，帮助用户节省时间和精力。目前该工具处于 Beta 测试阶段，用户可以免费试用其功能。

快速可控的图像生成与潜在一致性模型

PIXART LCM是一个文本到图像合成框架，将潜在一致性模型（LCM）和ControlNet集成到先进的PIXART-α模型中。PIXART LCM以其能够通过高效的训练过程生成1024px分辨率的高质量图像而闻名。在PIXART-δ中集成LCM显著加快了推理速度，使得仅需2-4步即可生成高质量图像。特别值得注意的是，PIXART-δ实现了在0.5秒内生成1024x1024像素图像的突破，比PIXART-α改进了7倍。此外，PIXART-δ经过精心设计，可在单日内在32GB V100GPU上进行高效训练。具有8位推理能力的PIXART-δ可以在8GB GPU内存约束下合成1024px图像，极大地增强了其可用性和可访问性。此外，引入类似于ControlNet的模块可以对文本到图像扩散模型进行精细控制。我们引入了一种新颖的ControlNet-Transformer架构，专门为Transformers量身定制，实现了显式可控性和高质量图像生成。作为一种最先进的开源图像生成模型，PIXART-δ为稳定扩散模型家族提供了一个有前途的选择，为文本到图像合成做出了重大贡献。

训练无监督一致性文本到图像生成

ConsiStory是一个无需训练就能实现在预训练的文本到图像模型中生成一致性主体的方法。它不需要微调或个性化,因此比先前最优方法快20倍。我们通过引入以主体为驱动的共享注意力模块和基于对应关系的特征注入来增强模型,以促进图像之间的主体一致性。另外,我们开发了在保持主体一致性的同时鼓励布局多样性的策略。ConsiStory可以自然地扩展到多主体场景,甚至可以实现对常见对象的无需训练的个性化。

下一代 AI 模型，实现一致性和可控的媒体生成。

Runway Gen-4 是一款先进的 AI 模型，专注于媒体生成和世界一致性。它能够在多个场景中精准生成一致的角色、地点和物体，为创作者提供前所未有的创作自由，适合电影制作、广告及产品摄影等多种应用场景。该产品不需要进行细致的调优或额外训练，简化了创作流程，提升了视频制作的质量和效率。

为扩散模型提供一致性分辨率适配

ResAdapter是一个为扩散模型（如Stable Diffusion）设计的分辨率适配器，它能够在保持风格域一致性的同时，生成任意分辨率和宽高比的图像。与处理静态分辨率图像的多分辨率生成方法不同，ResAdapter直接生成动态分辨率的图像，提高了推理效率并减少了额外的推理时间。

多视角视频生成同步技术

SynCamMaster是一种先进的视频生成技术，它能够从多样化的视角同步生成多摄像机视频。这项技术通过预训练的文本到视频模型，增强了视频内容在不同视角下的动态一致性，对于虚拟拍摄等应用场景具有重要意义。该技术的主要优点包括能够处理开放世界视频的任意视角生成，整合6自由度摄像机姿态，并设计了一种渐进式训练方案，利用多摄像机图像和单目视频作为补充，显著提升了模型性能。

使用扩散模型实现时间一致性的人像动画

TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。

音频驱动的表情丰富的视频生成模型

MEMO是一个先进的开放权重模型，用于音频驱动的说话视频生成。该模型通过记忆引导的时间模块和情感感知的音频模块，增强了长期身份一致性和运动平滑性，同时通过检测音频中的情感来细化面部表情，生成身份一致且富有表情的说话视频。MEMO的主要优点包括更真实的视频生成、更好的音频-唇形同步、身份一致性和表情情感对齐。该技术背景信息显示，MEMO在多种图像和音频类型中生成更真实的说话视频，超越了现有的最先进方法。

一致的文本到视频编辑的光流引导注意力

FLATTEN是一种用于文本到视频编辑的光流引导注意力插件。它通过在扩散模型的U-Net中引入光流来解决文本到视频编辑中的一致性问题。FLATTEN通过强制在不同帧上的相同光流路径上的补丁在注意模块中相互关注，从而提高了编辑视频的视觉一致性。此外，FLATTEN是无需训练的，可以无缝集成到任何基于扩散的文本到视频编辑方法中，并提高其视觉一致性。实验结果表明，我们提出的方法在现有的文本到视频编辑基准上取得了最新的性能。特别是，我们的方法在保持编辑视频的视觉一致性方面表现出色。

提高文本到图像模型中空间一致性的解决方案

SPRIGHT是一个专注于空间关系的大规模视觉语言数据集和模型。它通过重新描述600万张图像构建了SPRIGHT数据集，显著增加了描述中的空间短语。该模型在444张包含大量物体的图像上进行微调训练，从而优化生成具有空间关系的图像。SPRIGHT在多个基准测试中实现了空间一致性的最新水平，同时提高了图像质量评分。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

利用LLM提高T2I图像生成一致性

OPT2I是一个T2I优化框架，利用大型语言模型（LLM）提高提示-图像一致性。通过迭代生成修订后的提示，优化生成过程。能显著提高一致性得分，同时保持FID并增加生成数据与真实数据召回率。

创新的AI视频生成器，快速实现创意视频。

Luma AI的Dream Machine是一款AI视频生成器，它利用先进的AI技术，将用户的想法转化为高质量、逼真的视频。它支持从文字描述或图片开始生成视频，具有高度的可扩展性、快速生成能力和实时访问功能。产品界面用户友好，适合专业人士和创意爱好者使用。Luma AI的Dream Machine不断更新，以保持技术领先，为用户提供持续改进的视频生成体验。

稳定扩散VAE的一致性解码器

Consistency Decoder是一种用于稳定扩散VAE的改进解码器，提供更稳定的图像生成。它具有2.49GB的模型大小，支持从原始图像进行编码和使用GAN解码以及一致性解码。该产品定位于为图像生成提供更好的解码效果。

高效生成一致性人物视频动画的模型

UniAnimate是一个用于人物图像动画的统一视频扩散模型框架。它通过将参考图像、姿势指导和噪声视频映射到一个共同的特征空间，以减少优化难度并确保时间上的连贯性。UniAnimate能够处理长序列，支持随机噪声输入和首帧条件输入，显著提高了生成长期视频的能力。此外，它还探索了基于状态空间模型的替代时间建模架构，以替代原始的计算密集型时间Transformer。UniAnimate在定量和定性评估中都取得了优于现有最先进技术的合成结果，并且能够通过迭代使用首帧条件策略生成高度一致的一分钟视频。

通过文本生成高质量AI视频

Sora视频生成器是一个可以通过文本生成高质量AI视频的在线网站。用户只需要输入想要生成视频的文本描述,它就可以使用OpenAI的Sora AI模型,转换成逼真的视频。网站还提供了丰富的视频样例,详细的使用指南和定价方案等。

利用AI技术，将文字和图像转化为创意视频。

通义万相AI创意作画是一款利用人工智能技术，将用户的文字描述或图像转化为视频内容的产品。它通过先进的AI算法，能够理解用户的创意意图，自动生成具有艺术感的视频。该产品不仅能够提升内容创作的效率，还能激发用户的创造力，适用于广告、教育、娱乐等多个领域。

基于预训练的文本到图像模型生成高质量、多视角一致的3D物体图像。

ViewDiff 是一种利用预训练的文本到图像模型作为先验知识,从真实世界数据中学习生成多视角一致的图像的方法。它在U-Net网络中加入了3D体积渲染和跨帧注意力层,能够在单个去噪过程中生成3D一致的图像。与现有方法相比,ViewDiff生成的结果具有更好的视觉质量和3D一致性。

Phantom 是一款基于跨模态对齐的主体一致性视频生成模型。

Phantom 是一种先进的视频生成技术，通过跨模态对齐实现主体一致性视频生成。它能够根据单张或多张参考图像生成生动的视频内容，同时严格保留主体的身份特征。该技术在内容创作、虚拟现实和广告等领域具有重要应用价值，能够为创作者提供高效且富有创意的视频生成解决方案。Phantom 的主要优点包括高度的主体一致性、丰富的视频细节以及强大的多模态交互能力。

高分辨率视频外延与内容生成技术

Follow-Your-Canvas 是一种基于扩散模型的视频外延技术，它能够生成高分辨率的视频内容。该技术通过分布式处理和空间窗口合并，解决了GPU内存限制问题，同时保持了视频的空间和时间一致性。它在大规模视频外延方面表现出色，能够将视频分辨率显著提升，如从512 X 512扩展到1152 X 2048，同时生成高质量和视觉上令人愉悦的结果。

AI赋能的短视频生产平台，批量生成多样化视频内容。

Giga视频超级工厂是一款基于AI技术，融合多项智能能力的视频生产平台。它通过智能化技术和工业化生产线，实现短视频的批量生产，让创意快速变为现实。产品具备视频生视频、图文生视频、报纸生视频以及视频智能翻译等功能，适用于新闻报道、企业宣传、活动推广等多种场景，助力用户高效制作并传播视频内容。