产品库

提供一种新颖的视频到视频编辑框架，无需训练即可使用

AnyV2V是一个创新的视频到视频编辑框架，允许用户使用任何现成的图像编辑工具编辑视频的第一帧，然后使用现有的图像到视频生成模型进行图像到视频的重建。这种方法使得各种编辑任务变得简单，包括基于提示的编辑、样式转换、主题驱动的编辑和身份操纵。

一种稳定高效的视频生成模型

AnimateLCM-SVD-xt是一种新的图像到视频生成模型,可以在很少的步骤内生成高质量、连贯性好的视频。该模型通过一致性知识蒸馏和立体匹配学习技术,使生成视频更加平稳连贯,同时大大减少了计算量。关键特点包括:1) 4-8步内生成25帧576x1024分辨率视频;2) 比普通视频diffusion模型降低12.5倍计算量;3) 生成视频质量好,无需额外分类器引导。

StoryDiffusion 能够通过生成一致的图像和视频来创造魔法故事。

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。

通过视频生成实现基于物理的3D对象交互

PhysDreamer是一个基于物理的方法，它通过利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。这种方法允许在缺乏真实物体物理属性数据的情况下，模拟出对新颖交互（如外力或代理操作）的真实反应。PhysDreamer通过用户研究评估合成交互的真实性，推动了更吸引人和真实的虚拟体验的发展。

一款由Gradient AI团队开发的高性能文本生成模型。

Llama-3 8B Instruct 262k是一款由Gradient AI团队开发的文本生成模型，它扩展了LLama-3 8B的上下文长度至超过160K，展示了SOTA（State of the Art）大型语言模型在学习长文本操作时的潜力。该模型通过适当的调整RoPE theta参数，并结合NTK-aware插值和数据驱动的优化技术，实现了在长文本上的高效学习。此外，它还基于EasyContext Blockwise RingAttention库构建，以支持在高性能硬件上的可扩展和高效训练。

通过交互式3D生成技术，实现高质量且可控的3D模型创建。

Interactive3D是一个先进的3D生成模型，它通过交互式设计为用户提供了精确的控制能力。该模型采用两阶段级联结构，利用不同的3D表示方法，允许用户在生成过程的任何中间步骤进行修改和引导。它的重要性在于能够实现用户对3D模型生成过程的精细控制，从而创造出满足特定需求的高质量3D模型。

一种用于逆渲染的先进学习扩散先验方法，能够从任意图像中恢复物体材质并实现单视图图像重照明。

IntrinsicAnything 是一种先进的图像逆渲染技术，它通过学习扩散模型来优化材质恢复过程，解决了在未知静态光照条件下捕获的图像中物体材质恢复的问题。该技术通过生成模型学习材质先验，将渲染方程分解为漫反射和镜面反射项，利用现有丰富的3D物体数据进行训练，有效地解决了逆渲染过程中的歧义问题。此外，该技术还开发了一种从粗到细的训练策略，利用估计的材质引导扩散模型产生多视图一致性约束，从而获得更稳定和准确的结果。

探索不同的文本生成模型，通过草拟消息和微调响应来提升体验。

Workers AI LLM Playground是一个在线平台，允许用户通过草拟消息和微调响应来探索不同的文本生成模型。该平台由先进的人工智能技术驱动，旨在为开发者和研究人员提供一个实验和学习的环境，以更好地理解和利用大型语言模型（LLM）的能力。

音乐生成工具，助力音乐制作人

musicgen-songstarter-v0.2是一个针对音乐制作人设计的音频生成模型，专门用于生成有用的旋律循环。该模型在Splice样本库中的旋律循环数据集上进行了微调，能够生成立体声音频，音频频率为32kHz。与v0.1版本相比，v0.2版本使用了三倍的独特样本，并且模型大小从中等提升到了大型。

提升生成模型质量和加速推理的项目

UniFL是一个项目，旨在提升生成模型质量和加速推理速度。它通过感知反馈学习、解耦反馈学习和对抗性反馈学习三个关键组件，有效解决了当前扩散模型存在的图像质量、美学吸引力和推理速度等问题。经过实验验证和用户研究，UniFL在多个扩散模型上展现出显著的性能提升和强大的泛化能力。

用于评估文本到视觉生成的创新性指标和基准测试

Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一种新的评估指标VQAScore,能够更好地评估复杂的文本到视觉生成效果,并引入了GenAI-Bench基准测试集。VQAScore基于CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中取得最佳性能,是一种强大的替代CLIPScore的方案。GenAI-Bench则提供了包含丰富组合语义的实际场景测试文本,可用于全面评估生成模型的性能。

对视觉生成模型进行基准测试

GenAI-Arena是一个用于在野外对视觉生成模型进行基准测试的平台。用户可以匿名参与竞技，对比目标模型的表现，并投票选出更优秀的模型。平台支持不同领域的匿名模型对决，帮助用户找到最佳的条件图像生成模型。用户可以点击“New Round”开始新的对决，并通过点击按钮投票选择更优秀的模型。

通过表情丰富的掩蔽音频手势建模实现整体共话手势生成

EMAGE是一种统一的整体共话手势生成模型,通过表情丰富的掩蔽音频手势建模来生成自然的手势动作。它可以从音频输入中捕捉语音和韵律信息,并生成相应的身体姿势和手势动作序列。EMAGE能够生成高度动态和表现力丰富的手势,从而增强虚拟人物的互动体验。

文本编码器微调技术，提升文本到图像生成模型性能

TextCraftor是一种创新的文本编码器微调技术，能够显著提升文本到图像生成模型的性能。通过奖励函数优化，它改善了图像质量与文本对齐，无需额外数据集。

Champ：一种用于生成 3D 物体形状的生成模型

Champ 是一种用于生成 3D 物体形状的生成模型，它结合了隐函数和卷积神经网络，以生成高质量、多样化和逼真的 3D 形状。它可以生成各种类别的形状，包括动物、车辆和家具。

用于自动驾驶的大规模视频生成模型

GenAD是由上海人工智能实验室联合香港科技大学、德国图宾根大学和香港大学共同推出的首个大规模自动驾驶视频生成模型。它通过预测和模拟真实世界场景,为自动驾驶技术的研究和应用提供支撑。GenAD在理解复杂动态环境、适应开放世界场景、精准预测等方面具有较强能力,能够通过语言和行车轨迹进行控制,并展现出应用于自动驾驶规划任务的潜力,有助于提高行车安全性和效率。

专注于动漫风格的生成模型,呈现细腻的画面效果

AWPainting是一款基于Stable Diffusion的图像生成模型,专注于动漫风格的图像生成。相比于标准模型,AWPainting在光照和细节表现方面有着更出色的效果,画面更加细腻、有呼吸感,人物面部光照更加柔和自然。同时AWPainting也对Prompt指令的响应更加良好。无论是单纯的动漫风格图像生成,还是动画化真人照片等场景,AWPainting都能提供满意的输出效果。

基于稳定扩散生成高质量动漫风格图像的文本到图像模型

Animagine XL 3.1 是一款能够基于文本提示生成高质量动漫风格图像的文本到图像生成模型。它建立在稳定扩散 XL 的基础之上,专门针对动漫风格进行了优化。该模型具有更广泛的动漫角色知识、优化过的数据集和新的美学标签,从而提高了生成图像的质量和准确性。它旨在为动漫爱好者、艺术家和内容创作者提供有价值的资源。

CRM是一个高保真的单图像到3D纹理网格的卷积重建模型

CRM是一个高保真的单图像到3D纹理网格的生成模型，它通过整合几何先验到网络设计中，能够从单个输入图像生成六个正交视图图像，然后利用卷积U-Net创建高分辨率的三平面（triplane）。CRM进一步使用Flexicubes作为几何表示，便于在纹理网格上进行直接的端到端优化。整个模型能够在10秒内从图像生成高保真的纹理网格，无需测试时优化。

官方实现的自纠正LLM控制的扩散模型

SLD是一个自纠正的LLM控制的扩散模型框架，它通过集成检测器增强生成模型，以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑，并且与任何图像生成器兼容，如DALL-E 3，无需额外训练或数据。

基于脚本生成极长视频的多模态生成模型

NUWA-XL是微软开发的前沿多模态生成模型，能够根据提供的脚本以“粗到细”的过程生成极长视频。该模型能够产生高质量、多样化且有趣的视频剪辑，并具有真实的镜头变化。

开源自然语言生成模型

OLMo是一个开源的自然语言生成模型,由Allen AI研究所开发,基于Transformer架构,可用于生成高质量的英文文本。它具有生成长度可达4096个token的长文本的能力。OLMo-7B是目前公开的参数量最大的开源英文语言模型之一,拥有69亿参数,在多个英文NLP任务上的表现优于同类模型。它可用于文本生成、任务导向的微调等多种自然语言处理任务。

参数高效微调个性化扩散模型

DiffuseKronA 是一种参数高效的微调方法，用于个性化扩散模型。它通过引入基于 Kronecker 乘积的适配模块，显著降低参数数量，提升图像合成质量。该方法减少了对超参数的敏感性，在不同超参数下生成高质量图像，为文本到图像生成模型领域带来重大进展。

医疗领域检索式问答基准测试

Benchmark Medical RAG是一个专注于医疗领域的检索式问答（Retrieval-Augmented Generation）基准测试平台。它提供了一系列的数据集和评估工具，旨在推动医疗信息检索和生成模型的研究。

动漫文本数据集

Refined-Anime-Text是一个针对动漫文本的精炼数据集，由CausalLM提供。该数据集包含了大量的动漫相关文本，适用于训练和优化文本生成模型，特别是在动漫领域的应用。

一步生成高分辨率图像

SDXL-Lightning是字节跳动开发的图像生成模型,能够在一步或少步骤内生成高达1024像素分辨率的高质量图像。该模型通过渐进式对抗式蒸馏,显著提升了图像生成速度,使其可应用于需要快速响应的场景。模型已开源,支持兼容LoRA模块和其他控制插件,可广泛用于文本到图像生成任务。

FiT是一种基于transformer的无限制分辨率和纵横比的图片生成模型。

FiT是一个基于transformer的无限制分辨率和纵横比的图像生成模型。它能够生成任意分辨率和纵横比的图片。FiT的优势在于能够进行无限制分辨率的外推生成,展现了卓越的分辨率拓展生成能力。FiT使用了transformer作为主要架构,并在ImageNet数据集上进行预训练。

Sora AI 开发的纯文本到视频生成模型

Sora 是 OpenAI 开发的文本到视频生成模型,能够根据文本描述生成长达1分钟的逼真图像序列。它具有理解和模拟物理世界运动的能力,目标是训练出帮助人们解决需要实物交互的问题的模型。Sora 可以解释长篇提示,根据文本输入生成各种人物、动物、景观和城市景象。它的缺点是难以准确描绘复杂场景的物理学以及理解因果关系。

开放式基于提示的图像生成

GLIGEN是一个开放式的基于文本提示的图像生成模型,它可以基于文本描述和边界框等限定条件生成图像。该模型通过冻结预训练好的文本到图像Diffusion模型的参数,并在其中插入新的数据来实现。这种模块化设计可以高效地进行训练,并具有很强的推理灵活性。GLIGEN可以支持开放世界的有条件图像生成,对新出现的概念和布局也具有很强的泛化能力。

Stability AI推出高效低阈值文生图AI模型

Stable Cascade是一个基于Würstchen架构的文本到图像生成模型,相比其他模型使用更小的潜在空间进行训练和推理,因此在训练和推理速度上都有显著提升。该模型可以在消费级硬件上运行,降低了使用门槛。Stable Cascade在人类评估中表现突出,无论是在提示对齐还是图像质量上都超过了其他模型。总体而言,这是一个高效、易用、性能强劲的文生图AI模型。