产品库

视频到音频生成模型，增强同步性

MaskVAT是一种视频到音频(V2A)生成模型，它利用视频的视觉特征来生成与场景匹配的逼真声音。该模型特别强调声音的起始点与视觉动作的同步性，以避免不自然的同步问题。MaskVAT结合了全频带高质量通用音频编解码器和序列到序列的遮蔽生成模型，能够在保证高音频质量、语义匹配和时间同步性的同时，达到与非编解码器生成音频模型相媲美的竞争力。

盲图像恢复技术，利用即时生成参考图像恢复破损图像

InstantIR是一种基于扩散模型的盲图像恢复方法，能够在测试时处理未知退化问题，提高模型的泛化能力。该技术通过动态调整生成条件，在推理过程中生成参考图像，从而提供稳健的生成条件。InstantIR的主要优点包括：能够恢复极端退化的图像细节，提供逼真的纹理，并且通过文本描述调节生成参考，实现创造性的图像恢复。该技术由北京大学、InstantX团队和香港中文大学的研究人员共同开发，得到了HuggingFace和fal.ai的赞助支持。

长文本问答增强型检索生成模型

LongRAG是一个基于大型语言模型（LLM）的双视角、鲁棒的检索增强型生成系统范式，旨在增强对复杂长文本知识的理解和检索能力。该模型特别适用于长文本问答（LCQA），能够处理全局信息和事实细节。产品背景信息显示，LongRAG通过结合检索和生成技术，提升了对长文本问答任务的性能，特别是在需要多跳推理的场景中。该模型是开源的，可以免费使用，主要面向研究者和开发者。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

连续时间一致性模型的简化、稳定与扩展

OpenAI 提出的连续时间一致性模型（sCM）是一种生成模型，它在生成高质量样本时，只需要两个采样步骤，与领先的扩散模型相比，具有显著的速度优势。sCM 通过简化理论公式，稳定并扩展了大规模数据集的训练，使得在保持样本质量的同时，大幅减少了采样时间，为实时应用提供了可能性。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

使用文本生成音乐的模型

FluxMusic是一个基于PyTorch实现的文本到音乐生成模型，它通过扩散式修正流变换器探索了一种简单的文本到音乐生成方法。这个模型可以生成根据文本提示的音乐片段，具有创新性和高度的技术复杂性。它代表了音乐生成领域的前沿技术，为音乐创作提供了新的可能。

ViPer是一种个性化方法，通过要求用户对几张图片发表评论，解释他们的喜好和不喜好，提取个人偏好。这些偏好指导文本到图像模型生成符合个人口味的图像。

ViPer是一种个性化生成模型，可以根据用户的视觉偏好生成符合个人口味的图像。该模型使用了稳定扩散XL技术，可以在保持图像质量的同时实现个性化生成。ViPer的主要优点是可以为用户提供个性化的图像生成服务，满足用户的个性化需求。

生成多视角视频的模型

Stable Video 4D (SV4D) 是基于 Stable Video Diffusion (SVD) 和 Stable Video 3D (SV3D) 的生成模型，它接受单一视角的视频并生成该对象的多个新视角视频（4D 图像矩阵）。该模型训练生成 40 帧（5 个视频帧 x 8 个摄像机视角）在 576x576 分辨率下，给定 5 个相同大小的参考帧。通过运行 SV3D 生成轨道视频，然后使用轨道视频作为 SV4D 的参考视图，并输入视频作为参考帧，进行 4D 采样。该模型还通过使用生成的第一帧作为锚点，然后密集采样（插值）剩余帧来生成更长的新视角视频。

开源的基于流的文本到图像生成模型

AuraFlow v0.1是一个完全开源的、基于流的文本到图像生成模型，它在GenEval上达到了最先进的结果。目前模型处于beta阶段，正在不断改进中，社区反馈至关重要。感谢两位工程师@cloneofsimo和@isidentical将此项目变为现实，以及为该项目奠定基础的研究人员。

3D生成建模的高精度和结构化辐射表示

GaussianCube是一种创新的3D辐射表示方法，它通过结构化和显式的表示方式，极大地促进了三维生成建模的发展。该技术通过使用一种新颖的密度约束高斯拟合算法和最优传输方法，将高斯函数重新排列到预定义的体素网格中，从而实现了高精度的拟合。与传统的隐式特征解码器或空间无结构的辐射表示相比，GaussianCube具有更少的参数和更高的质量，使得3D生成建模变得更加容易。

实时表情生成人类模型

PROTEUS是Apparate Labs推出的一款下一代基础模型，用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型，创新的潜在空间设计实现了实时效率，并能通过进一步的架构和算法改进，达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现，为人工对话实体提供直观的接口，并且与多种大型语言模型兼容，可定制用于多种不同应用。

Cohere的生成AI平台使用指南

Cookbooks是Cohere提供的一个在线文档平台，旨在帮助开发者和用户了解如何利用Cohere的生成AI平台构建各种应用。它包含了多种使用案例的指南，如构建代理、集成开源软件、语义搜索、云服务、检索增强生成(RAG)、摘要生成等。这些指南提供了最佳实践，帮助用户最大限度地利用Cohere的模型，并且所有内容都已设置好，准备就绪，供用户开始测试。

一种新的文本条件高分辨率生成模型

Phased Consistency Model（PCM）是一种新型的生成模型，旨在解决Latent Consistency Model（LCM）在文本条件高分辨率生成中的局限性。PCM通过创新的策略在训练和推理阶段提高了生成质量，并通过广泛的实验验证了其在不同步骤（1步、2步、4步、8步、16步）下与Stable Diffusion和Stable Diffusion XL基础模型的结合效果。

Imagen 3是我们质量最高的文本到图像模型，能够生成具有更好细节、更丰富光照和更少干扰性伪影的图像。

Imagen 3是我们质量最高的文本到图像模型，能够生成具有更好细节、更丰富光照和更少干扰性伪影的图像。Imagen 3通过改进文本理解能力，可以生成多种视觉风格的图像，并捕捉长文本提示中的小细节。Imagen 3可用于生成快速草图到高分辨率图像等不同类型任务，并提供多个优化版本。

一个统一的文本到任意模态生成框架

Lumina-T2X是一个先进的文本到任意模态生成框架，它能够将文本描述转换为生动的图像、动态视频、详细的多视图3D图像和合成语音。该框架采用基于流的大型扩散变换器（Flag-DiT），支持高达7亿参数，并能扩展序列长度至128,000个标记。Lumina-T2X集成了图像、视频、3D对象的多视图和语音频谱图到一个时空潜在标记空间中，可以生成任何分辨率、宽高比和时长的输出。

提升生成模型质量和加速推理的项目

UniFL是一个项目，旨在提升生成模型质量和加速推理速度。它通过感知反馈学习、解耦反馈学习和对抗性反馈学习三个关键组件，有效解决了当前扩散模型存在的图像质量、美学吸引力和推理速度等问题。经过实验验证和用户研究，UniFL在多个扩散模型上展现出显著的性能提升和强大的泛化能力。

CosXL模型调整为使用余弦连续EDM VPred调度，可产生全色彩范围图像。

Cos Stable Diffusion XL 1.0 Base调整为使用余弦连续EDM VPred调度。最重要的特性是其产生从纯黑到纯白的全色彩范围图像，同时对图像每一步的变化率进行了更细微的改进。 Edit Stable Diffusion XL 1.0 Base调整为使用余弦连续EDM VPred调度，并升级为执行图像编辑。此模型以源图像和提示作为输入，将提示解释为如何改变图像的指令。 定价：免费使用。 定位：用于生成艺术品、设计等创意过程中，在教育或创意工具中的应用，研究生成模型，部署具有生成有害内容潜力的模型，探究理解生成模型的局限性和偏见。

Champ：一种用于生成 3D 物体形状的生成模型

Champ 是一种用于生成 3D 物体形状的生成模型，它结合了隐函数和卷积神经网络，以生成高质量、多样化和逼真的 3D 形状。它可以生成各种类别的形状，包括动物、车辆和家具。

一款基于指令微调的大型语言模型

Mistral-7B-Instruct-v0.2 是一款基于 Mistral-7B-v0.2 模型进行指令微调的大型语言模型。它拥有 32k 的上下文窗口和 1e6 的 Rope Theta 值等特性。该模型可以根据给定的指令生成相应的文本输出,支持各种任务,如问答、写作、翻译等。通过指令微调,模型可以更好地理解和执行指令。虽然该模型目前还没有针对性的审核机制,但未来将继续优化,以支持更多场景的部署。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

人工智能辅助创意生成图片

Ideogram 1.0是一个文本转图像的生成模型,能够根据文本描述生成高保真的图像。它拥有前沿的文本渲染能力,无与伦比的照片实感和提示符合度,以及名为“魔法提示”的新功能,可以帮助用户为美丽的创意图像编写详细的提示。Ideogram 1.0现已面向所有ideogram.ai的用户开放!您可以在ideogram.ai免费注册,加入我们的全球创作者社区,结识新朋友、分享您的图像和提示、从同行的创造力中汲取灵感。除了每日免费生成量外,我们还推出了付费订阅计划,提供优先生成、私人生成、图像上传和Ideogram编辑器访问等功能。

开放式基于提示的图像生成

GLIGEN是一个开放式的基于文本提示的图像生成模型,它可以基于文本描述和边界框等限定条件生成图像。该模型通过冻结预训练好的文本到图像Diffusion模型的参数,并在其中插入新的数据来实现。这种模块化设计可以高效地进行训练,并具有很强的推理灵活性。GLIGEN可以支持开放世界的有条件图像生成,对新出现的概念和布局也具有很强的泛化能力。

SVD 1.1 Image-to-Video 模型生成短视频

Stable Video Diffusion (SVD) 1.1 Image-to-Video 是一个扩散模型，通过将静止图像作为条件帧，生成相应的视频。该模型是一个潜在扩散模型，经过训练，能够从图像生成短视频片段。在分辨率为 1024x576 的情况下，该模型训练生成 25 帧视频，其训练基于相同大小的上下文帧，并从 SVD Image-to-Video [25 frames] 进行了微调。微调时，固定了6FPS和Motion Bucket Id 127的条件，以提高输出的一致性，而无需调整超参数。

OFT可有效稳定微调文本到图像扩散模型

Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。

5分钟内实现文本到3D生成

3DTopia是一个两阶段的文本到3D生成模型。第一阶段使用扩散模型快速生成候选项。第二阶段优化第一阶段选择的资产。该模型可以在5分钟内实现高质量的文本到3D生成。

开源生成模型训练、调优与推理框架

SCEPTER是一个开源代码库,致力于生成式模型的训练、调优和推理,涵盖图像生成、迁移、编辑等一系列下游任务。它整合了社区主流实现以及阿里巴巴通逸实验室自研方法,为生成式领域的研究人员和从业者提供全面、通用的工具集。这个多功能库旨在促进创新,加速这个快速发展的领域的进步。

一个千万级3D形状模型

Make-A-Shape是一个新的3D生成模型，旨在以高效的方式训练大规模数据，能够利用1000万个公开可用的形状。我们创新性地引入了小波树表示法，通过制定子带系数滤波方案来紧凑地编码形状，然后通过设计子带系数打包方案将表示布置在低分辨率网格中，使其可生成扩散模型。此外，我们还提出了子带自适应训练策略，使我们的模型能够有效地学习生成粗细小波系数。最后，我们将我们的框架扩展为受额外输入条件控制，以使其能够从各种模态生成形状，例如单/多视图图像、点云和低分辨率体素。在大量实验中，我们展示了无条件生成、形状完成和条件生成等各种应用。我们的方法不仅在提供高质量结果方面超越了现有技术水平，而且在几秒内高效生成形状，通常在大多数条件下仅需2秒钟。

非刚体3D模型的文本生成和重建框架

AnimatableDreamer是一个从单眼视频中生成和重建可动画非刚体3D模型的框架。它能够生成不同类别的非刚体对象,同时遵循从视频中提取的对象运动。关键技术是提出的典范分数蒸馏方法,将生成维度从4D简化到3D,在视频中的不同帧进行降噪,同时在唯一的典范空间内进行蒸馏过程。这样可以保证时间一致的生成和不同姿态下的形态逼真性。借助可微分变形,AnimatableDreamer将3D生成器提升到4D,为非刚体3D模型的生成和重建提供了新视角。此外,与一致性扩散模型的归纳知识相结合,典范分数蒸馏可以从新视角对重建进行正则化,从而闭环增强生成过程。大量实验表明,该方法能够从单眼视频生成高灵活性的文本指导3D模型,同时重建性能优于典型的非刚体重建方法。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。