产品库

基于PyTorch的生成式音频模型库

stable-audio-tools是一个开源的PyTorch库,提供了用于条件音频生成的生成模型的训练和推理代码。包括自动编码器、隐式扩散模型、MusicGen等。支持多GPU训练,可以生成高质量的音频。

开源双语文生图生成模型

Taiyi-Diffusion-XL是一个开源的基于Stable Diffusion训练的双语文生图生成模型,支持英文和中文的文本到图像生成,相比之前的中文文生图模型有了显著提升。它可以根据文本描述生成照片般逼真的图像,支持多种图像风格,具有较高的生成质量和多样性。该模型采用创新的训练方式,扩展了词表、位置编码以支持长文本和中文,并在大规模双语数据集上进行训练,确保了其强大的中英文生成能力。

Stable Diffusion XL AI, 开源的 AI 图片生成器

稳定扩散 AI 是一种开源的深度学习文本到图像生成模型,由 CompVis 团队与 Runway ML 联合开发,并获得 Stability AI 的运算支持。它可以根据文本描述生成高质量图片,也可以进行图像补全、外推以及文本指导下的图像到图像转换。稳定扩散 AI 开源了其代码、预训练模型和许可证,允许用户在单个 GPU 上运行。这使其成为第一个可以在用户本地设备上运行的开源深度文本到图像模型。

StoryDiffusion 能够通过生成一致的图像和视频来创造魔法故事。

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。

一款由Gradient AI团队开发的高性能文本生成模型。

Llama-3 8B Instruct 262k是一款由Gradient AI团队开发的文本生成模型，它扩展了LLama-3 8B的上下文长度至超过160K，展示了SOTA（State of the Art）大型语言模型在学习长文本操作时的潜力。该模型通过适当的调整RoPE theta参数，并结合NTK-aware插值和数据驱动的优化技术，实现了在长文本上的高效学习。此外，它还基于EasyContext Blockwise RingAttention库构建，以支持在高性能硬件上的可扩展和高效训练。

一种用于逆渲染的先进学习扩散先验方法，能够从任意图像中恢复物体材质并实现单视图图像重照明。

IntrinsicAnything 是一种先进的图像逆渲染技术，它通过学习扩散模型来优化材质恢复过程，解决了在未知静态光照条件下捕获的图像中物体材质恢复的问题。该技术通过生成模型学习材质先验，将渲染方程分解为漫反射和镜面反射项，利用现有丰富的3D物体数据进行训练，有效地解决了逆渲染过程中的歧义问题。此外，该技术还开发了一种从粗到细的训练策略，利用估计的材质引导扩散模型产生多视图一致性约束，从而获得更稳定和准确的结果。

官方实现的自纠正LLM控制的扩散模型

SLD是一个自纠正的LLM控制的扩散模型框架，它通过集成检测器增强生成模型，以实现精确的文本到图像对齐。SLD框架支持图像生成和精细编辑，并且与任何图像生成器兼容，如DALL-E 3，无需额外训练或数据。

开源自然语言生成模型

OLMo是一个开源的自然语言生成模型,由Allen AI研究所开发,基于Transformer架构,可用于生成高质量的英文文本。它具有生成长度可达4096个token的长文本的能力。OLMo-7B是目前公开的参数量最大的开源英文语言模型之一,拥有69亿参数,在多个英文NLP任务上的表现优于同类模型。它可用于文本生成、任务导向的微调等多种自然语言处理任务。

动漫文本数据集

Refined-Anime-Text是一个针对动漫文本的精炼数据集，由CausalLM提供。该数据集包含了大量的动漫相关文本，适用于训练和优化文本生成模型，特别是在动漫领域的应用。

一步生成高分辨率图像

SDXL-Lightning是字节跳动开发的图像生成模型,能够在一步或少步骤内生成高达1024像素分辨率的高质量图像。该模型通过渐进式对抗式蒸馏,显著提升了图像生成速度,使其可应用于需要快速响应的场景。模型已开源,支持兼容LoRA模块和其他控制插件,可广泛用于文本到图像生成任务。

FiT是一种基于transformer的无限制分辨率和纵横比的图片生成模型。

FiT是一个基于transformer的无限制分辨率和纵横比的图像生成模型。它能够生成任意分辨率和纵横比的图片。FiT的优势在于能够进行无限制分辨率的外推生成,展现了卓越的分辨率拓展生成能力。FiT使用了transformer作为主要架构,并在ImageNet数据集上进行预训练。

Sora AI 开发的纯文本到视频生成模型

Sora 是 OpenAI 开发的文本到视频生成模型,能够根据文本描述生成长达1分钟的逼真图像序列。它具有理解和模拟物理世界运动的能力,目标是训练出帮助人们解决需要实物交互的问题的模型。Sora 可以解释长篇提示,根据文本输入生成各种人物、动物、景观和城市景象。它的缺点是难以准确描绘复杂场景的物理学以及理解因果关系。

开放式基于提示的图像生成

GLIGEN是一个开放式的基于文本提示的图像生成模型,它可以基于文本描述和边界框等限定条件生成图像。该模型通过冻结预训练好的文本到图像Diffusion模型的参数,并在其中插入新的数据来实现。这种模块化设计可以高效地进行训练,并具有很强的推理灵活性。GLIGEN可以支持开放世界的有条件图像生成,对新出现的概念和布局也具有很强的泛化能力。

Stability AI推出高效低阈值文生图AI模型

Stable Cascade是一个基于Würstchen架构的文本到图像生成模型,相比其他模型使用更小的潜在空间进行训练和推理,因此在训练和推理速度上都有显著提升。该模型可以在消费级硬件上运行,降低了使用门槛。Stable Cascade在人类评估中表现突出,无论是在提示对齐还是图像质量上都超过了其他模型。总体而言,这是一个高效、易用、性能强劲的文生图AI模型。

大规模视频生成扩散模型

Sora是一个基于大规模训练的文本控制视频生成扩散模型。它能够生成长达1分钟的高清视频,涵盖广泛的视觉数据类型和分辨率。Sora通过在视频和图像的压缩潜在空间中训练,将其分解为时空位置补丁,实现了可扩展的视频生成。Sora还展现出一些模拟物理世界和数字世界的能力,如三维一致性和交互,揭示了继续扩大视频生成模型规模来发展高能力模拟器的前景。

ActAnywhere是一个主体感知视频背景生成模型。

ActAnywhere是一个用于自动生成与前景主体运动和外观相符的视频背景的生成模型。该任务涉及合成与前景主体运动和外观相一致的背景,同时也符合艺术家的创作意图。ActAnywhere利用大规模视频扩散模型的力量,并专门定制用于此任务。ActAnywhere以一系列前景主体分割作为输入,以描述所需场景的图像作为条件,生成与条件帧相一致的连贯视频,同时实现现实的前景和背景交互。该模型在大规模人机交互视频数据集上进行训练。大量评估表明该模型的性能明显优于基准,可以泛化到各种分布样本,包括非人类主体。

开源的3D生成模型评价工具

GPTEval3D是一个开源的3D生成模型评价工具,基于GPT-4V实现了对文本到3D生成模型的自动评测。它可以计算生成模型的ELO分数,并与现有模型进行对比排名。该工具简单易用,支持用户自定义评测数据集,可以充分发挥GPT-4V的评测效果,是研究3D生成任务的有力工具。

视频生成模型的一致性初始化方法

FreeInit是一个简单有效的方法,用于提高视频生成模型的时间一致性。它不需要额外的训练,也不引入可学习的参数,可以很容易地在任意视频生成模型的推理时集成使用。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

基于扩散的轨迹控制视频生成

TrailBlazer 是一种基于扩散的视频生成模型，可以通过轨迹控制实现视频的定制。用户可以使用简单的边界框来引导视频中的主体，而无需进行额外的模型训练或在线优化。TrailBlazer 支持空间和时间关注地图的编辑，以及通过关键帧边界框和提示来控制主体的轨迹和外观。该模型操作简单高效，生成的视频效果自然流畅。TrailBlazer 适用于各种用户场景，提供创意无限的视频生成体验。

SCEdit是一个高效和可控制的图像扩散生成框架

SCEdit是一个由阿里巴巴提出的高效的生成模型精调框架。该框架增强了下游文本到图像生成任务的精调能力,并实现了对特定生成场景的快速适配,相比LoRA可以节省30%-50%的训练内存成本。此外,它可以直接扩展到可控图像生成任务,只需要ControlNet条件生成所需参数量的7.9%,并可以节省30%的内存使用。它支持各种条件生成任务,包括边缘图、深度图、分割图、姿态、色彩图以及图像补全等。

StemGen: 一款聆听音乐生成模型

StemGen是一款端到端音乐生成模型，训练成能够聆听音乐背景并做出适当回应的模型。它建立在非自回归语言模型类型的架构上，类似于SoundStorm和VampNet。更多细节请参阅论文。该页面展示了该架构模型的多个示例输出。

生成高质量的3D纹理形状

GET3D是一个生成高质量的3D纹理形状的生成模型。它能够生成具有复杂拓扑结构、丰富几何细节和高保真度纹理的3D网格。GET3D通过可微分的表面建模、可微分的渲染以及2D生成对抗网络的方法进行训练。它能够生成各种高质量的3D纹理形状，包括汽车、椅子、动物、摩托车、人物和建筑等。

先进的AI音乐生成器

Hydra是Rightsify推出的先进AI音乐生成模型，适用于商业和艺术应用。它基于Rightsify庞大的音乐库，可以生成独特的版权清晰音乐。无限制创作，商业使用。内置庞大的训练集和强大的技术支持，只专注于乐器音乐。可定制生成长度和音效。适用于背景音乐、数字媒体平台、教育、广告和更多场景。

生成你的AI化身视频

X-Me是一个先进的AI预训练视觉生成模型，可以快速自我克隆和动态视频创建。我们提供生成AI化身视频的服务，用户只需输入文本即可生成个性化的AI化身视频。我们致力于以道德和安全的方式开发和应用先进的AI技术，为人类带来积极影响。

AI驱动的文本到视频生成

Emu Video是一种基于扩散模型的简单文本到视频生成方法，将生成过程分解为两个步骤：首先根据文本提示生成图像，然后根据提示和生成的图像生成视频。分解生成方式能够高效训练高质量的视频生成模型。与以往的方法相比，我们的方法只需使用两个扩散模型即可生成分辨率为512像素、播放速度为每秒16帧、时长为4秒的视频。

AI开发者平台

GraphQL AI是为开发者提供的一站式AI平台。通过我们的AI开发者平台，轻松启动您的工具、机器人和聊天助手！您可以创建独立的上下文，使用各种图像生成模型创建出色的内容，还可以使用最新的AI算法训练聊天机器人。

无代码，自动化机器学习

Qlik AutoML是一款为分析团队提供无代码、自动化机器学习的工具。它能够快速生成模型、进行预测和决策规划。用户可以轻松创建机器学习实验，识别数据中的关键因素并训练模型。同时，它还支持完全可解释的AI，可以展示预测的原因和影响。用户可以将数据发布或直接集成到Qlik Sense应用中进行全交互式分析和模拟。

阿里国际AI团队打造 电商做图神器

Pic Copilot是一个利用图像生成模型为电商提供的AI驱动图片优化工具。它能够通过对大量图片点击量数据的训练,有效提高图片的点击转化率,从而优化电商的营销效果。其关键优势是提高图片的点击转化率,从而提升电商营销效果。它是阿里巴巴团队训练的数据结果,能够显著优化图片的点击转化表现。

真实图像补全的参考驱动生成

RealFill是一种图像补全的生成模型，通过使用少量场景的参考图像，能够填充图像中的缺失区域，并生成与原始场景相符的视觉内容。RealFill通过在参考图像和目标图像上微调预训练的图像补全扩散模型来创建个性化的生成模型。该模型不仅保持了良好的图像先验，还学习了输入图像中的内容、光照和风格。然后，我们使用这个微调后的模型通过标准的扩散采样过程来填充目标图像中的缺失区域。RealFill在一个包含多种复杂场景的新的图像补全基准测试中进行了评估，并发现其在性能上大大优于现有方法。