创意生成AI工具
Adobe Firefly Vector AI是Adobe推出的一系列创意生成AI模型,旨在通过生成AI功能增强创意工作。Firefly模型和服务于Photoshop、Illustrator、Lightroom等Adobe创意应用中。它通过文本到图像、生成填充、生成扩展等功能,帮助用户以前所未有的控制力和创造力生成丰富、逼真的图像和艺术作品。Firefly的训练数据包括Adobe Stock的授权内容、公开许可内容和公共领域内容,确保其商业使用安全。Adobe致力于负责任地开发生成AI,并通过与创意社区的紧密合作,不断改进技术,支持和提升创意过程。
开源的基于流的文本到图像生成模型
AuraFlow v0.1是一个完全开源的、基于流的文本到图像生成模型,它在GenEval上达到了最先进的结果。目前模型处于beta阶段,正在不断改进中,社区反馈至关重要。感谢两位工程师@cloneofsimo和@isidentical将此项目变为现实,以及为该项目奠定基础的研究人员。
基于潜在扩散模型的大规模文本到图像生成模型
Kolors是由快手Kolors团队开发的大规模文本到图像生成模型,基于潜在扩散模型,训练于数十亿文本-图像对。它在视觉质量、复杂语义准确性以及中英文文本渲染方面,均优于开源和闭源模型。Kolors支持中英文输入,尤其在理解及生成中文特定内容方面表现突出。
水彩插画风格的文字到图像生成模型
这是一款基于stabilityai/stable-diffusion-xl-base-1.0的LoRA适应性权重模型,专为生成具有水彩插画风格图像而设计。它通过LoRA技术增强了原有模型的特定风格生成能力,使得用户可以更精确地控制生成图像的风格。
复古风格卡通模型,融合动漫与北欧卡通元素。
Midsommar Cartoon是一款将复古风格与动漫元素结合的图像生成模型。它基于stable-diffusion技术,通过文本到图像的转换,能够生成具有北欧卡通特色的插画。该模型支持在Inference API上加载,使用户能够轻松地将文本描述转化为视觉图像。
异步去噪并行化扩散模型
AsyncDiff 是一种用于并行化扩散模型的异步去噪加速方案,它通过将噪声预测模型分割成多个组件并分配到不同的设备上,实现了模型的并行处理。这种方法显著减少了推理延迟,同时对生成质量的影响很小。AsyncDiff 支持多种扩散模型,包括 Stable Diffusion 2.1、Stable Diffusion 1.5、Stable Diffusion x4 Upscaler、Stable Diffusion XL 1.0、ControlNet、Stable Video Diffusion 和 AnimateDiff。
先进文本生成图像模型
Stable Diffusion 3是由Stability AI开发的最新文本生成图像模型,具有显著进步的图像保真度、多主体处理和文本匹配能力。利用多模态扩散变换器(MMDiT)架构,提供单独的图像和语言表示,支持API、下载和在线平台访问,适用于各种应用场景。
AI内容生成研究组织
InstantX是一个专注于AI内容生成的独立研究组织,致力于文本到图像的生成技术。其研究项目包括风格保持的文本到图像生成(InstantStyle)和零样本身份保持生成(InstantID)。该组织通过GitHub社区进行项目更新和交流,推动AI在图像生成领域的应用和发展。
先进的文本到图像AI模型,实现高质量图像生成。
Stable Diffusion 3 Medium是Stability AI迄今为止发布的最先进文本到图像生成模型。它具有2亿参数,提供出色的细节、色彩和光照效果,支持多种风格。模型对长文本和复杂提示的理解能力强,能够生成具有空间推理、构图元素、动作和风格的图像。此外,它还实现了前所未有的文本质量,减少了拼写、字距、字母形成和间距的错误。模型资源效率高,适合在标准消费级GPU上运行,且具备微调能力,可以吸收小数据集中的细微细节,非常适合定制化。
快速个性化文本到图像模型
HyperDreamBooth是由Google Research开发的一种超网络,用于快速个性化文本到图像模型。它通过从单张人脸图像生成一组小型的个性化权重,结合快速微调,能够在多种上下文和风格中生成具有高主题细节的人脸图像,同时保持模型对多样化风格和语义修改的关键知识。
高效能的文本到图像生成模型
SDXL Flash是由SD社区与Project Fluently合作推出的文本到图像生成模型。它在保持生成图像质量的同时,提供了比LCM、Turbo、Lightning和Hyper更快的处理速度。该模型基于Stable Diffusion XL技术,通过优化步骤和CFG(Guidance)参数,实现了图像生成的高效率和高质量。
基于文本的视频编辑技术,使用时空切片。
Slicedit是一种零样本视频编辑技术,它利用文本到图像的扩散模型,并结合时空切片来增强视频编辑中的时序一致性。该技术能够保留原始视频的结构和运动,同时符合目标文本描述。通过广泛的实验,证明了Slicedit在编辑真实世界视频方面具有明显优势。
谷歌高质量文本到图像模型,生成逼真、生活化图像。
Imagen 3 是谷歌一个先进的文本到图像的生成模型,它能够生成具有极高细节水平和逼真效果的图像,并且相较于之前的模型,其视觉干扰元素显著减少。该模型对自然语言的理解更为深入,能够更好地把握提示背后的意图,并从更长的提示中提取细节。此外,Imagen 3 在渲染文本方面表现出色,为个性化生日信息、演示文稿标题幻灯片等提供了新的可能性。
一个统一的文本到任意模态生成框架
Lumina-T2X是一个先进的文本到任意模态生成框架,它能够将文本描述转换为生动的图像、动态视频、详细的多视图3D图像和合成语音。该框架采用基于流的大型扩散变换器(Flag-DiT),支持高达7亿参数,并能扩展序列长度至128,000个标记。Lumina-T2X集成了图像、视频、3D对象的多视图和语音频谱图到一个时空潜在标记空间中,可以生成任何分辨率、宽高比和时长的输出。
一种用于增强身份保留文本到图像生成的反馈学习框架
ID-Aligner 是一种用于增强身份保留文本到图像生成的反馈学习框架,它通过奖励反馈学习来解决身份特征保持、生成图像的审美吸引力以及与LoRA和Adapter方法的兼容性问题。该方法利用面部检测和识别模型的反馈来提高生成的身份保留,并通过人类标注偏好数据和自动构建的反馈来提供审美调整信号。ID-Aligner 适用于LoRA和Adapter模型,通过广泛的实验验证了其有效性。
4K文本到图像生成的扩散变换器
PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合,用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成,提供了多种功能和优势,如快速体验、用户友好的代码库和多种模型选择。
先进的文本到图像生成系统
Stable Diffusion 3是一款先进的文本到图像生成系统,它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构,使用不同的权重集来改善图像和语言的表示,从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线,与Fireworks AI合作提供快速可靠的API服务,并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。
基于预训练的文本到图像模型生成高质量、多视角一致的3D物体图像。
ViewDiff 是一种利用预训练的文本到图像模型作为先验知识,从真实世界数据中学习生成多视角一致的图像的方法。它在U-Net网络中加入了3D体积渲染和跨帧注意力层,能够在单个去噪过程中生成3D一致的图像。与现有方法相比,ViewDiff生成的结果具有更好的视觉质量和3D一致性。
© 2024 AIbase 备案号:闽ICP备08105208号-14