需求人群:
"SPRIGHT可应用于任何需要生成具有合理空间布局的图像的场景,如室内设计、平面布局、机器人环境模拟等。"
使用场景示例:
一间带有壁炉的客厅,沙发在壁炉的右侧,茶几在沙发前方。
一个装满水果的篮子,苹果在左侧,香蕉在右侧,桔子在中间。
一座城市的街景,高楼大厦在道路的两侧,路中间有一个喷泉。
产品特色:
大规模空间关系数据集SPRIGHT
在具有大量物体的图像上微调训练以优化空间一致性
在多个基准测试中实现了空间一致性的最新水平
提高了图像质量评分FID和CMMD
浏览量:95
最新流量情况
月访问量
1151
平均访问时长
00:00:00
每次访问页数
0.18
跳出率
68.70%
流量来源
直接访问
0
自然搜索
0
邮件
0
外链引荐
0
社交媒体
0
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
印度尼西亚
46.27%
意大利
27.36%
印度
26.37%
开源的基于流的文本到图像生成模型
AuraFlow v0.1是一个完全开源的、基于流的文本到图像生成模型,它在GenEval上达到了最先进的结果。目前模型处于beta阶段,正在不断改进中,社区反馈至关重要。感谢两位工程师@cloneofsimo和@isidentical将此项目变为现实,以及为该项目奠定基础的研究人员。
集成聊天、文本转图像、文本转语音和机器翻译的桌面应用
Rodel Agent 是一款集成了聊天、文本到图像、文本到语音以及机器翻译功能的Windows桌面应用程序。它支持当前主流的AI服务,为用户提供了卓越的桌面AI体验。该产品的主要优点包括强大的集成功能、用户友好的界面以及对主流AI服务的支持,能够显著提高用户的工作效率和创造力。
超高清图像合成技术的新高峰
UltraPixel是一种先进的超高清图像合成技术,旨在推动图像分辨率达到新的高度。这项技术由香港科技大学(广州)、华为诺亚方舟实验室、马克斯·普朗克信息学研究所等机构共同研发。它在图像合成、文本到图像的转换、个性化定制等方面具有显著优势,能够生成高达4096x4096分辨率的图像,满足专业图像处理和视觉艺术的需求。
全能型图像生成与编辑模型
ControlNet++是一种基于ControlNet架构的新型网络设计,支持10多种控制类型,用于条件文本到图像的生成,并能生成与midjourney视觉可比的高分辨率图像。它通过两个新模块扩展了原有ControlNet,支持使用相同网络参数的不同图像条件,并支持多条件输入而不增加计算负担。该模型已开源,旨在让更多人享受图像生成与编辑的便利。
用于 Kwai-Kolors 文本到图像模型的扩散器包装器
ComfyUI-KwaiKolorsWrapper 是一个为 Kwai-Kolors 文本到图像模型设计的 Diffusers 包装器。它使用户能够通过 Diffusers 库方便地运行 Kwai-Kolors 的文本到图像生成流程。该插件支持从 Hugging Face 直接下载模型,并提供了量化模型以减少 VRAM 使用,适用于需要高效率图像生成的开发者和设计师。
基于潜在扩散模型的大规模文本到图像生成模型
Kolors是由快手Kolors团队开发的大规模文本到图像生成模型,基于潜在扩散模型,训练于数十亿文本-图像对。它在视觉质量、复杂语义准确性以及中英文文本渲染方面,均优于开源和闭源模型。Kolors支持中英文输入,尤其在理解及生成中文特定内容方面表现突出。
复古风格卡通模型,融合动漫与北欧卡通元素。
Midsommar Cartoon是一款将复古风格与动漫元素结合的图像生成模型。它基于stable-diffusion技术,通过文本到图像的转换,能够生成具有北欧卡通特色的插画。该模型支持在Inference API上加载,使用户能够轻松地将文本描述转化为视觉图像。
生成高质量图像描述的AI模型
HunyuanCaptioner是一款基于LLaVA实现的文本到图像技术模型,能够生成与图像高度一致的文本描述,包括物体描述、物体关系、背景信息、图像风格等。它支持中文和英文的单图和多图推理,并可通过Gradio进行本地演示。
快速生成高质量图像的扩散模型
Flash Diffusion 是一种高效的图像生成模型,通过少步骤生成高质量的图像,适用于多种图像处理任务,如文本到图像、修复、超分辨率等。该模型在 COCO2014 和 COCO2017 数据集上达到了最先进的性能,同时训练时间少,参数数量少。
评估图像生成模型在不同地理区域的质量、多样性和一致性。
DIG-In是一个用于评估文本到图像生成模型在不同地理区域中质量、多样性和一致性差异的库。它使用GeoDE和DollarStreet作为参考数据集,通过计算生成图像的相关特征和精度、覆盖度指标,以及使用CLIPScore指标来衡量模型的表现。该库支持研究人员和开发者对图像生成模型进行地理多样性的审计,以确保其在全球范围内的公平性和包容性。
多模态文本到图像生成模型
EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型,能够接受多模态提示,通过创新的多模态特征连接器设计,有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数,并仅调整一些额外层,揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架,是生成个性化和上下文感知图像甚至视频的灵活有效工具。
AI内容生成研究组织
InstantX是一个专注于AI内容生成的独立研究组织,致力于文本到图像的生成技术。其研究项目包括风格保持的文本到图像生成(InstantStyle)和零样本身份保持生成(InstantID)。该组织通过GitHub社区进行项目更新和交流,推动AI在图像生成领域的应用和发展。
先进的文本到图像AI模型,实现高质量图像生成。
Stable Diffusion 3 Medium是Stability AI迄今为止发布的最先进文本到图像生成模型。它具有2亿参数,提供出色的细节、色彩和光照效果,支持多种风格。模型对长文本和复杂提示的理解能力强,能够生成具有空间推理、构图元素、动作和风格的图像。此外,它还实现了前所未有的文本质量,减少了拼写、字距、字母形成和间距的错误。模型资源效率高,适合在标准消费级GPU上运行,且具备微调能力,可以吸收小数据集中的细微细节,非常适合定制化。
文本到视频生成的创新模型,实现姿势引导的动画制作。
Follow-Your-Pose是一个文本到视频生成的模型,它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值,解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案,结合预训练的文本到图像模型,实现了姿势可控的视频生成。
快速个性化文本到图像模型
HyperDreamBooth是由Google Research开发的一种超网络,用于快速个性化文本到图像模型。它通过从单张人脸图像生成一组小型的个性化权重,结合快速微调,能够在多种上下文和风格中生成具有高主题细节的人脸图像,同时保持模型对多样化风格和语义修改的关键知识。
高效能的文本到图像生成模型
SDXL Flash是由SD社区与Project Fluently合作推出的文本到图像生成模型。它在保持生成图像质量的同时,提供了比LCM、Turbo、Lightning和Hyper更快的处理速度。该模型基于Stable Diffusion XL技术,通过优化步骤和CFG(Guidance)参数,实现了图像生成的高效率和高质量。
基于文本的视频编辑技术,使用时空切片。
Slicedit是一种零样本视频编辑技术,它利用文本到图像的扩散模型,并结合时空切片来增强视频编辑中的时序一致性。该技术能够保留原始视频的结构和运动,同时符合目标文本描述。通过广泛的实验,证明了Slicedit在编辑真实世界视频方面具有明显优势。
Imagen 3是我们质量最高的文本到图像模型,能够生成具有更好细节、更丰富光照和更少干扰性伪影的图像。
Imagen 3是我们质量最高的文本到图像模型,能够生成具有更好细节、更丰富光照和更少干扰性伪影的图像。Imagen 3通过改进文本理解能力,可以生成多种视觉风格的图像,并捕捉长文本提示中的小细节。Imagen 3可用于生成快速草图到高分辨率图像等不同类型任务,并提供多个优化版本。
谷歌高质量文本到图像模型,生成逼真、生活化图像。
Imagen 3 是谷歌一个先进的文本到图像的生成模型,它能够生成具有极高细节水平和逼真效果的图像,并且相较于之前的模型,其视觉干扰元素显著减少。该模型对自然语言的理解更为深入,能够更好地把握提示背后的意图,并从更长的提示中提取细节。此外,Imagen 3 在渲染文本方面表现出色,为个性化生日信息、演示文稿标题幻灯片等提供了新的可能性。
一种用于生成超详细图像描述的模型,用于训练视觉语言模型。
ImageInWords (IIW) 是一个由人类参与的循环注释框架,用于策划超详细的图像描述,并生成一个新的数据集。该数据集通过评估自动化和人类并行(SxS)指标来实现最先进的结果。IIW 数据集在生成描述时,比以往的数据集和GPT-4V输出在多个维度上有了显著提升,包括可读性、全面性、特异性、幻觉和人类相似度。此外,使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色,能够生成更接近原始图像的描述。
一种用于增强身份保留文本到图像生成的反馈学习框架
ID-Aligner 是一种用于增强身份保留文本到图像生成的反馈学习框架,它通过奖励反馈学习来解决身份特征保持、生成图像的审美吸引力以及与LoRA和Adapter方法的兼容性问题。该方法利用面部检测和识别模型的反馈来提高生成的身份保留,并通过人类标注偏好数据和自动构建的反馈来提供审美调整信号。ID-Aligner 适用于LoRA和Adapter模型,通过广泛的实验验证了其有效性。
4K文本到图像生成的扩散变换器
PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合,用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成,提供了多种功能和优势,如快速体验、用户友好的代码库和多种模型选择。
先进的文本到图像生成系统
Stable Diffusion 3是一款先进的文本到图像生成系统,它在排版和提示遵循方面与DALL-E 3和Midjourney v6等顶尖系统相匹敌或更优。该系统采用新的多模态扩散变换器(MMDiT)架构,使用不同的权重集来改善图像和语言的表示,从而提高文本理解和拼写能力。Stable Diffusion 3 API现已在Stability AI开发者平台上线,与Fireworks AI合作提供快速可靠的API服务,并承诺在不久的将来通过Stability AI会员资格开放模型权重以供自托管。
AI创造性视觉的突破性AI
Stable Diffusion 3是Stability AI推出的最新创新,为创造性图像生成带来突破性的AI。它提供了改进的文本到图像生成算法、多模态能力和用户友好的许可证,免费使用SDXLTurbo.ai。革新设计、动画、游戏等领域,提升文本到图像生成、多模态能力和用户友好的许可证。探索、创造、转化。
提升文本到图像生成的可控性
ControlNet++是一种新型的文本到图像扩散模型,通过显式优化生成图像与条件控制之间的像素级循环一致性,显著提高了在各种条件控制下的可控性。它通过使用预训练的判别性奖励模型来提取生成图像的对应条件,并优化输入条件控制与提取条件之间的一致性损失。此外,ControlNet++引入了一种高效的奖励策略,通过向输入图像中添加噪声来扰动图像,然后使用单步去噪图像进行奖励微调,避免了与图像采样相关的大量时间和内存成本。
基于预训练的文本到图像模型生成高质量、多视角一致的3D物体图像。
ViewDiff 是一种利用预训练的文本到图像模型作为先验知识,从真实世界数据中学习生成多视角一致的图像的方法。它在U-Net网络中加入了3D体积渲染和跨帧注意力层,能够在单个去噪过程中生成3D一致的图像。与现有方法相比,ViewDiff生成的结果具有更好的视觉质量和3D一致性。
用于评估文本到视觉生成的创新性指标和基准测试
Evaluating Text-to-Visual Generation with Image-to-Text Generation提出了一种新的评估指标VQAScore,能够更好地评估复杂的文本到视觉生成效果,并引入了GenAI-Bench基准测试集。VQAScore基于CLIP-FlanT5模型,能够在文本到图像/视频/3D生成评估中取得最佳性能,是一种强大的替代CLIPScore的方案。GenAI-Bench则提供了包含丰富组合语义的实际场景测试文本,可用于全面评估生成模型的性能。
使用 LCM-Lookahead 技术的文本到图像个性化模型
LCM-Lookahead for Encoder-based Text-to-Image Personalization 是一种使用 LCM-Lookahead 技术的文本到图像个性化模型,它可以通过在模型训练和分类器指导中传播图像空间损失来实现更好的身份保真度,同时保留布局多样性和提示对齐。
© 2024 AIbase 备案号:闽ICP备08105208号-14