提升生成模型质量和加速推理的项目
UniFL是一个项目,旨在提升生成模型质量和加速推理速度。它通过感知反馈学习、解耦反馈学习和对抗性反馈学习三个关键组件,有效解决了当前扩散模型存在的图像质量、美学吸引力和推理速度等问题。经过实验验证和用户研究,UniFL在多个扩散模型上展现出显著的性能提升和强大的泛化能力。
CosXL模型调整为使用余弦连续EDM VPred调度,可产生全色彩范围图像。
Cos Stable Diffusion XL 1.0 Base调整为使用余弦连续EDM VPred调度。最重要的特性是其产生从纯黑到纯白的全色彩范围图像,同时对图像每一步的变化率进行了更细微的改进。 Edit Stable Diffusion XL 1.0 Base调整为使用余弦连续EDM VPred调度,并升级为执行图像编辑。此模型以源图像和提示作为输入,将提示解释为如何改变图像的指令。 定价:免费使用。 定位:用于生成艺术品、设计等创意过程中,在教育或创意工具中的应用,研究生成模型,部署具有生成有害内容潜力的模型,探究理解生成模型的局限性和偏见。
一款基于指令微调的大型语言模型
Mistral-7B-Instruct-v0.2 是一款基于 Mistral-7B-v0.2 模型进行指令微调的大型语言模型。它拥有 32k 的上下文窗口和 1e6 的 Rope Theta 值等特性。该模型可以根据给定的指令生成相应的文本输出,支持各种任务,如问答、写作、翻译等。通过指令微调,模型可以更好地理解和执行指令。虽然该模型目前还没有针对性的审核机制,但未来将继续优化,以支持更多场景的部署。
Champ:一种用于生成 3D 物体形状的生成模型
Champ 是一种用于生成 3D 物体形状的生成模型,它结合了隐函数和卷积神经网络,以生成高质量、多样化和逼真的 3D 形状。它可以生成各种类别的形状,包括动物、车辆和家具。
提高文本到图像合成质量的一致性蒸馏技术
TCD是一种用于文本到图像合成的一致性蒸馏技术,它通过轨迹一致性函数(TCF)和策略性随机采样(SSS)来减少合成过程中的错误。TCD在低NFE(噪声自由能量)时显著提高图像质量,并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督,即可在低NFE和高NFE时均保持优越的生成质量。
人工智能辅助创意生成图片
Ideogram 1.0是一个文本转图像的生成模型,能够根据文本描述生成高保真的图像。它拥有前沿的文本渲染能力,无与伦比的照片实感和提示符合度,以及名为“魔法提示”的新功能,可以帮助用户为美丽的创意图像编写详细的提示。Ideogram 1.0现已面向所有ideogram.ai的用户开放!您可以在ideogram.ai免费注册,加入我们的全球创作者社区,结识新朋友、分享您的图像和提示、从同行的创造力中汲取灵感。除了每日免费生成量外,我们还推出了付费订阅计划,提供优先生成、私人生成、图像上传和Ideogram编辑器访问等功能。
开放式基于提示的图像生成
GLIGEN是一个开放式的基于文本提示的图像生成模型,它可以基于文本描述和边界框等限定条件生成图像。该模型通过冻结预训练好的文本到图像Diffusion模型的参数,并在其中插入新的数据来实现。这种模块化设计可以高效地进行训练,并具有很强的推理灵活性。GLIGEN可以支持开放世界的有条件图像生成,对新出现的概念和布局也具有很强的泛化能力。
SVD 1.1 Image-to-Video 模型生成短视频
Stable Video Diffusion (SVD) 1.1 Image-to-Video 是一个扩散模型,通过将静止图像作为条件帧,生成相应的视频。该模型是一个潜在扩散模型,经过训练,能够从图像生成短视频片段。在分辨率为 1024x576 的情况下,该模型训练生成 25 帧视频,其训练基于相同大小的上下文帧,并从 SVD Image-to-Video [25 frames] 进行了微调。微调时,固定了6FPS和Motion Bucket Id 127的条件,以提高输出的一致性,而无需调整超参数。
OFT可有效稳定微调文本到图像扩散模型
Controlling Text-to-Image Diffusion研究了如何有效引导或控制强大的文本到图像生成模型进行各种下游任务。提出了正交微调(OFT)方法,可以保持模型的生成能力。OFT可以保持神经元之间的超球面能量不变,防止模型坍塌。作者考虑了两种重要的微调任务:主体驱动生成和可控生成。结果表明,OFT方法在生成质量和收敛速度上优于现有方法。
开源生成模型训练、调优与推理框架
SCEPTER是一个开源代码库,致力于生成式模型的训练、调优和推理,涵盖图像生成、迁移、编辑等一系列下游任务。它整合了社区主流实现以及阿里巴巴通逸实验室自研方法,为生成式领域的研究人员和从业者提供全面、通用的工具集。这个多功能库旨在促进创新,加速这个快速发展的领域的进步。
一个千万级3D形状模型
Make-A-Shape是一个新的3D生成模型,旨在以高效的方式训练大规模数据,能够利用1000万个公开可用的形状。我们创新性地引入了小波树表示法,通过制定子带系数滤波方案来紧凑地编码形状,然后通过设计子带系数打包方案将表示布置在低分辨率网格中,使其可生成扩散模型。此外,我们还提出了子带自适应训练策略,使我们的模型能够有效地学习生成粗细小波系数。最后,我们将我们的框架扩展为受额外输入条件控制,以使其能够从各种模态生成形状,例如单/多视图图像、点云和低分辨率体素。在大量实验中,我们展示了无条件生成、形状完成和条件生成等各种应用。我们的方法不仅在提供高质量结果方面超越了现有技术水平,而且在几秒内高效生成形状,通常在大多数条件下仅需2秒钟。
非刚体3D模型的文本生成和重建框架
AnimatableDreamer是一个从单眼视频中生成和重建可动画非刚体3D模型的框架。它能够生成不同类别的非刚体对象,同时遵循从视频中提取的对象运动。关键技术是提出的典范分数蒸馏方法,将生成维度从4D简化到3D,在视频中的不同帧进行降噪,同时在唯一的典范空间内进行蒸馏过程。这样可以保证时间一致的生成和不同姿态下的形态逼真性。借助可微分变形,AnimatableDreamer将3D生成器提升到4D,为非刚体3D模型的生成和重建提供了新视角。此外,与一致性扩散模型的归纳知识相结合,典范分数蒸馏可以从新视角对重建进行正则化,从而闭环增强生成过程。大量实验表明,该方法能够从单眼视频生成高灵活性的文本指导3D模型,同时重建性能优于典型的非刚体重建方法。
基于Transformer的通用领域文本到图像生成
CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。
SCEdit是一个高效和可控制的图像扩散生成框架
SCEdit是一个由阿里巴巴提出的高效的生成模型精调框架。该框架增强了下游文本到图像生成任务的精调能力,并实现了对特定生成场景的快速适配,相比LoRA可以节省30%-50%的训练内存成本。此外,它可以直接扩展到可控图像生成任务,只需要ControlNet条件生成所需参数量的7.9%,并可以节省30%的内存使用。它支持各种条件生成任务,包括边缘图、深度图、分割图、姿态、色彩图以及图像补全等。
基于文本条件的3D发型生成模型
HAAR是一种基于文本输入的生成模型,可生成逼真的3D发型。它采用文本提示作为输入,生成准备用于各种计算机图形动画应用的3D发型资产。与当前基于AI的生成模型不同,HAAR利用3D发丝作为基础表示,通过2D视觉问答系统自动注释生成的合成发型模型。我们提出了一种基于文本引导的生成方法,使用条件扩散模型在潜在的发型UV空间生成引导发丝,并使用潜在的上采样过程重建含有数十万发丝的浓密发型,给定文本描述。生成的发型可以使用现成的计算机图形技术进行渲染。
StemGen: 一款聆听音乐生成模型
StemGen是一款端到端音乐生成模型,训练成能够聆听音乐背景并做出适当回应的模型。它建立在非自回归语言模型类型的架构上,类似于SoundStorm和VampNet。更多细节请参阅论文。该页面展示了该架构模型的多个示例输出。
基于文本描述实现多尺度连续缩放视频生成。
Generative Powers of Ten是一种利用文本到图像模型生成多尺度一致内容的方法,能够实现对场景的极端语义缩放,例如从森林的广角景观视图到树枝上昆虫的微距拍摄。这种表示方式使我们能够渲染连续缩放视频,或者交互式地探索场景的不同尺度。我们通过一种联合多尺度扩散采样方法实现这一点,该方法鼓励在不同尺度之间保持一致性,同时保留每个单独采样过程的完整性。由于每个生成的尺度都由不同的文本提示指导,我们的方法能够实现比传统的超分辨率方法更深层次的缩放,后者可能难以在完全不同的尺度上创建新的上下文结构。我们在图像超分辨率和外部绘制的替代技术上对我们的方法进行了定性比较,并表明我们的方法在生成一致的多尺度内容方面最为有效。
© 2024 AIbase 备案号:闽ICP备2023012347号-1