Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。
需求人群：
"目标受众为时尚设计师、服装零售商以及虚拟试穿技术爱好者。Fashion-VDM能够帮助设计师和零售商在不实际生产服装的情况下，为客户提供虚拟试穿体验，减少库存成本，同时为技术爱好者提供前沿的AI试穿技术体验。"
使用场景示例：
时尚设计师使用Fashion-VDM为客户创建个性化的试穿视频。
电商平台利用Fashion-VDM提供在线试衣间服务，提升用户购物体验。
服装品牌通过Fashion-VDM在社交媒体上展示新款服装的试穿效果，吸引潜在顾客。
产品特色：
- 视频扩散模型：生成高质量的虚拟试穿视频。
- 保持人物身份和动作：在试穿过程中保留人物的原始特征。
- 分类器自由引导：增强对条件输入的控制。
- 渐进式时间训练：提高视频生成的时间一致性。
- 联合图像-视频训练：在视频数据有限时提高训练效果。
- 3D-Conv和时间注意力块：维持视频的时间连贯性。
- 多条件信号控制：独立控制多个条件信号。
使用教程：
1. 准备输入衣物图片和人物视频。
2. 将输入数据上传至Fashion-VDM模型。
3. 选择所需的试穿效果和参数设置。
4. 启动模型生成虚拟试穿视频。
5. 观察并评估生成的视频质量，确保衣物细节和时间一致性。
6. 如有需要，调整参数并重新生成视频直至满意。
7. 将生成的虚拟试穿视频用于设计评估、客户展示或其他用途。
浏览量：89
视频扩散模型，用于虚拟试穿。
Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。
基于扩散模型的高保真服装重建虚拟试穿技术
TryOffDiff是一种基于扩散模型的高保真服装重建技术，用于从穿着个体的单张照片中生成标准化的服装图像。这项技术与传统的虚拟试穿不同，它旨在提取规范的服装图像，这在捕捉服装形状、纹理和复杂图案方面提出了独特的挑战。TryOffDiff通过使用Stable Diffusion和基于SigLIP的视觉条件来确保高保真度和细节保留。该技术在VITON-HD数据集上的实验表明，其方法优于基于姿态转移和虚拟试穿的基线方法，并且需要较少的预处理和后处理步骤。TryOffDiff不仅能够提升电子商务产品图像的质量，还能推进生成模型的评估，并激发未来在高保真重建方面的工作。
开源视频生成模型
genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。
一种通过计数事实数据集和自举监督实现真实物体删除和插入的方法
ObjectDrop是一种监督方法,旨在实现照片级真实的物体删除和插入。它利用了一个计数事实数据集和自助监督技术。主要功能是可以从图像中移除物体及其对场景产生的影响(如遮挡、阴影和反射),也能够将物体以极其逼真的方式插入图像。它通过在一个小型的专门捕获的数据集上微调扩散模型来实现物体删除,而对于物体插入,它采用自助监督方式利用删除模型合成大规模的计数事实数据集,在此数据集上训练后再微调到真实数据集,从而获得高质量的插入模型。相比之前的方法,ObjectDrop在物体删除和插入的真实性上有了显著提升。
基于扩散模型的2D视频生成系统，实现人-物交互动画。
AnchorCrafter是一个创新的扩散模型系统，旨在生成包含目标人物和定制化对象的2D视频，通过人-物交互（HOI）的集成，实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力，并分离人和物的外观；HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战，实现复杂的人-物交互。此外，HOI区域重新加权损失作为训练目标，增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时，也维持了人物外观和运动的一致性，对于在线商务、广告和消费者参与等领域具有重要意义。
多功能大规模扩散模型，支持双向图像合成与理解。
OneDiffusion是一个多功能、大规模的扩散模型，它能够无缝支持双向图像合成和理解，覆盖多种任务。该模型预计将在12月初发布代码和检查点。OneDiffusion的重要性在于其能够处理图像合成和理解任务，这在人工智能领域是一个重要的进步，尤其是在图像生成和识别方面。产品背景信息显示，这是一个由多位研究人员共同开发的项目，其研究成果已在arXiv上发表。
文本图像到视频生成模型
Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。
视频生成模型Sora的存档库
SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示，这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4，帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术，它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频，为研究和教育提供了宝贵的资源。
基于DiT的视频生成模型，实时生成高质量视频。
LTX-Video是由Lightricks开发的首个基于DiT的视频生成模型，能够实时生成高质量的视频内容。该模型以24 FPS的速度生成768x512分辨率的视频，速度超过观看速度。模型经过大规模多样化视频数据集的训练，能够生成高分辨率且内容真实多样的视频。LTX-Video支持文本到视频(text-to-video)以及图像+文本到视频(image+text-to-video)的应用场景。
根据人类指令修复和编辑照片的框架
PromptFix是一个综合框架，能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集，提出了高频引导采样方法来控制去噪过程，并设计了辅助提示适配器，利用视觉语言模型增强文本提示，提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法，并在盲恢复和组合任务中展现出优越的零样本能力。
大规模视频生成的自回归扩散模型
MarDini是Meta AI Research推出的一款视频扩散模型，它将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成，支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效，将大部分计算资源分配给低分辨率规划模型，使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆，并且在几次推理步骤内，就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。
视频扩散模型加速工具，无需训练即可生成高质量视频内容。
FasterCache是一种创新的无需训练的策略，旨在加速视频扩散模型的推理过程，并生成高质量的视频内容。这一技术的重要性在于它能够显著提高视频生成的效率，同时保持或提升内容的质量，这对于需要快速生成视频内容的行业来说是非常有价值的。FasterCache由来自香港大学、南洋理工大学和上海人工智能实验室的研究人员共同开发，项目页面提供了更多的视觉结果和详细信息。产品目前免费提供，主要面向视频内容生成、AI研究和开发等领域。
视频生成评估基准测试
Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。
行业领先的面部操作平台
FaceFusion Labs 是一个专注于面部操作的领先平台，它利用先进的技术来实现面部特征的融合和操作。该平台主要优点包括高精度的面部识别和融合能力，以及对开发者友好的API接口。FaceFusion Labs 背景信息显示，它在2024年10月15日进行了初始提交，由Henry Ruhs主导开发。产品定位为开源项目，鼓励社区贡献和协作。
逆向绘画技术，重现绘画过程
Inverse Painting 是一种基于扩散模型的方法，能够从一幅目标画作生成绘画过程的时间流逝视频。该技术通过训练学习真实艺术家的绘画过程，能够处理多种艺术风格，并生成类似人类艺术家的绘画过程视频。它结合了文本和区域理解，定义了一组绘画指令，并使用新颖的扩散基础渲染器更新画布。该技术不仅能够处理训练中有限的丙烯画风格，还能为广泛的艺术风格和流派提供合理的结果。
重新定义视频创作
Hailuo AI Video Generator 是一款利用人工智能技术，根据文本提示自动生成视频内容的工具。它通过深度学习算法，将用户的文字描述转化为视觉图像，极大地简化了视频制作流程，提高了创作效率。该产品适用于需要快速生成视频内容的个人和企业，特别是在广告、社交媒体内容制作和电影预览等领域。
数字人模型，支持生成普通话视频
JoyHallo是一个数字人模型，专为普通话视频生成而设计。它通过收集来自京东健康国际有限公司员工的29小时普通话视频，创建了jdh-Hallo数据集。该数据集覆盖了不同年龄和说话风格，包括对话和专业医疗话题。JoyHallo模型采用中国wav2vec2模型进行音频特征嵌入，并提出了一种半解耦结构来捕捉唇部、表情和姿态特征之间的相互关系，提高了信息利用效率，并加快了推理速度14.3%。此外，JoyHallo在生成英语视频方面也表现出色，展现了卓越的跨语言生成能力。
集成空间编织注意力，提升扩散模型的高保真条件
HelloMeme是一个集成了空间编织注意力的扩散模型，旨在将高保真和丰富的条件嵌入到图像生成过程中。该技术通过提取驱动视频中的每一帧特征，并将其作为输入到HMControlModule，从而生成视频。通过进一步优化Animatediff模块，提高了生成视频的连续性和保真度。此外，HelloMeme还支持通过ARKit面部混合形状控制生成的面部表情，以及基于SD1.5的Lora或Checkpoint，实现了框架的热插拔适配器，不会影响T2I模型的泛化能力。
免费的惊艳虚拟换装工具
Kolors虚拟试妆AI是一种创新的人工智能技术，它允许用户在不实际穿着的情况下虚拟试穿衣服。用户可以通过上传个人照片和所需衣物的图像，AI会生成用户穿着所选服装的真实可视化效果。这项技术不仅为用户带来了便利，使他们能够从舒适的家中尝试不同的风格，而且还通过提供个性化的时尚体验来提高购物体验的准确性和效率。对于服装零售商来说，Kolors虚拟试穿AI提供了对用户试穿数据的深入分析，使他们能够了解市场趋势和消费者偏好，从而优化产品线和营销策略。
为ComfyUI提供Luma AI API的自定义节点。
ComfyUI-LumaAI-API是一个为ComfyUI设计的插件，它允许用户直接在ComfyUI中使用Luma AI API。Luma AI API基于Dream Machine视频生成模型，由Luma开发。该插件通过提供多种节点，如文本到视频、图像到视频、视频预览等，极大地丰富了视频生成的可能性，为视频创作者和开发者提供了便捷的工具。
提升基于拖拽的图像编辑的交互性和速度
InstantDrag是一个优化自由的流程，它通过仅使用图像和拖拽指令作为输入，增强了交互性和速度。该技术由两个精心设计的网络组成：拖拽条件的光流生成器（FlowGen）和光流条件的扩散模型（FlowDiffusion）。InstantDrag通过将任务分解为运动生成和运动条件图像生成，学习了基于真实世界视频数据集的拖拽图像编辑的运动动态。它能够在不需要掩码或文本提示的情况下，快速执行逼真的编辑，这使得它成为交互式、实时应用的有前景的解决方案。
统一的图像生成框架，简化多任务图像生成。
OmniGen是一个创新的扩散框架，它将多种图像生成任务统一到单一模型中，无需特定任务的网络或微调。这一技术简化了图像生成流程，提高了效率，降低了开发和维护成本。
谷歌旗下领先的人工智能研究公司
Google DeepMind 是谷歌旗下的一家领先的人工智能公司，专注于开发先进的机器学习算法和系统。DeepMind 以其在深度学习和强化学习领域的开创性工作而闻名，其研究涵盖了从游戏到医疗保健等多个领域。DeepMind 的目标是通过构建智能系统来解决复杂的问题，推动科学和医学的进步。
专注于计算机视觉和机器学习领域的研究与创新的博客网站
Shangchen Zhou 是一位在计算机视觉和机器学习领域有着深厚研究背景的博士生，他的工作主要集中在视觉内容增强、编辑和生成AI（2D和3D）上。他的研究成果广泛应用于图像和视频的超分辨率、去模糊、低光照增强等领域，为提升视觉内容的质量和用户体验做出了重要贡献。
多件服装虚拟试穿和编辑技术
M&M VTO是一种混合搭配的虚拟试穿方法，它接受多张服装图片、服装布局的文本描述以及一个人的图片作为输入，输出是这些服装在指定布局下穿在给定人物身上的可视化效果。该技术的主要优点包括：单阶段扩散模型，无需超分辨率级联，能够在1024x512分辨率下混合搭配多件服装，同时保留和扭曲复杂的服装细节；架构设计（VTO UNet Diffusion Transformer）能够分离去噪和人物特定特征，实现高效的身份保留微调策略；通过文本输入控制多件服装的布局，专门针对虚拟试穿任务微调。M&M VTO在定性和定量方面都达到了最先进的性能，并为通过语言引导和多件服装试穿开辟了新的可能性。
生成视频的开源模型
CogVideoX是一个开源的视频生成模型，由清华大学团队开发，支持从文本描述生成视频。它提供了多种视频生成模型，包括入门级和大型模型，以满足不同质量和成本需求。模型支持多种精度，包括FP16和BF16，推荐使用与模型训练时相同的精度进行推理。CogVideoX-5B模型特别适用于需要生成高质量视频内容的场景，如电影制作、游戏开发和广告创意。
统一多模态理解和生成的单一变换器
Show-o是一个用于多模态理解和生成的单一变换器模型，它能够处理图像字幕、视觉问答、文本到图像生成、文本引导的修复和扩展以及混合模态生成。该模型由新加坡国立大学的Show Lab和字节跳动共同开发，采用最新的深度学习技术，能够理解和生成多种模态的数据，是人工智能领域的一大突破。
© 2024 AIbase 备案号：闽ICP备08105208号-14