产品库

从多视角图像创建3D场景

CAT3D是一个利用多视角扩散模型从任意数量的输入图像生成新视角的3D场景的网站。它通过一个强大的3D重建管道，将生成的视图转化为可交互渲染的3D表示。整个处理时间（包括视图生成和3D重建）仅需一分钟。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

根据人类指令修复和编辑照片的框架

PromptFix是一个综合框架，能够使扩散模型遵循人类指令执行各种图像处理任务。该框架通过构建大规模的指令遵循数据集，提出了高频引导采样方法来控制去噪过程，并设计了辅助提示适配器，利用视觉语言模型增强文本提示，提高模型的任务泛化能力。PromptFix在多种图像处理任务中表现优于先前的方法，并在盲恢复和组合任务中展现出优越的零样本能力。

使用多照明合成的扩散方法重新照明辐射场

这是一种通过利用从2D图像扩散模型提取的先验来创建可重新照明的辐射场的方法。该方法能够将单照明条件下捕获的多视图数据转换为具有多照明效果的数据集，并通过3D高斯splats表示可重新照明的辐射场。这种方法不依赖于精确的几何形状和表面法线，因此更适合处理具有复杂几何形状和反射BRDF的杂乱场景。

构建大型世界模型，感知、生成和与3D世界互动

World Labs 是一家专注于空间智能的公司，致力于构建大型世界模型（Large World Models），以感知、生成和与3D世界进行互动。公司由AI领域的知名科学家、教授、学者和行业领导者共同创立，包括斯坦福大学的Fei-Fei Li教授、密歇根大学的Justin Johnson教授等。他们通过创新的技术和方法，如神经辐射场（NeRF）技术，推动了3D场景重建和新视角合成的发展。World Labs 得到了包括Marc Benioff、Jim Breyer等知名投资者的支持，其技术在AI领域具有重要的应用价值和商业潜力。

快速生成带纹理的3D模型

SF3D是一个基于深度学习的3D资产生成模型，它能够从单张图片中快速生成具有UV展开和材质参数的带纹理3D模型。与传统方法相比，SF3D特别针对网格生成进行了训练，集成了快速UV展开技术，能够迅速生成纹理而不是依赖顶点颜色。此外，该模型还能学习材质参数和法线贴图，以提高重建模型的视觉质量。SF3D还引入了一个去照明步骤，有效去除低频照明效果，确保重建的网格在新的照明条件下易于使用。

从单张图片生成3D角色模型

CharacterGen是一个高效的3D角色生成框架，能够从单张输入图片生成具有高质量和一致外观的3D姿势统一的角色网格。它通过流线化的生成管道和图像条件多视图扩散模型，有效校准输入姿势到规范形式，同时保留输入图像的关键属性，解决了多样化姿势带来的挑战。它还采用了基于变换器的通用稀疏视图重建模型，以及纹理反投影策略，生成高质量的纹理图。

从单张图片生成高质量3D网格模型

Unique3D是由清华大学团队开发的一项技术，能够从单张图片中生成高保真度的纹理3D网格模型。这项技术在图像处理和3D建模领域具有重要意义，它使得用户能够快速将2D图像转化为3D模型，为游戏开发、动画制作、虚拟现实等领域提供了强大的技术支持。

一种用于逆渲染的先进学习扩散先验方法，能够从任意图像中恢复物体材质并实现单视图图像重照明。

IntrinsicAnything 是一种先进的图像逆渲染技术，它通过学习扩散模型来优化材质恢复过程，解决了在未知静态光照条件下捕获的图像中物体材质恢复的问题。该技术通过生成模型学习材质先验，将渲染方程分解为漫反射和镜面反射项，利用现有丰富的3D物体数据进行训练，有效地解决了逆渲染过程中的歧义问题。此外，该技术还开发了一种从粗到细的训练策略，利用估计的材质引导扩散模型产生多视图一致性约束，从而获得更稳定和准确的结果。

高效3D网格生成框架

InstantMesh是一个基于LRM架构的前馈框架，用于从单张图像高效生成3D网格。它支持低内存GPU环境，并能生成具有纹理映射的3D网格模型。

一种通过计数事实数据集和自举监督实现真实物体删除和插入的方法

ObjectDrop是一种监督方法,旨在实现照片级真实的物体删除和插入。它利用了一个计数事实数据集和自助监督技术。主要功能是可以从图像中移除物体及其对场景产生的影响(如遮挡、阴影和反射),也能够将物体以极其逼真的方式插入图像。它通过在一个小型的专门捕获的数据集上微调扩散模型来实现物体删除,而对于物体插入,它采用自助监督方式利用删除模型合成大规模的计数事实数据集,在此数据集上训练后再微调到真实数据集,从而获得高质量的插入模型。相比之前的方法,ObjectDrop在物体删除和插入的真实性上有了显著提升。

CRM是一个高保真的单图像到3D纹理网格的卷积重建模型

CRM是一个高保真的单图像到3D纹理网格的生成模型，它通过整合几何先验到网络设计中，能够从单个输入图像生成六个正交视图图像，然后利用卷积U-Net创建高分辨率的三平面（triplane）。CRM进一步使用Flexicubes作为几何表示，便于在纹理网格上进行直接的端到端优化。整个模型能够在10秒内从图像生成高保真的纹理网格，无需测试时优化。

GauHuman是一个3D人体模型，利用高斯扩散进行快速训练和实时渲染。

GauHuman是一个基于高斯扩散的3D人体模型，它能在短时间内（1-2分钟）完成训练，并提供实时渲染（最高达189 FPS），与现有基于NeRF的隐式表示建模框架相比，后者需要数小时训练和每帧数秒渲染。GauHuman在规范空间对高斯扩散进行编码，并利用线性混合皮肤（LBS）将3D高斯从规范空间转换到姿态空间，在此过程中设计了有效的姿态和LBS细化模块，以微不足道的计算成本学习3D人体的细节。此外，GauHuman还通过3D人体先验初始化和修剪3D高斯，并通过KL散度引导进行拆分/克隆，以及进一步加速的新型合并操作，从而实现快速优化。

Photoshop与SD/SDForge/ComfyUI之间的通信插件

sd-ppp是一个允许用户在Adobe Photoshop和各种Stable Diffusion界面（如SD/SDForge/ComfyUI）之间进行通信的插件。它支持多层操作，包括文本层和图像层，能够处理多个文档和多个Photoshop实例，并允许用户在文档的特定区域工作。该插件对于设计师和艺术家来说是一个强大的工具，因为它可以简化工作流程，提高创作效率，并允许他们利用Stable Diffusion的强大功能来增强他们的设计和艺术作品。

AI技术预览纹身去除效果，辅助决策

AI Tattoo Removal是一个利用人工智能技术展示纹身去除效果的先进工具。它提供了多种可视化选项和用户友好的界面，适用于考虑纹身去除的个人和专业纹身去除专家。该平台使用尖端的机器学习算法分析并展示纹身去除进度，用户可以查看不同的去除阶段、结果和治疗方案，以更好地理解去除过程。产品的主要优点包括即时可视化、个性化体验和免费的基础功能，同时提供高级功能订阅服务。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

基于扩散的混合运动动态角色艺术动画生成工具

MikuDance是一个基于扩散的动画生成管道，它结合了混合运动动态来动画化风格化的角色艺术。该技术通过混合运动建模和混合控制扩散两大关键技术，解决了高动态运动和参考引导错位在角色艺术动画中的挑战。MikuDance通过场景运动跟踪策略显式地在像素级空间中建模动态相机，实现统一的角色场景运动建模。在此基础上，混合控制扩散隐式地对不同角色的尺度和体型进行对齐，允许灵活控制局部角色运动。此外，还加入了运动自适应归一化模块，有效注入全局场景运动，为全面的角色艺术动画铺平了道路。通过广泛的实验，MikuDance在各种角色艺术和运动引导下展示了其有效性和泛化能力，始终如一地产生具有显著运动动态的高质量动画。

人脸匿名化技术，保留关键细节同时有效保护隐私。

face_anon_simple是一个人脸匿名化技术，旨在通过先进的算法在保护个人隐私的同时保留原始照片中的面部表情、头部姿势、眼神方向和背景元素。这项技术对于需要发布包含人脸的图片但又希望保护个人隐私的场合非常有用，比如在新闻报道、社交媒体和安全监控等领域。产品基于开源代码，允许用户自行部署和使用，具有很高的灵活性和应用价值。

图像水印技术，可在图片中嵌入局部化水印信息

Watermark Anything是一个由Facebook Research开发的图像水印技术，它允许在图片中嵌入一个或多个局部化水印信息。这项技术的重要性在于它能够在保证图像质量的同时，实现对图像内容的版权保护和追踪。该技术背景是基于深度学习和图像处理的研究，主要优点包括高鲁棒性、隐蔽性和灵活性。产品定位为研究和开发用途，目前是免费提供给学术界和开发者使用。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

基于GIMM-VFI的ComfyUI帧插值工具

ComfyUI-GIMM-VFI是一个基于GIMM-VFI算法的帧插值工具，使用户能够在图像和视频处理中实现高质量的帧插值效果。该技术通过在连续帧之间插入新的帧来提高视频的帧率，从而使得动作看起来更加流畅。这对于视频游戏、电影后期制作和其他需要高帧率视频的应用场景尤为重要。产品背景信息显示，它是基于Python开发的，并且依赖于CuPy库，特别适用于需要进行高性能计算的场景。

使用AI将您的面部照片变成面部贴纸

Face Sticker AI是一个AI驱动的面部贴纸工具，它通过添加文本提示将用户的面部图像转换成奇妙的面部贴纸图像。该产品利用先进的面部识别技术和自然语言处理技术，确保生成的贴纸与原始图像高度相似，同时保持高清图像质量。Face Sticker AI不仅支持真人照片，还支持动画角色照片，满足用户个性化表达和创造的需求。产品背景信息显示，Face Sticker AI旨在提供一个简单易用的平台，让用户能够以前所未有的方式探索和创造面部贴纸，释放创造力。产品定价分为Base、Standard和Pro三个等级，用户可以根据自己的需求选择合适的计划购买积分。

利用Claude 3.5 Sonnet Vision API进行图像中物体检测和可视化的强大Python工具

Claude Vision Object Detection是一个基于Python的工具，它利用Claude 3.5 Sonnet Vision API来检测图像中的物体并进行可视化。该工具能够自动在检测到的物体周围绘制边界框，对它们进行标记，并显示置信度分数。它支持处理单张图片或整个目录中的图片，并且具有高精度的置信度分数，为每个检测到的物体使用鲜艳且不同的颜色。此外，它还能保存带有检测结果的注释图片。

盲图像恢复技术，利用即时生成参考图像恢复破损图像

InstantIR是一种基于扩散模型的盲图像恢复方法，能够在测试时处理未知退化问题，提高模型的泛化能力。该技术通过动态调整生成条件，在推理过程中生成参考图像，从而提供稳健的生成条件。InstantIR的主要优点包括：能够恢复极端退化的图像细节，提供逼真的纹理，并且通过文本描述调节生成参考，实现创造性的图像恢复。该技术由北京大学、InstantX团队和香港中文大学的研究人员共同开发，得到了HuggingFace和fal.ai的赞助支持。

从实体书籍中提取划线或手写标记的文本

Excerptor是一个专门设计来从实体书籍中提取划线或手写标记文本的工具。它通过图像处理和光学字符识别技术，将书籍中的标记文本转换为数字格式，方便用户编辑和保存。这项技术的重要性在于它能够帮助用户快速从大量书籍中提取关键信息，提高研究和学习的效率。Excerptor以其高效、准确的文本识别能力和用户友好的操作界面，满足了学术研究、教育和个人学习等不同领域的需求。目前，Excerptor是免费提供给用户的，它的开发和维护由开源社区负责。

大规模视频生成的自回归扩散模型

MarDini是Meta AI Research推出的一款视频扩散模型，它将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成，支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效，将大部分计算资源分配给低分辨率规划模型，使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆，并且在几次推理步骤内，就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。

8B参数变分自编码器模型，用于高效的文本到图像生成。

Flux.1 Lite是一个由Freepik发布的8B参数的文本到图像生成模型，它是从FLUX.1-dev模型中提取出来的。这个版本相较于原始模型减少了7GB的RAM使用，并提高了23%的运行速度，同时保持了与原始模型相同的精度（bfloat16）。该模型的发布旨在使高质量的AI模型更加易于获取，特别是对于消费级GPU用户。

视频扩散模型加速工具，无需训练即可生成高质量视频内容。

FasterCache是一种创新的无需训练的策略，旨在加速视频扩散模型的推理过程，并生成高质量的视频内容。这一技术的重要性在于它能够显著提高视频生成的效率，同时保持或提升内容的质量，这对于需要快速生成视频内容的行业来说是非常有价值的。FasterCache由来自香港大学、南洋理工大学和上海人工智能实验室的研究人员共同开发，项目页面提供了更多的视觉结果和详细信息。产品目前免费提供，主要面向视频内容生成、AI研究和开发等领域。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。