产品库

将2D RGB照片和视频转换为3D空间照片和视频

Depthify.ai是一个工具，可以将RGB图像转换为与Apple Vision Pro和Meta Quest兼容的各种空间格式。通过转换RGB图像为空间照片，可以为各种计算机视觉和3D建模应用提供支持。它可以生成深度图、立体图像和HEIC文件，可在Apple Vision Pro上使用。

Pusa 是一个新颖的视频扩散模型，支持多种视频生成任务。

Pusa 通过帧级噪声控制引入视频扩散建模的创新方法，能够实现高质量的视频生成，适用于多种视频生成任务（文本到视频、图像到视频等）。该模型以其卓越的运动保真度和高效的训练过程，提供了一个开源的解决方案，方便用户进行视频生成任务。

一种无混叠的任意尺度超分辨率方法。

Thera 是一种先进的超分辨率技术，能够在不同尺度下生成高质量图像。其主要优点在于内置物理观察模型，有效避免了混叠现象。该技术由 ETH Zurich 的研究团队开发，适用于图像增强和计算机视觉领域，尤其在遥感和摄影测量中具有广泛应用。

通过多实例扩散模型将单张图像生成高保真度的3D场景。

MIDI是一种创新的图像到3D场景生成技术，它利用多实例扩散模型，能够从单张图像中直接生成具有准确空间关系的多个3D实例。该技术的核心在于其多实例注意力机制，能够有效捕捉物体间的交互和空间一致性，无需复杂的多步骤处理。MIDI在图像到场景生成领域表现出色，适用于合成数据、真实场景数据以及由文本到图像扩散模型生成的风格化场景图像。其主要优点包括高效性、高保真度和强大的泛化能力。

HunyuanVideo-I2V 是腾讯推出的基于 HunyuanVideo 的图像到视频生成框架。

HunyuanVideo-I2V 是腾讯开源的图像到视频生成模型，基于 HunyuanVideo 架构开发。该模型通过图像潜在拼接技术，将参考图像信息有效整合到视频生成过程中，支持高分辨率视频生成，并提供可定制的 LoRA 效果训练功能。该技术在视频创作领域具有重要意义，能够帮助创作者快速生成高质量的视频内容，提升创作效率。

UniTok是一个用于视觉生成和理解的统一视觉分词器。

UniTok是一种创新的视觉分词技术，旨在弥合视觉生成和理解之间的差距。它通过多码本量化技术，显著提升了离散分词器的表示能力，使其能够捕捉到更丰富的视觉细节和语义信息。这一技术突破了传统分词器在训练过程中的瓶颈，为视觉生成和理解任务提供了一种高效且统一的解决方案。UniTok在图像生成和理解任务中表现出色，例如在ImageNet上实现了显著的零样本准确率提升。该技术的主要优点包括高效性、灵活性以及对多模态任务的强大支持，为视觉生成和理解领域带来了新的可能性。

强大的视频替换与编辑软件，利用AI技术实现自然效果。

VisoMaster是一款专注于视频替换和编辑的桌面客户端软件。它利用先进的AI技术，能够在图像和视频中实现高质量的替换，效果自然逼真。该软件操作简单，支持多种输入输出格式，并通过GPU加速提高处理效率。VisoMaster的主要优点是易于使用、高效处理以及高度定制化，适合视频创作者、影视后期制作人员以及对视频编辑有需求的普通用户。软件目前免费提供给用户，旨在帮助用户快速生成高质量的视频内容。

MatAnyone 是一个支持目标指定的稳定视频抠像框架，适用于复杂背景。

MatAnyone 是一种先进的视频抠像技术，专注于通过一致的记忆传播实现稳定的视频抠像。它通过区域自适应记忆融合模块，结合目标指定的分割图，能够在复杂背景中保持语义稳定性和细节完整性。该技术的重要性在于它能够为视频编辑、特效制作和内容创作提供高质量的抠像解决方案，尤其适用于需要精确抠像的场景。MatAnyone 的主要优点是其在核心区域的语义稳定性和边界细节的精细处理能力。它由南洋理工大学和商汤科技的研究团队开发，旨在解决传统抠像方法在复杂背景下的不足。

一种新颖的图像到视频采样技术，基于Hunyuan模型实现高质量视频生成。

leapfusion-hunyuan-image2video 是一种基于 Hunyuan 模型的图像到视频生成技术。它通过先进的深度学习算法，将静态图像转换为动态视频，为内容创作者提供了一种全新的创作方式。该技术的主要优点包括高效的内容生成、灵活的定制化能力以及对高质量视频输出的支持。它适用于需要快速生成视频内容的场景，如广告制作、视频特效等领域。该模型目前以开源形式发布，供开发者和研究人员免费使用，未来有望通过社区贡献进一步提升其性能。

MangaNinja 是一种基于参考的线稿上色方法，可实现精确匹配和细粒度交互控制。

MangaNinja 是一种参考引导的线稿上色方法，它通过独特的设计确保精确的人物细节转录，包括用于促进参考彩色图像和目标线稿之间对应学习的块洗牌模块，以及用于实现细粒度颜色匹配的点驱动控制方案。该模型在自收集的基准测试中表现出色，超越了当前解决方案的精确上色能力。此外，其交互式点控制在处理复杂情况（如极端姿势和阴影）、跨角色上色、多参考协调等方面展现出巨大潜力，这些是现有算法难以实现的。MangaNinja 由来自香港大学、香港科技大学、通义实验室和蚂蚁集团的研究人员共同开发，相关论文已发表在 arXiv 上，代码也已开源。

SVFR是一个用于视频人脸修复的统一框架。

SVFR（Stable Video Face Restoration）是一个用于广义视频人脸修复的统一框架。它整合了视频人脸修复（BFR）、着色和修复任务，通过利用Stable Video Diffusion（SVD）的生成和运动先验，并结合统一的人脸修复框架中的任务特定信息，有效结合了这些任务的互补优势，增强了时间连贯性并实现了卓越的修复质量。该框架引入了可学习的任务嵌入以增强任务识别，并采用新颖的统一潜在正则化（ULR）来鼓励不同子任务之间的共享特征表示学习。此外，还引入了面部先验学习和自引用细化作为辅助策略，以进一步提高修复质量和时间稳定性。SVFR在视频人脸修复领域取得了最先进的成果，并为广义视频人脸修复建立了新的范式。

STAR是一种用于真实世界视频超分辨率的时空增强框架，首次将强大的文本到视频扩散先验集成到真实世界视频超分辨率中。

STAR是一种创新的视频超分辨率技术，通过将文本到视频扩散模型与视频超分辨率相结合，解决了传统GAN方法中存在的过度平滑问题。该技术不仅能够恢复视频的细节，还能保持视频的时空一致性，适用于各种真实世界的视频场景。STAR由南京大学、字节跳动等机构联合开发，具有较高的学术价值和应用前景。

人脸匿名化技术，保留关键细节同时有效保护隐私。

face_anon_simple是一个人脸匿名化技术，旨在通过先进的算法在保护个人隐私的同时保留原始照片中的面部表情、头部姿势、眼神方向和背景元素。这项技术对于需要发布包含人脸的图片但又希望保护个人隐私的场合非常有用，比如在新闻报道、社交媒体和安全监控等领域。产品基于开源代码，允许用户自行部署和使用，具有很高的灵活性和应用价值。

图像水印技术，可在图片中嵌入局部化水印信息

Watermark Anything是一个由Facebook Research开发的图像水印技术，它允许在图片中嵌入一个或多个局部化水印信息。这项技术的重要性在于它能够在保证图像质量的同时，实现对图像内容的版权保护和追踪。该技术背景是基于深度学习和图像处理的研究，主要优点包括高鲁棒性、隐蔽性和灵活性。产品定位为研究和开发用途，目前是免费提供给学术界和开发者使用。

8B参数变分自编码器模型，用于高效的文本到图像生成。

Flux.1 Lite是一个由Freepik发布的8B参数的文本到图像生成模型，它是从FLUX.1-dev模型中提取出来的。这个版本相较于原始模型减少了7GB的RAM使用，并提高了23%的运行速度，同时保持了与原始模型相同的精度（bfloat16）。该模型的发布旨在使高质量的AI模型更加易于获取，特别是对于消费级GPU用户。

高效3D高斯重建模型，实现大场景快速重建

Long-LRM是一个用于3D高斯重建的模型，能够从一系列输入图像中重建出大场景。该模型能在1.3秒内处理32张960x540分辨率的源图像，并且仅在单个A100 80G GPU上运行。它结合了最新的Mamba2模块和传统的transformer模块，通过高效的token合并和高斯修剪步骤，在保证质量的同时提高了效率。与传统的前馈模型相比，Long-LRM能够一次性重建整个场景，而不是仅重建场景的一小部分。在大规模场景数据集上，如DL3DV-140和Tanks and Temples，Long-LRM的性能可与基于优化的方法相媲美，同时效率提高了两个数量级。

ComfyUI的PuLID-Flux实现

PuLID-Flux ComfyUI implementation 是一个基于ComfyUI的图像处理模型，它利用了PuLID技术和Flux模型来实现对图像的高级定制和处理。这个项目是cubiq/PuLID_ComfyUI的灵感来源，是一个原型，它使用了一些方便的模型技巧来处理编码器部分。开发者希望在更正式地重新实现之前测试模型的质量。为了获得更好的结果，推荐使用16位或8位的GGUF模型版本。

图像条件扩散模型的微调工具

diffusion-e2e-ft是一个开源的图像条件扩散模型微调工具，它通过微调预训练的扩散模型来提高特定任务的性能。该工具支持多种模型和任务，如深度估计和法线估计，并提供了详细的使用说明和模型检查点。它在图像处理和计算机视觉领域具有重要应用，能够显著提升模型在特定任务上的准确性和效率。

开源自回归视觉生成模型项目

Open-MAGVIT2是由腾讯ARC实验室开源的一个自回归图像生成模型系列，包含从300M到1.5B不同规模的模型。该项目复现了Google的MAGVIT-v2分词器，实现了在ImageNet 256×256数据集上达到1.17 rFID的先进重建性能。通过引入不对称分词技术，将大词汇表分解为不同大小的子词汇表，并引入'下一个子标记预测'来增强子标记间的交互，以提高生成质量。所有模型和代码均已开源，旨在推动自回归视觉生成领域的创新和创造力。

构建大型世界模型，感知、生成和与3D世界互动

World Labs 是一家专注于空间智能的公司，致力于构建大型世界模型（Large World Models），以感知、生成和与3D世界进行互动。公司由AI领域的知名科学家、教授、学者和行业领导者共同创立，包括斯坦福大学的Fei-Fei Li教授、密歇根大学的Justin Johnson教授等。他们通过创新的技术和方法，如神经辐射场（NeRF）技术，推动了3D场景重建和新视角合成的发展。World Labs 得到了包括Marc Benioff、Jim Breyer等知名投资者的支持，其技术在AI领域具有重要的应用价值和商业潜力。

基于FLUX.1-dev的高级人像生成模型

AWPortrait-FL是一个在FLUX.1-dev基础上进行微调的高级人像生成模型，使用了AWPortrait-XL训练集和近2000张高质量时尚摄影照片进行训练。该模型在构图和细节上有着显著的提升，能够生成皮肤和纹理更加细腻、逼真的人像。由DynamicWang在AWPlanet上训练完成。

统一多模态理解和生成的单一变换器

Show-o是一个用于多模态理解和生成的单一变换器模型，它能够处理图像字幕、视觉问答、文本到图像生成、文本引导的修复和扩展以及混合模态生成。该模型由新加坡国立大学的Show Lab和字节跳动共同开发，采用最新的深度学习技术，能够理解和生成多种模态的数据，是人工智能领域的一大突破。

快速生成带纹理的3D模型

SF3D是一个基于深度学习的3D资产生成模型，它能够从单张图片中快速生成具有UV展开和材质参数的带纹理3D模型。与传统方法相比，SF3D特别针对网格生成进行了训练，集成了快速UV展开技术，能够迅速生成纹理而不是依赖顶点颜色。此外，该模型还能学习材质参数和法线贴图，以提高重建模型的视觉质量。SF3D还引入了一个去照明步骤，有效去除低频照明效果，确保重建的网格在新的照明条件下易于使用。

通过监控器让肖像动起来！

Live_Portrait_Monitor 是一个开源项目，旨在通过监控器或网络摄像头实现肖像动画化。该项目基于LivePortrait研究论文，使用深度学习技术，通过拼接和重定向控制来高效地实现肖像动画。作者正积极更新和改进此项目，仅供研究使用。

从单张图片生成高质量3D网格模型

Unique3D是由清华大学团队开发的一项技术，能够从单张图片中生成高保真度的纹理3D网格模型。这项技术在图像处理和3D建模领域具有重要意义，它使得用户能够快速将2D图像转化为3D模型，为游戏开发、动画制作、虚拟现实等领域提供了强大的技术支持。

通过对比对齐进行 Pure 和 Lightning ID 定制

PuLID 是一个专注于人脸身份定制的深度学习模型，通过对比对齐技术实现高保真度的人脸身份编辑。该模型能够减少对原始模型行为的干扰，同时提供多种应用，如风格变化、IP融合、配饰修改等。

高效3D网格生成框架

InstantMesh是一个基于LRM架构的前馈框架，用于从单张图像高效生成3D网格。它支持低内存GPU环境，并能生成具有纹理映射的3D网格模型。

实时一步潜在扩散模型,可用图像条件控制生成

SDXS是一种新的扩散模型,通过模型微型化和减少采样步骤,大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构,并引入了一种创新的单步DM训练技术,使用特征匹配和分数蒸馆。SDXS-512和SDXS-1024模型可在单个GPU上分别实现约100 FPS和30 FPS的推理速度,比之前模型快30至60倍。此外,该训练方法在图像条件控制方面也有潜在应用,可实现高效的图像到图像翻译。

img2img-turbo是一个基于img2img的改进版本，用于快速图像到图像的转换

img2img-turbo是一个开源项目，它是对原始img2img项目的改进，旨在提供更快的图像到图像转换速度。该项目使用了先进的深度学习技术，能够处理各种图像转换任务，如风格迁移、图像着色、图像修复等。

MovieLLM是一个用于增强长视频理解的AI生成电影框架

MovieLLM由复旦大学和腾讯PCG提出，是一个创新框架，旨在为长视频创建合成的、高质量的数据。该框架利用GPT-4和文本到图像模型的力量，生成详细的脚本和相应的视觉内容。