产品库

机器人图像渲染的新发展

Wild2Avatar是一个用于渲染被遮挡的野外单目视频中的人类外观的神经渲染方法。它可以在真实场景下渲染人类,即使障碍物可能会阻挡相机视野并导致部分遮挡。该方法通过将场景分解为三部分(遮挡物、人类和背景)来实现,并使用特定的目标函数强制分离人类与遮挡物和背景,以确保人类模型的完整性。

开源计算机视觉库

OpenCV是一个跨平台的开源计算机视觉和机器学习软件库，它提供了一系列编程功能，包括但不限于图像处理、视频分析、特征检测、机器学习等。该库广泛应用于学术研究和商业项目中，因其强大的功能和灵活性而受到开发者的青睐。

专注于计算机视觉和机器学习领域的研究与创新的博客网站

Shangchen Zhou 是一位在计算机视觉和机器学习领域有着深厚研究背景的博士生，他的工作主要集中在视觉内容增强、编辑和生成AI（2D和3D）上。他的研究成果广泛应用于图像和视频的超分辨率、去模糊、低光照增强等领域，为提升视觉内容的质量和用户体验做出了重要贡献。

实时一步潜在扩散模型,可用图像条件控制生成

SDXS是一种新的扩散模型,通过模型微型化和减少采样步骤,大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构,并引入了一种创新的单步DM训练技术,使用特征匹配和分数蒸馆。SDXS-512和SDXS-1024模型可在单个GPU上分别实现约100 FPS和30 FPS的推理速度,比之前模型快30至60倍。此外,该训练方法在图像条件控制方面也有潜在应用,可实现高效的图像到图像翻译。

学习网络中的三维动物

3D Fauna是一个通过学习 2D 网络图片来构建三维动物模的方法。它通过引入语义相关的模型集合来解决模型泛化的挑战，并提供了一个新的大规模数据集。在推理过程中，给定一张任意四足动物的图片，我们的模型可以在几秒内通过前馈方式重建出一个有关联的三维网格模型。

实时优化的计算机视觉库

OpenCV是一个实时优化的计算机视觉库，提供了一套功能强大的工具和硬件支持。它还支持机器学习（ML）和人工智能（AI）模型的执行。OpenCV是开源的，免费商用。

利用大规模机器学习理解场景并连接全球数百万场景的地理空间模型

Niantic的Large Geospatial Model (LGM) 是一个先锋概念，旨在通过大规模机器学习理解场景并将其与全球数百万其他场景连接起来。LGM不仅使计算机能够感知和理解物理空间，还能以新的方式与它们互动，成为AR眼镜及更广泛领域（包括机器人技术、内容创作和自主系统）的关键组成部分。随着我们从手机转向与现实世界相连的可穿戴技术，空间智能将成为世界未来的操作系统。

AI技术预览纹身去除效果，辅助决策

AI Tattoo Removal是一个利用人工智能技术展示纹身去除效果的先进工具。它提供了多种可视化选项和用户友好的界面，适用于考虑纹身去除的个人和专业纹身去除专家。该平台使用尖端的机器学习算法分析并展示纹身去除进度，用户可以查看不同的去除阶段、结果和治疗方案，以更好地理解去除过程。产品的主要优点包括即时可视化、个性化体验和免费的基础功能，同时提供高级功能订阅服务。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

8B参数变分自编码器模型，用于高效的文本到图像生成。

Flux.1 Lite是一个由Freepik发布的8B参数的文本到图像生成模型，它是从FLUX.1-dev模型中提取出来的。这个版本相较于原始模型减少了7GB的RAM使用，并提高了23%的运行速度，同时保持了与原始模型相同的精度（bfloat16）。该模型的发布旨在使高质量的AI模型更加易于获取，特别是对于消费级GPU用户。

轻量级推理模型，用于生成高质量图像

Stable Diffusion 3.5是一个用于简单推理的轻量级模型，它包含了文本编码器、VAE解码器和核心MM-DiT技术。该模型旨在帮助合作伙伴组织实现SD3.5，并且可以用于生成高质量的图像。它的重要性在于其高效的推理能力和对资源的低要求，使得广泛的用户群体能够使用和享受生成图像的乐趣。该模型遵循Stability AI Community License Agreement，并且可以免费使用。

强大的图像生成模型

Stable Diffusion 3.5是Stability AI推出的一款图像生成模型，具有多种变体，包括Stable Diffusion 3.5 Large和Stable Diffusion 3.5 Large Turbo。这些模型可高度定制，能在消费级硬件上运行，并且根据Stability AI社区许可协议，可以免费用于商业和非商业用途。该模型的发布体现了Stability AI致力于让视觉媒体变革的工具更易于获取、更前沿、更自由的使命。

开源的去蒸馏FLUX模型

LibreFLUX是一个基于Apache 2.0许可的开源版本，提供了完整的T5上下文长度，使用注意力掩码，恢复了分类器自由引导，并去除了大部分FLUX美学微调/DPO。这意味着它比基础FLUX更不美观，但有潜力更容易地微调到任何新的分布。LibreFLUX的开发秉承开源软件的核心原则，即使用困难，比专有解决方案更慢、更笨拙，并且审美停留在21世纪初。

利用AI提升媒体处理和数字资产管理效率

ImageKit AI是一个结合了人工智能和生成式AI的媒体处理和数字资产管理平台。它通过AI技术，如图像扩展、智能裁剪、背景移除、添加阴影、通过文本提示生成图像等，帮助用户提升媒体内容的质量和处理效率。ImageKit AI的背景是满足现代数字媒体管理的需求，它通过AI技术简化了图像处理流程，降低了成本，并提高了内容的个性化和质量。产品定位于为企业提供高效、智能的媒体内容管理解决方案。

高效3D高斯重建模型，实现大场景快速重建

Long-LRM是一个用于3D高斯重建的模型，能够从一系列输入图像中重建出大场景。该模型能在1.3秒内处理32张960x540分辨率的源图像，并且仅在单个A100 80G GPU上运行。它结合了最新的Mamba2模块和传统的transformer模块，通过高效的token合并和高斯修剪步骤，在保证质量的同时提高了效率。与传统的前馈模型相比，Long-LRM能够一次性重建整个场景，而不是仅重建场景的一小部分。在大规模场景数据集上，如DL3DV-140和Tanks and Temples，Long-LRM的性能可与基于优化的方法相媲美，同时效率提高了两个数量级。

利用随机微分方程进行语义图像反转和编辑

RF-Inversion是一个专注于图像生成和编辑的技术，它通过随机微分方程（SDE）来实现图像的反转和编辑。这项技术的主要优点在于它不需要额外的训练、潜在优化、提示调整或复杂的注意力处理器，即可实现高效的图像反转和编辑。RF-Inversion在零样本反转和编辑方面表现出色，超越了以往的工作，在笔画到图像合成和语义图像编辑方面，通过大规模人类评估确认了用户偏好。该技术背景信息显示，它由德克萨斯大学奥斯汀分校和谷歌的研究人员共同开发，得到了NSF资助和其他研究合作奖的支持。

从单张图片或文本提示生成高质量3D资产

Flex3D是一个两阶段流程，能够从单张图片或文本提示生成高质量的3D资产。该技术代表了3D重建领域的最新进展，可以显著提高3D内容的生成效率和质量。Flex3D的开发得到了Meta的支持，并且团队成员在3D重建和计算机视觉领域有着深厚的背景。

最先进的图像生成模型

FLUX1.1 [pro] 是 Black Forest Labs 发布的最新图像生成模型，它在速度和图像质量上都有显著提升。该模型提供六倍于前代的速度，同时改善了图像质量、提示遵循度和多样性。FLUX1.1 [pro] 还提供了更高级的定制化选项，以及更优的性价比，适合需要高效、高质量图像生成的开发者和企业。

一个全面的AI神经网络工具目录

AILIBRI是一个汇集了超过2000个AI神经网络工具的目录网站，涵盖了文本、图像、视频、音频等多个领域的工具。它为用户寻找合适的AI工具提供了极大的便利，无论是专业人士还是初学者，都能在这里找到满足其需求的工具。该网站提供了详细的分类和搜索功能，帮助用户快速定位到所需的工具。

去除镜面反射，揭示隐藏纹理

StableDelight是一个先进的模型，专注于从纹理表面去除镜面反射。它基于StableNormal的成功，后者专注于提高单目法线估计的稳定性。StableDelight通过应用这一概念来解决去除反射的挑战性任务。训练数据包括Hypersim、Lumos以及来自TSHRNet的各种镜面高光去除数据集。此外，我们在扩散训练过程中整合了多尺度SSIM损失和随机条件尺度技术，以提高一步扩散预测的清晰度。

一种在野外环境中分解图像为反射率和照明效果的技术。

Colorful Diffuse Intrinsic Image Decomposition 是一种图像处理技术，它能够将野外拍摄的照片分解为反照率、漫反射阴影和非漫反射残留部分。这项技术通过逐步移除单色照明和Lambertian世界假设，实现了对图像中多彩漫反射阴影的估计，包括多个照明和场景中的二次反射，同时模型了镜面反射和可见光源。这项技术对于图像编辑应用，如去除镜面反射和像素级白平衡，具有重要意义。

图像条件扩散模型的微调工具

diffusion-e2e-ft是一个开源的图像条件扩散模型微调工具，它通过微调预训练的扩散模型来提高特定任务的性能。该工具支持多种模型和任务，如深度估计和法线估计，并提供了详细的使用说明和模型检查点。它在图像处理和计算机视觉领域具有重要应用，能够显著提升模型在特定任务上的准确性和效率。

OpenCV的额外模块库，用于开发和测试新的图像处理功能。

opencv_contrib是OpenCV的额外模块库，用于开发和测试新的图像处理功能。这些模块通常在API稳定、经过充分测试并被广泛接受后，才会被整合到OpenCV的核心库中。该库允许开发者使用最新的图像处理技术，推动计算机视觉领域的创新。

使用扩散模型进行图像外延

Diffusers Image Outpaint 是一个基于扩散模型的图像外延技术，它能够根据已有的图像内容，生成图像的额外部分。这项技术在图像编辑、游戏开发、虚拟现实等领域具有广泛的应用前景。它通过先进的机器学习算法，使得图像生成更加自然和逼真，为用户提供了一种创新的图像处理方式。

开源自回归视觉生成模型项目

Open-MAGVIT2是由腾讯ARC实验室开源的一个自回归图像生成模型系列，包含从300M到1.5B不同规模的模型。该项目复现了Google的MAGVIT-v2分词器，实现了在ImageNet 256×256数据集上达到1.17 rFID的先进重建性能。通过引入不对称分词技术，将大词汇表分解为不同大小的子词汇表，并引入'下一个子标记预测'来增强子标记间的交互，以提高生成质量。所有模型和代码均已开源，旨在推动自回归视觉生成领域的创新和创造力。

基于重力视角坐标恢复世界定位的人体运动

GVHMR是一种创新的人体运动恢复技术，它通过重力视角坐标系统来解决从单目视频中恢复世界定位的人体运动的问题。该技术能够减少学习图像-姿态映射的歧义，并且避免了自回归方法中连续图像的累积误差。GVHMR在野外基准测试中表现出色，不仅在准确性和速度上超越了现有的最先进技术，而且其训练过程和模型权重对公众开放，具有很高的科研和实用价值。

统一的图像生成框架，简化多任务图像生成。

OmniGen是一个创新的扩散框架，它将多种图像生成任务统一到单一模型中，无需特定任务的网络或微调。这一技术简化了图像生成流程，提高了效率，降低了开发和维护成本。

高保真新视角合成的视频扩散模型

ViewCrafter 是一种新颖的方法，它利用视频扩散模型的生成能力以及基于点的表示提供的粗略3D线索，从单个或稀疏图像合成通用场景的高保真新视角。该方法通过迭代视图合成策略和相机轨迹规划算法，逐步扩展3D线索和新视角覆盖的区域，从而扩大新视角的生成范围。ViewCrafter 可以促进各种应用，例如通过优化3D-GS表示实现沉浸式体验和实时渲染，以及通过场景级文本到3D生成实现更富有想象力的内容创作。

谷歌旗下领先的人工智能研究公司

Google DeepMind 是谷歌旗下的一家领先的人工智能公司，专注于开发先进的机器学习算法和系统。DeepMind 以其在深度学习和强化学习领域的开创性工作而闻名，其研究涵盖了从游戏到医疗保健等多个领域。DeepMind 的目标是通过构建智能系统来解决复杂的问题，推动科学和医学的进步。

首个多模态 Mistral 模型，支持图像和文本的混合任务处理。

Pixtral 12B 是 Mistral AI 团队开发的一款多模态 AI 模型，它能够理解自然图像和文档，具备出色的多模态任务处理能力，同时在文本基准测试中也保持了最先进的性能。该模型支持多种图像尺寸和宽高比，能够在长上下文窗口中处理任意数量的图像，是 Mistral Nemo 12B 的升级版，专为多模态推理而设计，不牺牲关键文本处理能力。