产品库

Vast 3D Gaussians for Large Scene Reconstruction的非官方实现

VastGaussian是一个3D场景重建的开源项目，它通过使用3D高斯来模拟大型场景的几何和外观信息。这个项目是作者从零开始实现的，可能存在一些错误，但为3D场景重建领域提供了一种新的尝试。项目的主要优点包括对大型数据集的处理能力，以及对原始3DGS项目的改进，使其更易于理解和使用。

基于Segment-Anything-2和Segment-Anything-1的自动全视频分割工具

AutoSeg-SAM2是一个基于Segment-Anything-2（SAM2）和Segment-Anything-1（SAM1）的自动全视频分割工具，它能够对视频中的每个对象进行追踪，并检测可能的新对象。该工具的重要性在于它能够提供静态分割结果，并利用SAM2对这些结果进行追踪，这对于视频内容分析、对象识别和视频编辑等领域具有重要意义。产品背景信息显示，它是由zrporz开发的，并且是基于Facebook Research的SAM2和zrporz自己的SAM1。价格方面，由于这是一个开源项目，因此它是免费的。

图像材质迁移技术

ZeST是由牛津大学、Stability AI 和 MIT CSAIL 研究团队共同开发的图像材质迁移技术，它能够在无需任何先前训练的情况下，实现从一张图像到另一张图像中对象的材质迁移。ZeST支持单一材质的迁移，并能处理单一图像中的多重材质编辑，用户可以轻松地将一种材质应用到图像中的多个对象上。此外，ZeST还支持在设备上快速处理图像，摆脱了对云计算或服务器端处理的依赖，大大提高了效率。

解决随机逆问题，无需直接监督

该产品是一种新型去噪扩散概率模型，学习从未直接观察到的信号分布中采样，而是通过已知的可微分前向模型测量。该产品可直接从部分观测的未知信号分布中采样，适用于计算机视觉任务。在逆图形学中，它能够生成与单个2D输入图像一致的3D场景分布。产品定价灵活，定位于图像处理和计算机视觉领域。

一站式OCR代理，快速从图像中生成洞见。

TurboLens是一个集OCR、计算机视觉和生成式AI于一体的全功能平台，它能够自动化地从非结构化图像中快速生成洞见，简化工作流程。产品背景信息显示，TurboLens旨在通过其创新的OCR技术和AI驱动的翻译及分析套件，从印刷和手写文档中提取定制化的洞见。此外，TurboLens还提供了数学公式和表格识别功能，将图像转换为可操作的数据，并将数学公式翻译成LaTeX格式，表格转换为Excel格式。产品价格方面，TurboLens提供免费和付费两种计划，满足不同用户的需求。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

使用先进计算机视觉算法进行自动、准确计数的应用。

CountAnything是一个前沿应用，利用先进的计算机视觉算法实现自动、准确的物体计数。它适用于多种场景，包括工业、养殖业、建筑、医药和零售等。该产品的主要优点在于其高精度和高效率，能够显著提升计数工作的准确性和速度。产品背景信息显示，CountAnything目前已开放给非中国大陆地区用户使用，并且提供免费试用。

利用NVIDIA AI构建视频搜索和摘要代理

NVIDIA AI Blueprint for Video Search and Summarization是一个基于NVIDIA NIM微服务和生成式AI模型的参考工作流程，用于构建能够理解自然语言提示并执行视觉问题回答的视觉AI代理。这些代理可以部署在工厂、仓库、零售店、机场、交通路口等多种场景中，帮助运营团队从自然交互中生成的丰富洞察中做出更好的决策。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

业界领先的开源大型混合专家模型

Tencent-Hunyuan-Large（混元大模型）是由腾讯推出的业界领先的开源大型混合专家（MoE）模型，拥有3890亿总参数和520亿激活参数。该模型在自然语言处理、计算机视觉和科学任务等领域取得了显著进展，特别是在处理长上下文输入和提升长上下文任务处理能力方面表现出色。混元大模型的开源，旨在激发更多研究者的创新灵感，共同推动AI技术的进步和应用。

Pyramid-Flow的ComfyUI包装节点，用于高效视觉生成。

ComfyUI-PyramidFlowWrapper是基于Pyramid-Flow模型的一套包装节点，旨在通过ComfyUI提供更高效的用户界面和更便捷的操作流程。该模型利用深度学习技术，专注于视觉内容的生成与处理，具有高效处理大量数据的能力。产品背景信息显示，它是由开发者kijai发起并维护的开源项目，目前尚未完全实现功能，但已具备一定的使用价值。由于是开源项目，其价格为免费，主要面向开发者和技术爱好者。

从单张图片或文本提示生成高质量3D资产

Flex3D是一个两阶段流程，能够从单张图片或文本提示生成高质量的3D资产。该技术代表了3D重建领域的最新进展，可以显著提高3D内容的生成效率和质量。Flex3D的开发得到了Meta的支持，并且团队成员在3D重建和计算机视觉领域有着深厚的背景。

多物种鲸鱼声音检测工具

multispecies-whale-detection 是谷歌开发的一个开源项目，旨在通过神经网络检测和分类不同物种和地理区域的鲸鱼声音。这个工具可以帮助研究人员和环保组织更好地理解和保护海洋生物多样性。

去除镜面反射，揭示隐藏纹理

StableDelight是一个先进的模型，专注于从纹理表面去除镜面反射。它基于StableNormal的成功，后者专注于提高单目法线估计的稳定性。StableDelight通过应用这一概念来解决去除反射的挑战性任务。训练数据包括Hypersim、Lumos以及来自TSHRNet的各种镜面高光去除数据集。此外，我们在扩散训练过程中整合了多尺度SSIM损失和随机条件尺度技术，以提高一步扩散预测的清晰度。

开源的音乐生成模型

QA-MDT是一个开源的音乐生成模型，集成了最先进的模型用于音乐生成。它基于多个开源项目，如AudioLDM、PixArt-alpha、MDT、AudioMAE和Open-Sora等。QA-MDT模型通过使用不同的训练策略，能够生成高质量的音乐。此模型特别适合对音乐生成有兴趣的研究人员和开发者使用。

一种在野外环境中分解图像为反射率和照明效果的技术。

Colorful Diffuse Intrinsic Image Decomposition 是一种图像处理技术，它能够将野外拍摄的照片分解为反照率、漫反射阴影和非漫反射残留部分。这项技术通过逐步移除单色照明和Lambertian世界假设，实现了对图像中多彩漫反射阴影的估计，包括多个照明和场景中的二次反射，同时模型了镜面反射和可见光源。这项技术对于图像编辑应用，如去除镜面反射和像素级白平衡，具有重要意义。

图像条件扩散模型的微调工具

diffusion-e2e-ft是一个开源的图像条件扩散模型微调工具，它通过微调预训练的扩散模型来提高特定任务的性能。该工具支持多种模型和任务，如深度估计和法线估计，并提供了详细的使用说明和模型检查点。它在图像处理和计算机视觉领域具有重要应用，能够显著提升模型在特定任务上的准确性和效率。

OpenCV的额外模块库，用于开发和测试新的图像处理功能。

opencv_contrib是OpenCV的额外模块库，用于开发和测试新的图像处理功能。这些模块通常在API稳定、经过充分测试并被广泛接受后，才会被整合到OpenCV的核心库中。该库允许开发者使用最新的图像处理技术，推动计算机视觉领域的创新。

开源计算机视觉库

OpenCV是一个跨平台的开源计算机视觉和机器学习软件库，它提供了一系列编程功能，包括但不限于图像处理、视频分析、特征检测、机器学习等。该库广泛应用于学术研究和商业项目中，因其强大的功能和灵活性而受到开发者的青睐。

开源自回归视觉生成模型项目

Open-MAGVIT2是由腾讯ARC实验室开源的一个自回归图像生成模型系列，包含从300M到1.5B不同规模的模型。该项目复现了Google的MAGVIT-v2分词器，实现了在ImageNet 256×256数据集上达到1.17 rFID的先进重建性能。通过引入不对称分词技术，将大词汇表分解为不同大小的子词汇表，并引入'下一个子标记预测'来增强子标记间的交互，以提高生成质量。所有模型和代码均已开源，旨在推动自回归视觉生成领域的创新和创造力。

基于重力视角坐标恢复世界定位的人体运动

GVHMR是一种创新的人体运动恢复技术，它通过重力视角坐标系统来解决从单目视频中恢复世界定位的人体运动的问题。该技术能够减少学习图像-姿态映射的歧义，并且避免了自回归方法中连续图像的累积误差。GVHMR在野外基准测试中表现出色，不仅在准确性和速度上超越了现有的最先进技术，而且其训练过程和模型权重对公众开放，具有很高的科研和实用价值。

专注于计算机视觉和机器学习领域的研究与创新的博客网站

Shangchen Zhou 是一位在计算机视觉和机器学习领域有着深厚研究背景的博士生，他的工作主要集中在视觉内容增强、编辑和生成AI（2D和3D）上。他的研究成果广泛应用于图像和视频的超分辨率、去模糊、低光照增强等领域，为提升视觉内容的质量和用户体验做出了重要贡献。

股票经纪人人工智能助手，提供专业投资建议。

assistant-ui-stockbroker 是一个股票经纪人人工智能助手，旨在通过人机交互界面提供专业的投资建议。该产品利用先进的自然语言处理技术，结合金融数据和算法模型，为用户提供股票市场的深度分析和投资策略。它不仅能够提供实时的市场动态，还能根据用户的需求定制个性化的投资方案。产品背景信息显示，它是一个开源项目，由Yonom公司开发，采用TypeScript、CSS和JavaScript等技术构建。

旨在帮助我们理解AI代理的工程化提示项目。

SuperPrompt是一个开源项目，旨在通过精心设计的提示来帮助我们更好地理解人工智能代理。该项目由多个阶段组成，目前仍处于永远的测试阶段。它不仅适用于Claude这样的大型语言模型，也适用于其他类似的模型。项目在移动设备上创建，预期将不断改进。SuperPrompt通过一系列复杂的逻辑和数学结构，旨在探索和扩展AI的认知边界，推动AI技术的发展。

开源项目，用于估算模型训练或推理所需的显存。

How Much VRAM 是一个开源项目，旨在帮助用户估算其模型在训练或推理过程中所需的显存量。通过这个项目，用户能够决定所需的硬件配置，而无需尝试多种配置。该项目对于需要进行深度学习模型训练的开发者和研究人员来说非常重要，因为它可以减少硬件选择的试错成本，提高效率。项目采用 MPL-2.0 许可协议，免费提供。

用于手术视频分割的先进模型

Segment Anything 2 for Surgical Video Segmentation 是一个基于Segment Anything Model 2的手术视频分割模型。它利用先进的计算机视觉技术，对手术视频进行自动分割，以识别和定位手术工具，提高手术视频分析的效率和准确性。该模型适用于内窥镜手术、耳蜗植入手术等多种手术场景，具有高精度和高鲁棒性的特点。

3D人体姿态估计技术

AvatarPose是一种用于从稀疏多视角视频中估计多个紧密互动人的3D姿态和形状的方法。该技术通过重建每个人的个性化隐式神经化身，并将其作为先验，通过颜色和轮廓渲染损失来细化姿态，显著提高了在紧密互动中估计3D姿态的鲁棒性和精确度。

记录AI发展里程碑的开源项目

AI Timeline 是一个记录人工智能领域重要技术发展时间点的开源项目。它详细记录了包括文生图、文生视频、大语言模型等在内的AI技术发展过程中的关键里程碑。该项目使用Vue和TypeScript开发，为AI技术爱好者和研究人员提供了一个了解AI历史和发展趋势的平台。

使用Apple Vision Pro实现人形机器人Unitree H1_2的遥控操作。

这是一个开源项目，用于实现人形机器人Unitree H1_2的遥控操作。它利用了Apple Vision Pro技术，允许用户通过虚拟现实环境来控制机器人。该项目在Ubuntu 20.04和Ubuntu 22.04上进行了测试，并且提供了详细的安装和配置指南。该技术的主要优点包括能够提供沉浸式的遥控体验，并且支持在模拟环境中进行测试，为机器人遥控领域提供了新的解决方案。

用于训练通用目标分割模型的视频数据集

SA-V Dataset是一个专为训练通用目标分割模型设计的开放世界视频数据集，包含51K个多样化视频和643K个时空分割掩模（masklets）。该数据集用于计算机视觉研究，允许在CC BY 4.0许可下使用。视频内容多样，包括地点、对象和场景等主题，掩模从建筑物等大规模对象到室内装饰等细节不等。