产品库

CoreNet 是一个用于训练深度神经网络的库。

CoreNet 是一个深度神经网络工具包，使研究人员和工程师能够训练标准和新颖的小型和大型规模模型，用于各种任务，包括基础模型（例如 CLIP 和 LLM）、对象分类、对象检测和语义分割。

一种无混叠的任意尺度超分辨率方法。

Thera 是一种先进的超分辨率技术，能够在不同尺度下生成高质量图像。其主要优点在于内置物理观察模型，有效避免了混叠现象。该技术由 ETH Zurich 的研究团队开发，适用于图像增强和计算机视觉领域，尤其在遥感和摄影测量中具有广泛应用。

通过多实例扩散模型将单张图像生成高保真度的3D场景。

MIDI是一种创新的图像到3D场景生成技术，它利用多实例扩散模型，能够从单张图像中直接生成具有准确空间关系的多个3D实例。该技术的核心在于其多实例注意力机制，能够有效捕捉物体间的交互和空间一致性，无需复杂的多步骤处理。MIDI在图像到场景生成领域表现出色，适用于合成数据、真实场景数据以及由文本到图像扩散模型生成的风格化场景图像。其主要优点包括高效性、高保真度和强大的泛化能力。

Video Depth Anything: Consistent Depth Estimation for Super-Long Videos

Video Depth Anything 是一个基于深度学习的视频深度估计模型，能够为超长视频提供高质量、时间一致的深度估计。该技术基于 Depth Anything V2 开发，具有强大的泛化能力和稳定性。其主要优点包括对任意长度视频的深度估计能力、时间一致性以及对开放世界视频的良好适应性。该模型由字节跳动的研究团队开发，旨在解决长视频深度估计中的挑战，如时间一致性问题和复杂场景的适应性问题。目前，该模型的代码和演示已公开，供研究人员和开发者使用。

从穿着人身上生成平铺布料的模型

TryOffAnyone是一个用于从穿着人身上生成平铺布料的深度学习模型。该模型能够将穿着衣物的人的图片转换成布料平铺图，这对于服装设计、虚拟试衣等领域具有重要意义。它通过深度学习技术，实现了高度逼真的布料模拟，使得用户可以更直观地预览衣物的穿着效果。该模型的主要优点包括逼真的布料模拟效果和较高的自动化程度，可以减少实际试衣过程中的时间和成本。

高质量身份保留的人像动画合成工具。

StableAnimator是首个端到端身份保留的视频扩散框架，能够在不进行后处理的情况下合成高质量视频。该技术通过参考图像和一系列姿势进行条件合成，确保了身份一致性。其主要优点在于无需依赖第三方工具，适合需要高质量人像动画的用户。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

图像条件扩散模型的微调工具

diffusion-e2e-ft是一个开源的图像条件扩散模型微调工具，它通过微调预训练的扩散模型来提高特定任务的性能。该工具支持多种模型和任务，如深度估计和法线估计，并提供了详细的使用说明和模型检查点。它在图像处理和计算机视觉领域具有重要应用，能够显著提升模型在特定任务上的准确性和效率。

从零开始学习深度学习，实现GPT模型

zero_to_gpt是一个旨在帮助用户从零基础学习深度学习，并最终实现训练自己的GPT模型的教程。随着人工智能技术走出实验室并广泛应用于各行各业，社会对于能够理解并应用AI技术的人才需求日益增长。本教程结合理论与实践，通过解决实际问题（如天气预测、语言翻译等）来深入讲解深度学习的理论基础，如梯度下降和反向传播。课程内容从基础的神经网络架构和训练方法开始，逐步深入到复杂主题，如变换器、GPU编程和分布式训练。

深度学习驱动的三维重建技术

VGGSfM是一种基于深度学习的三维重建技术，旨在从一组不受限制的2D图像中重建场景的相机姿态和3D结构。该技术通过完全可微分的深度学习框架，实现端到端的训练。它利用深度2D点跟踪技术提取可靠的像素级轨迹，同时基于图像和轨迹特征恢复所有相机，并通过可微分的捆绑调整层优化相机和三角化3D点。VGGSfM在CO3D、IMC Phototourism和ETH3D三个流行数据集上取得了最先进的性能。

3D图像匹配的先进模型

MASt3R是由Naver Corporation开发的一种用于3D图像匹配的先进模型，它专注于提升计算机视觉领域中的几何3D视觉任务。该模型利用了最新的深度学习技术，通过训练能够实现对图像之间精确的3D匹配，对于增强现实、自动驾驶以及机器人导航等领域具有重要意义。

提供关于人工智能的最佳资源，学习机器学习、数据科学、自然语言处理等。

AI Online Course是一个互动学习平台，提供清晰简明的人工智能介绍，使复杂的概念易于理解。它涵盖机器学习、深度学习、计算机视觉、自动驾驶、聊天机器人等方面的知识，并强调实际应用和技术优势。

无需相机校准信息的密集立体3D重建

DUSt3R是一种新颖的密集和无约束立体3D重建方法，适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息，通过将成对重建问题视为点图的回归，放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法，并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构，利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息，并且可以从中恢复像素匹配、相对和绝对相机信息。

YOLOv8目标检测跟踪模型

YOLOv8是YOLO系列目标检测模型的最新版本,能够在图像或视频中准确快速地识别和定位多个对象,并实时跟踪它们的移动。相比之前版本,YOLOv8在检测速度和精确度上都有很大提升,同时支持多种额外的计算机视觉任务,如实例分割、姿态估计等。YOLOv8可通过多种格式部署在不同硬件平台上,提供一站式的端到端目标检测解决方案。

基于视频的3D场景重建

VisFusion是一个利用视频数据进行在线3D场景重建的技术，它能够实时地从视频中提取和重建出三维环境。这项技术结合了计算机视觉和深度学习，为用户提供了一个强大的工具，用于创建精确的三维模型。

AI模型开发与部署

Visnet是一个全面的、无头的、多兼容的神经网络接口框架，主要用于自然语言处理和深度视觉系统。它具有模块化的前端、无服务器架构和多兼容性，并提供了REST API和Websocket接口。它包含了多个核心AI模型，如翻译、车牌识别和人脸特征匹配等。Visnet可广泛应用于监控、无人机检测、图像和视频分析等领域。

开放式基于提示的图像生成

GLIGEN是一个开放式的基于文本提示的图像生成模型,它可以基于文本描述和边界框等限定条件生成图像。该模型通过冻结预训练好的文本到图像Diffusion模型的参数,并在其中插入新的数据来实现。这种模块化设计可以高效地进行训练,并具有很强的推理灵活性。GLIGEN可以支持开放世界的有条件图像生成,对新出现的概念和布局也具有很强的泛化能力。

基于双向状态空间模型的高效视觉表示学习框架

Vision Mamba是一个高效的视觉表示学习框架,使用双向Mamba模块构建,可以克服计算和内存限制,进行高分辨率图像的Transformer风格理解。它不依赖自注意力机制,通过位置嵌入和双向状态空间模型压缩视觉表示,实现更高性能,计算和内存效率也更好。该框架在 ImageNet分类、COCO目标检测和ADE20k语义分割任务上,性能优于经典的视觉Transformers,如DeiT,但计算和内存效率提高2.8倍和86.8%。

用于视频超分辨率和去模糊的深度学习模型

FMA-Net是一个用于视频超分辨率和去模糊的深度学习模型。它可以将低分辨率和模糊的视频恢复成高分辨率和清晰的视频。该模型通过流引导的动态过滤和多注意力的迭代特征精炼技术,可以有效处理视频中的大动作,实现视频的联合超分辨率和去模糊。该模型结构简单、效果显著,可以广泛应用于视频增强、编辑等领域。

一个AI深度学习平台,提供丰富的模型和工具,打造AI创新社区

Neuralhub是一个让深度学习更简单的平台,它为AI爱好者、研究人员和工程师提供实验和创新的环境。我们的目标不仅仅是提供工具,我们还在建立一个社区,一个可以分享和协作的地方。我们致力于通过汇集所有工具、研究和模型到一个协作空间,简化当今的深度学习,使AI研究、学习和开发更容易获取。

从合成数据中学习视觉表示模型

该代码仓库包含从合成图像数据(主要是图片)进行学习的研究,包括StableRep、Scaling和SynCLR三个项目。这些项目研究了如何利用文本到图像模型生成的合成图像数据进行视觉表示模型的训练,并取得了非常好的效果。

机器人图像渲染的新发展

Wild2Avatar是一个用于渲染被遮挡的野外单目视频中的人类外观的神经渲染方法。它可以在真实场景下渲染人类,即使障碍物可能会阻挡相机视野并导致部分遮挡。该方法通过将场景分解为三部分(遮挡物、人类和背景)来实现,并使用特定的目标函数强制分离人类与遮挡物和背景,以确保人类模型的完整性。

一个统一的用于图像和视频对象分割的模型

UniRef是一个统一的用于图像和视频参考对象分割的模型。它支持语义参考图像分割(RIS)、少样本分割(FSS)、语义参考视频对象分割(RVOS)和视频对象分割(VOS)等多种任务。UniRef的核心是UniFusion模块,它可以高效地将各种参考信息注入到基础网络中。 UniRef可以作为SAM等基础模型的插件组件使用。UniRef提供了在多个基准数据集上训练好的模型,同时也开源了代码以供研究使用。

MindOne,一站式AI生成工具

MindOne是一个一站式的AI生成工具App。它整合了多种前沿的AI模型,包括文字生成、图像生成、聊天机器人等功能。用户可以通过MindOne快速生成各种效果的图像,并可以自定义不同的风格和场景。此外,它还内置多种先进的NLP模型,支持智能问答、文本摘要、语音识别等功能。MindOne简单易用的界面设计和合理的价格策略,让普通用户也能无障碍地使用顶级AI技术,开启属于自己的AI之旅。

一款用于训练PyTorch计算机视觉模型的开源库。

YOLO-NAS Pose是一款免费的、开源的库，用于训练基于PyTorch的计算机视觉模型。它提供了训练脚本和快速简单复制模型结果的示例。内置SOTA模型，可以轻松加载和微调生产就绪的预训练模型，包括最佳实践和验证的超参数，以实现最佳的准确性。可以缩短训练生命周期，消除不确定性。提供分类、检测、分割等不同任务的模型，可以轻松集成到代码库中。

开源分布式深度学习工具

The Microsoft Cognitive Toolkit（CNTK）是一个开源的商业级分布式深度学习工具。它通过有向图描述神经网络的计算步骤，支持常见的模型类型，并实现了自动微分和并行计算。CNTK支持64位Linux和Windows操作系统，可以作为Python、C或C++程序的库使用，也可以通过其自身的模型描述语言BrainScript作为独立的机器学习工具使用。

用于高效表示复杂时空信号的残差神经场

ResFields是一类专门设计用于有效表示复杂时空信号的网络。它将时变权重引入多层感知机中,利用可训练的残差参数增强了模型的表达能力。该方法可以无缝集成到现有技术中,并可显著提高各种具有挑战性的任务的结果,如2D视频逼近、动态形状建模和动态NeRF重建等。

无代码搭建目标检测神经网络

MakeML是一个无需编写任何代码就可以搭建图像目标检测神经网络的开发工具。它提供了一个简单易用的图形界面,用户只需上传训练集图片,绘制bounding box,设置参数,就可以训练出一个高效的目标检测模型,并导出成CoreML格式在iOS App中使用。MakeML解决了神经网络开发门槛高的痛点,不需要任何机器学习或编程知识,就可以获得强大的深度学习能力。

在线AI抠图工具 能抠任何图像中的任何对象

SAM是一个可提示的分割系统,能够对不熟悉的对象和图像进行零样本泛化,无需额外训练。它使用各种输入提示,可以进行广泛的分割任务,无需额外训练。它的可提示设计可以与其他系统灵活集成。它在1100万张图像上训练,拥有10亿个分割掩模。它的高效模块化设计使其可以在几毫秒内进行推理。Segment Anything Model (SAM)，该模型能够根据文本指令等方式实现图像分割，而且万物皆可识别和一键抠图，上传图片点击物体即可识别。