产品库

深度学习驱动的三维重建技术

VGGSfM是一种基于深度学习的三维重建技术，旨在从一组不受限制的2D图像中重建场景的相机姿态和3D结构。该技术通过完全可微分的深度学习框架，实现端到端的训练。它利用深度2D点跟踪技术提取可靠的像素级轨迹，同时基于图像和轨迹特征恢复所有相机，并通过可微分的捆绑调整层优化相机和三角化3D点。VGGSfM在CO3D、IMC Phototourism和ETH3D三个流行数据集上取得了最先进的性能。

3D图像匹配的先进模型

MASt3R是由Naver Corporation开发的一种用于3D图像匹配的先进模型，它专注于提升计算机视觉领域中的几何3D视觉任务。该模型利用了最新的深度学习技术，通过训练能够实现对图像之间精确的3D匹配，对于增强现实、自动驾驶以及机器人导航等领域具有重要意义。

提供关于人工智能的最佳资源，学习机器学习、数据科学、自然语言处理等。

AI Online Course是一个互动学习平台，提供清晰简明的人工智能介绍，使复杂的概念易于理解。它涵盖机器学习、深度学习、计算机视觉、自动驾驶、聊天机器人等方面的知识，并强调实际应用和技术优势。

CoreNet 是一个用于训练深度神经网络的库。

CoreNet 是一个深度神经网络工具包，使研究人员和工程师能够训练标准和新颖的小型和大型规模模型，用于各种任务，包括基础模型（例如 CLIP 和 LLM）、对象分类、对象检测和语义分割。

无需相机校准信息的密集立体3D重建

DUSt3R是一种新颖的密集和无约束立体3D重建方法，适用于任意图像集合。它不需要事先了解相机校准或视点姿态信息，通过将成对重建问题视为点图的回归，放宽了传统投影相机模型的严格约束。DUSt3R提供了一种统一的单目和双目重建方法，并在多图像情况下提出了一种简单有效的全局对齐策略。基于标准的Transformer编码器和解码器构建网络架构，利用强大的预训练模型。DUSt3R直接提供场景的3D模型和深度信息，并且可以从中恢复像素匹配、相对和绝对相机信息。

YOLOv8目标检测跟踪模型

YOLOv8是YOLO系列目标检测模型的最新版本,能够在图像或视频中准确快速地识别和定位多个对象,并实时跟踪它们的移动。相比之前版本,YOLOv8在检测速度和精确度上都有很大提升,同时支持多种额外的计算机视觉任务,如实例分割、姿态估计等。YOLOv8可通过多种格式部署在不同硬件平台上,提供一站式的端到端目标检测解决方案。

基于视频的3D场景重建

VisFusion是一个利用视频数据进行在线3D场景重建的技术，它能够实时地从视频中提取和重建出三维环境。这项技术结合了计算机视觉和深度学习，为用户提供了一个强大的工具，用于创建精确的三维模型。

开放式基于提示的图像生成

GLIGEN是一个开放式的基于文本提示的图像生成模型,它可以基于文本描述和边界框等限定条件生成图像。该模型通过冻结预训练好的文本到图像Diffusion模型的参数,并在其中插入新的数据来实现。这种模块化设计可以高效地进行训练,并具有很强的推理灵活性。GLIGEN可以支持开放世界的有条件图像生成,对新出现的概念和布局也具有很强的泛化能力。

基于双向状态空间模型的高效视觉表示学习框架

Vision Mamba是一个高效的视觉表示学习框架,使用双向Mamba模块构建,可以克服计算和内存限制,进行高分辨率图像的Transformer风格理解。它不依赖自注意力机制,通过位置嵌入和双向状态空间模型压缩视觉表示,实现更高性能,计算和内存效率也更好。该框架在 ImageNet分类、COCO目标检测和ADE20k语义分割任务上,性能优于经典的视觉Transformers,如DeiT,但计算和内存效率提高2.8倍和86.8%。

用于视频超分辨率和去模糊的深度学习模型

FMA-Net是一个用于视频超分辨率和去模糊的深度学习模型。它可以将低分辨率和模糊的视频恢复成高分辨率和清晰的视频。该模型通过流引导的动态过滤和多注意力的迭代特征精炼技术,可以有效处理视频中的大动作,实现视频的联合超分辨率和去模糊。该模型结构简单、效果显著,可以广泛应用于视频增强、编辑等领域。

从合成数据中学习视觉表示模型

该代码仓库包含从合成图像数据(主要是图片)进行学习的研究,包括StableRep、Scaling和SynCLR三个项目。这些项目研究了如何利用文本到图像模型生成的合成图像数据进行视觉表示模型的训练,并取得了非常好的效果。

一个统一的用于图像和视频对象分割的模型

UniRef是一个统一的用于图像和视频参考对象分割的模型。它支持语义参考图像分割(RIS)、少样本分割(FSS)、语义参考视频对象分割(RVOS)和视频对象分割(VOS)等多种任务。UniRef的核心是UniFusion模块,它可以高效地将各种参考信息注入到基础网络中。 UniRef可以作为SAM等基础模型的插件组件使用。UniRef提供了在多个基准数据集上训练好的模型,同时也开源了代码以供研究使用。

一款用于训练PyTorch计算机视觉模型的开源库。

YOLO-NAS Pose是一款免费的、开源的库，用于训练基于PyTorch的计算机视觉模型。它提供了训练脚本和快速简单复制模型结果的示例。内置SOTA模型，可以轻松加载和微调生产就绪的预训练模型，包括最佳实践和验证的超参数，以实现最佳的准确性。可以缩短训练生命周期，消除不确定性。提供分类、检测、分割等不同任务的模型，可以轻松集成到代码库中。

在线AI抠图工具 能抠任何图像中的任何对象

SAM是一个可提示的分割系统,能够对不熟悉的对象和图像进行零样本泛化,无需额外训练。它使用各种输入提示,可以进行广泛的分割任务,无需额外训练。它的可提示设计可以与其他系统灵活集成。它在1100万张图像上训练,拥有10亿个分割掩模。它的高效模块化设计使其可以在几毫秒内进行推理。Segment Anything Model (SAM)，该模型能够根据文本指令等方式实现图像分割，而且万物皆可识别和一键抠图，上传图片点击物体即可识别。

使用文本生成音乐的模型

FluxMusic是一个基于PyTorch实现的文本到音乐生成模型，它通过扩散式修正流变换器探索了一种简单的文本到音乐生成方法。这个模型可以生成根据文本提示的音乐片段，具有创新性和高度的技术复杂性。它代表了音乐生成领域的前沿技术，为音乐创作提供了新的可能。

AI工具目录，发现最佳AI工具

Aixploria是一个专注于人工智能的网站，提供在线AI工具目录，帮助用户发现和选择满足其需求的最佳AI工具。该平台以简化的设计和直观的搜索引擎，让用户能够轻松地通过关键词搜索，找到各种AI应用。Aixploria不仅提供工具列表，还发布关于每个AI如何工作的文章，帮助用户理解最新趋势和最受欢迎的应用。此外，Aixploria还设有实时更新的'top 10 AI'专区，方便用户快速了解每个类别中的顶级AI工具。Aixploria适合所有对AI感兴趣的人，无论是初学者还是专家，都能在这里找到有价值的信息。

开源的文本到视频生成模型

CogVideo是由清华大学团队开发的文本到视频生成模型，它通过深度学习技术将文本描述转换为视频内容。该技术在视频内容创作、教育、娱乐等领域具有广泛的应用前景。CogVideo模型通过大规模预训练，能够生成与文本描述相匹配的视频，为视频制作提供了一种全新的自动化方式。

基于FLUX.1-dev的高级人像生成模型

AWPortrait-FL是一个在FLUX.1-dev基础上进行微调的高级人像生成模型，使用了AWPortrait-XL训练集和近2000张高质量时尚摄影照片进行训练。该模型在构图和细节上有着显著的提升，能够生成皮肤和纹理更加细腻、逼真的人像。由DynamicWang在AWPlanet上训练完成。

开源项目，用于估算模型训练或推理所需的显存。

How Much VRAM 是一个开源项目，旨在帮助用户估算其模型在训练或推理过程中所需的显存量。通过这个项目，用户能够决定所需的硬件配置，而无需尝试多种配置。该项目对于需要进行深度学习模型训练的开发者和研究人员来说非常重要，因为它可以减少硬件选择的试错成本，提高效率。项目采用 MPL-2.0 许可协议，免费提供。

生成新视角的图像，保持语义信息。

GenWarp是一个用于从单张图像生成新视角图像的模型，它通过语义保持的生成变形框架，使文本到图像的生成模型能够学习在哪里变形和在哪里生成。该模型通过增强交叉视角注意力与自注意力来解决现有方法的局限性，通过条件化生成模型在源视图图像上，并纳入几何变形信号，提高了在不同领域场景下的性能。

使用Open AI的预训练CLIP模型搜索图片

clip-image-search是一个基于Open AI的预训练CLIP模型的图像搜索工具，能够通过文本或图片查询来检索图片。CLIP模型通过训练将图像和文本映射到同一潜在空间，使得可以通过相似度度量进行比较。该工具使用Unsplash数据集中的图片，并利用Amazon Elasticsearch Service进行k-最近邻搜索，通过AWS Lambda函数和API网关部署查询服务，前端使用Streamlit开发。

AI即时推理解决方案，速度领先世界。

Cerebras Inference是Cerebras公司推出的AI推理平台，提供20倍于GPU的速度和1/5的成本。它利用Cerebras的高性能计算技术，为大规模语言模型、高性能计算等提供快速、高效的推理服务。该平台支持多种AI模型，包括医疗、能源、政府和金融服务等行业应用，具有开放源代码的特性，允许用户训练自己的基础模型或微调开源模型。

高效智能模型，助力AI研究与应用。

Hyper FLUX 8Steps LoRA是由字节跳动公司开发的一款基于LoRA技术的AI模型，旨在提高模型训练的效率和效果。它通过简化模型结构，减少训练步骤，同时保持或提升模型性能，为AI研究者和开发者提供了一个高效、易用的解决方案。

统一多模态理解和生成的单一变换器

Show-o是一个用于多模态理解和生成的单一变换器模型，它能够处理图像字幕、视觉问答、文本到图像生成、文本引导的修复和扩展以及混合模态生成。该模型由新加坡国立大学的Show Lab和字节跳动共同开发，采用最新的深度学习技术，能够理解和生成多种模态的数据，是人工智能领域的一大突破。

先进的人工智能视觉模型，专门分析和理解人类动作。

Sapiens视觉模型由Meta Reality Labs开发，专注于处理人类视觉任务，包括2D姿态估计、身体部位分割、深度估计和表面法线预测等。模型在超过3亿张人类图像上训练，具备高分辨率图像处理能力，并能在数据稀缺情况下表现出色。其设计简单、易于扩展，性能在增加参数后显著提升，已在多个测试中超越现有基线模型。

自动化图像编辑模型，简化照片编辑流程。

MagicFixup 是 Adobe Research 推出的一个开源图像编辑模型，它通过观察动态视频来简化照片编辑过程。该模型利用深度学习技术，能够自动识别和修复图像中的缺陷，提高编辑效率，减少手动操作的需求。它基于 Stable Diffusion 1.4 模型进行训练，具有强大的图像处理能力，适用于专业图像编辑人员和爱好者。

在苹果硅片上运行扩散模型的推理工具。

DiffusionKit是一个开源项目，旨在为苹果硅片设备提供扩散模型的本地推理能力。它通过将PyTorch模型转换为Core ML格式，并使用MLX进行图像生成，实现了高效的图像处理能力。项目支持Stable Diffusion 3和FLUX模型，能够进行图像生成和图像到图像的转换。

用于手术视频分割的先进模型

Segment Anything 2 for Surgical Video Segmentation 是一个基于Segment Anything Model 2的手术视频分割模型。它利用先进的计算机视觉技术，对手术视频进行自动分割，以识别和定位手术工具，提高手术视频分析的效率和准确性。该模型适用于内窥镜手术、耳蜗植入手术等多种手术场景，具有高精度和高鲁棒性的特点。

从零开始学习深度学习，实现GPT模型

zero_to_gpt是一个旨在帮助用户从零基础学习深度学习，并最终实现训练自己的GPT模型的教程。随着人工智能技术走出实验室并广泛应用于各行各业，社会对于能够理解并应用AI技术的人才需求日益增长。本教程结合理论与实践，通过解决实际问题（如天气预测、语言翻译等）来深入讲解深度学习的理论基础，如梯度下降和反向传播。课程内容从基础的神经网络架构和训练方法开始，逐步深入到复杂主题，如变换器、GPU编程和分布式训练。