产品库

先进的视觉基础模型，支持多种视觉和视觉-语言任务

Florence-2-large是由微软开发的先进视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示来执行如图像描述、目标检测和分割等任务。它利用包含54亿注释的5.4亿图像的FLD-5B数据集，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

先进的视觉基础模型，支持多种视觉和视觉-语言任务。

Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行如描述、目标检测和分割等任务。它利用包含54亿个注释的5.4亿张图像的FLD-5B数据集，精通多任务学习。模型的序列到序列架构使其在零样本和微调设置中都表现出色，证明其为有竞争力的视觉基础模型。

一种统一的视觉任务基础模型。

Florence-2是一个新型的视觉基础模型，它通过统一的、基于提示的表示方式，能够处理多种计算机视觉和视觉-语言任务。它设计为接受文本提示作为任务指令，并以文本形式生成期望的结果，无论是图像描述、目标检测、定位还是分割。这种多任务学习设置需要大规模、高质量的注释数据。为此，我们共同开发了FLD-5B，它包含了54亿个综合视觉注释，涵盖1.26亿张图像，使用了自动化图像注释和模型细化的迭代策略。我们采用了序列到序列的结构来训练Florence-2，以执行多样化和全面的视觉任务。广泛的评估表明，Florence-2是一个强大的视觉基础模型竞争者，具有前所未有的零样本和微调能力。

D-FINE重新定义DETRs中的回归任务为细粒度分布细化。

D-FINE是一个强大的实时目标检测模型，它通过将DETRs中的边界框回归任务重新定义为细粒度分布细化（FDR），并引入全局最优定位自蒸馏（GO-LSD），在不增加额外推理和训练成本的情况下，实现了出色的性能。该模型由中国科学院的研究人员开发，旨在提高目标检测的精度和效率。

首款通用型机器人基础模型

π0是一个通用型机器人基础模型，旨在通过实体化训练让AI系统获得物理智能，能够执行各种任务，就像大型语言模型和聊天机器人助手一样。π0通过训练在机器人上的实体经验获得物理智能，能够直接输出低级电机命令，控制多种不同的机器人，并可以针对特定应用场景进行微调。π0的开发代表了人工智能在物理世界应用方面的重要进步，它通过结合大规模多任务和多机器人数据收集以及新的网络架构，提供了迄今为止最有能力、最灵巧的通用型机器人政策。

先进的通用机器人代理

GR-2是一个先进的通用机器人代理，专为多样化和可泛化的机器人操作而设计。它首先在大量互联网视频上进行预训练，以捕捉世界的动态。这种大规模预训练涉及3800万视频剪辑和超过500亿个标记，使GR-2能够在随后的策略学习中跨广泛范围的机器人任务和环境进行泛化。随后，GR-2针对视频生成和动作预测进行了微调，使用机器人轨迹。它展示了令人印象深刻的多任务学习能力，在100多个任务中平均成功率达到97.7%。此外，GR-2在新的、以前未见过的场景中表现出色，包括新的背景、环境、对象和任务。值得注意的是，GR-2随着模型大小的增加而高效扩展，突显了其持续增长和应用的潜力。

先进的目标检测和跟踪模型

Ultralytics YOLO11是基于之前YOLO系列模型的进一步发展，引入了新特性和改进，以提高性能和灵活性。YOLO11旨在快速、准确、易于使用，非常适合广泛的目标检测、跟踪、实例分割、图像分类和姿态估计任务。

AI技术快速生成图片描述

AI Describe Pictures是一个利用人工智能大模型构建的平台，能够快速为图片生成详细或简要的描述。它通过AI技术，不仅能够描述图片中的场景和人物，还可以根据用户的需求提供定制化的描述方式。该产品通过AI技术的应用，极大地提高了图片描述的效率和准确性，对于视觉障碍人士、内容创作者和需要图片描述的各类场景都具有重要的意义。

机器人操控的时空关系关键点约束推理

ReKep是一个用于机器人操控的时空关系关键点约束推理系统，它通过将机器人操控任务表示为关联机器人和环境的约束来编码期望的机器人行为。ReKep利用大型视觉模型和视觉-语言模型，无需特定任务训练或环境模型，即可生成基于关键点的约束，这些约束可以被优化以实现多阶段、野外、双手和反应性行为。ReKep的主要优点包括其通用性、无需手动标记以及能够被现成求解器实时优化以产生机器人动作。

先进的人工智能视觉模型，专门分析和理解人类动作。

Sapiens视觉模型由Meta Reality Labs开发，专注于处理人类视觉任务，包括2D姿态估计、身体部位分割、深度估计和表面法线预测等。模型在超过3亿张人类图像上训练，具备高分辨率图像处理能力，并能在数据稀缺情况下表现出色。其设计简单、易于扩展，性能在增加参数后显著提升，已在多个测试中超越现有基线模型。

自动化解释性代理，提升AI模型透明度

MAIA（Multimodal Automated Interpretability Agent）是由MIT计算机科学与人工智能实验室（CSAIL）开发的一个自动化系统，旨在提高人工智能模型的解释性。它通过视觉-语言模型的支撑，结合一系列实验工具，自动化地执行多种神经网络解释性任务。MAIA能够生成假设、设计实验进行测试，并通过迭代分析来完善其理解，从而提供更深入的AI模型内部运作机制的洞察。

自动生成丰富详细的图像描述

image-textualization 是一个自动框架，用于生成丰富和详细的图像描述。该框架利用深度学习技术，能够自动从图像中提取信息，并生成准确、详细的描述文本。这项技术在图像识别、内容生成和辅助视觉障碍人士等领域具有重要应用价值。

轻量级、先进的文本生成模型

Gemma-2-9b-it是由Google开发的一系列轻量级、最先进的开放模型，基于与Gemini模型相同的研究和技术构建而成。这些模型是文本到文本的解码器仅大型语言模型，以英文提供，适用于问答、摘要和推理等多样化文本生成任务。由于其相对较小的尺寸，可以在资源有限的环境中部署，如笔记本电脑、桌面或个人云基础设施，使先进的AI模型更加普及，促进创新。

从语言到视觉的长上下文转换模型

LongVA是一个能够处理超过2000帧或超过200K视觉标记的长上下文转换模型。它在Video-MME中的表现在7B模型中处于领先地位。该模型基于CUDA 11.8和A100-SXM-80G进行了测试，并且可以通过Hugging Face平台进行快速启动和使用。

生成高质量图像描述的AI模型

HunyuanCaptioner是一款基于LLaVA实现的文本到图像技术模型，能够生成与图像高度一致的文本描述，包括物体描述、物体关系、背景信息、图像风格等。它支持中文和英文的单图和多图推理，并可通过Gradio进行本地演示。

先进的视觉基础模型，支持多种视觉和视觉-语言任务

Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集，包含54亿个注释，覆盖1.26亿张图像，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

先进的视觉基础模型，支持多种视觉和视觉-语言任务。

Florence-2-large-ft是由微软开发的高级视觉基础模型，使用基于提示的方法来处理广泛的视觉和视觉-语言任务。该模型能够通过简单的文本提示执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集，包含54亿个注释，覆盖1.26亿张图像，实现多任务学习。模型的序列到序列架构使其在零样本和微调设置中均表现出色，证明其为有竞争力的视觉基础模型。

大规模图像描述数据集，提供超过16M的合成图像描述。

PixelProse是一个由tomg-group-umd创建的大规模数据集，它利用先进的视觉-语言模型Gemini 1.0 Pro Vision生成了超过1600万个详细的图像描述。这个数据集对于开发和改进图像到文本的转换技术具有重要意义，可以用于图像描述生成、视觉问答等任务。

实时语音翻译，跨语言沟通的桥梁。

StreamSpeech是一款基于多任务学习的实时语音到语音翻译模型。它通过统一框架同时学习翻译和同步策略，有效识别流式语音输入中的翻译时机，实现高质量的实时通信体验。该模型在CVSS基准测试中取得了领先的性能，并能提供低延迟的中间结果，如ASR或翻译结果。

基于llama3 8B的SOTA视觉模型

llama3v是一个基于Llama3 8B和siglip-so400m的SOTA（State of the Art，即最先进技术）视觉模型。它是一个开源的VLLM（视觉语言多模态学习模型），在Huggingface上提供模型权重，支持快速本地推理，并发布了推理代码。该模型结合了图像识别和文本生成，通过添加投影层将图像特征映射到LLaMA嵌入空间，以提高模型对图像的理解能力。

实时端到端目标检测模型

YOLOv10是新一代的目标检测模型，它在保持实时性能的同时，实现了高精度的目标检测。该模型通过优化后处理和模型架构，减少了计算冗余，提高了效率和性能。YOLOv10在不同模型规模上都达到了最先进的性能和效率，例如，YOLOv10-S在相似的AP下比RT-DETR-R18快1.8倍，同时参数数量和FLOPs减少了2.8倍。

利用本地 AI 模型为您提供网页浏览辅助

Page Assist 是一个为本地 AI 模型提供便捷的 Web 用户界面的辅助工具。您可以利用本地 AI 模型与浏览器交互，或者将其作为本地 AI 模型供应商（如 Ollama Repo）的 Web 用户界面。当前功能包括侧边栏任务支持、视觉模型支持、最小化的本地 AI 模型 Web 用户界面、互联网搜索功能、侧边栏上的 PDF 对话框、文档聊天（PDF、CSV、TXT、MD 格式）等。

先进的开放世界目标检测模型系列

Grounding DINO 1.5是由IDEA Research开发，旨在推进开放世界目标检测技术边界的高级模型系列。该系列包含两个模型：Grounding DINO 1.5 Pro和Grounding DINO 1.5 Edge，分别针对广泛的应用场景和边缘计算场景进行了优化。

图像分析和描述工具

Clip Interrogator是一个使用CLIP模型来分析图像并生成描述性文本的工具。它通过解释图像内容来有效地将视觉内容和语言联系起来，对于理解和复制现有图像的风格和内容非常有用。

一个通用的多模态模型,可用于问答、图像描述等任务

HuggingFaceM4/idefics-80b-instruct是一个开源的多模态模型,它可以接受图像和文本的输入,输出相关的文本内容。该模型在视觉问答、图像描述等任务上表现出色,是一个通用的智能助手模型。它由Hugging Face团队开发,基于开放数据集训练,提供免费使用。

基于Pile数据集训练的T5模型

Pile-T5是EleutherAI推出的一款自然语言处理模型，它在原有的T5模型基础上，采用了Pile数据集和LLAMA分词器进行训练，以改善对代码任务的理解能力。该模型经过了2万亿个token的训练，是原T5模型训练量的两倍。Pile-T5在多项下游任务中表现出色，尤其是在代码相关任务上。此外，EleutherAI还提供了中间检查点，以便研究人员研究模型随时间的演变。

连接不同语言模型和生成视觉模型进行文本到图像生成

LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。

结合视觉语音处理与大型语言模型的框架

VSP-LLM是一个结合视觉语音处理（Visual Speech Processing）与大型语言模型（LLMs）的框架，旨在通过LLMs的强大能力最大化上下文建模能力。VSP-LLM设计用于执行视觉语音识别和翻译的多任务，通过自监督视觉语音模型将输入视频映射到LLM的输入潜在空间。该框架通过提出一种新颖的去重方法和低秩适配器（LoRA），可以高效地进行训练。

YOLOv9模型实现，可编程梯度信息学习

yolov9是YOLOv9论文的实现，它通过使用可编程梯度信息来学习用户想要学习的内容。这个项目是一个开源的深度学习模型，主要用于目标检测任务，具有高效和准确的优势。

YOLOv8目标检测跟踪模型

YOLOv8是YOLO系列目标检测模型的最新版本,能够在图像或视频中准确快速地识别和定位多个对象,并实时跟踪它们的移动。相比之前版本,YOLOv8在检测速度和精确度上都有很大提升,同时支持多种额外的计算机视觉任务,如实例分割、姿态估计等。YOLOv8可通过多种格式部署在不同硬件平台上,提供一站式的端到端目标检测解决方案。