产品库

一种统一的视觉任务基础模型。

Florence-2是一个新型的视觉基础模型，它通过统一的、基于提示的表示方式，能够处理多种计算机视觉和视觉-语言任务。它设计为接受文本提示作为任务指令，并以文本形式生成期望的结果，无论是图像描述、目标检测、定位还是分割。这种多任务学习设置需要大规模、高质量的注释数据。为此，我们共同开发了FLD-5B，它包含了54亿个综合视觉注释，涵盖1.26亿张图像，使用了自动化图像注释和模型细化的迭代策略。我们采用了序列到序列的结构来训练Florence-2，以执行多样化和全面的视觉任务。广泛的评估表明，Florence-2是一个强大的视觉基础模型竞争者，具有前所未有的零样本和微调能力。

先进的视觉基础模型，支持多种视觉和视觉-语言任务。

Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行如描述、目标检测和分割等任务。它利用包含54亿个注释的5.4亿张图像的FLD-5B数据集，精通多任务学习。模型的序列到序列架构使其在零样本和微调设置中都表现出色，证明其为有竞争力的视觉基础模型。

先进的视觉基础模型，支持多种视觉和视觉-语言任务

Florence-2-large是由微软开发的先进视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示来执行如图像描述、目标检测和分割等任务。它利用包含54亿注释的5.4亿图像的FLD-5B数据集，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

首款通用型机器人基础模型

π0是一个通用型机器人基础模型，旨在通过实体化训练让AI系统获得物理智能，能够执行各种任务，就像大型语言模型和聊天机器人助手一样。π0通过训练在机器人上的实体经验获得物理智能，能够直接输出低级电机命令，控制多种不同的机器人，并可以针对特定应用场景进行微调。π0的开发代表了人工智能在物理世界应用方面的重要进步，它通过结合大规模多任务和多机器人数据收集以及新的网络架构，提供了迄今为止最有能力、最灵巧的通用型机器人政策。

先进的通用机器人代理

GR-2是一个先进的通用机器人代理，专为多样化和可泛化的机器人操作而设计。它首先在大量互联网视频上进行预训练，以捕捉世界的动态。这种大规模预训练涉及3800万视频剪辑和超过500亿个标记，使GR-2能够在随后的策略学习中跨广泛范围的机器人任务和环境进行泛化。随后，GR-2针对视频生成和动作预测进行了微调，使用机器人轨迹。它展示了令人印象深刻的多任务学习能力，在100多个任务中平均成功率达到97.7%。此外，GR-2在新的、以前未见过的场景中表现出色，包括新的背景、环境、对象和任务。值得注意的是，GR-2随着模型大小的增加而高效扩展，突显了其持续增长和应用的潜力。

机器人操控的时空关系关键点约束推理

ReKep是一个用于机器人操控的时空关系关键点约束推理系统，它通过将机器人操控任务表示为关联机器人和环境的约束来编码期望的机器人行为。ReKep利用大型视觉模型和视觉-语言模型，无需特定任务训练或环境模型，即可生成基于关键点的约束，这些约束可以被优化以实现多阶段、野外、双手和反应性行为。ReKep的主要优点包括其通用性、无需手动标记以及能够被现成求解器实时优化以产生机器人动作。

先进的人工智能视觉模型，专门分析和理解人类动作。

Sapiens视觉模型由Meta Reality Labs开发，专注于处理人类视觉任务，包括2D姿态估计、身体部位分割、深度估计和表面法线预测等。模型在超过3亿张人类图像上训练，具备高分辨率图像处理能力，并能在数据稀缺情况下表现出色。其设计简单、易于扩展，性能在增加参数后显著提升，已在多个测试中超越现有基线模型。

自动化解释性代理，提升AI模型透明度

MAIA（Multimodal Automated Interpretability Agent）是由MIT计算机科学与人工智能实验室（CSAIL）开发的一个自动化系统，旨在提高人工智能模型的解释性。它通过视觉-语言模型的支撑，结合一系列实验工具，自动化地执行多种神经网络解释性任务。MAIA能够生成假设、设计实验进行测试，并通过迭代分析来完善其理解，从而提供更深入的AI模型内部运作机制的洞察。

轻量级、先进的文本生成模型

Gemma-2-9b-it是由Google开发的一系列轻量级、最先进的开放模型，基于与Gemini模型相同的研究和技术构建而成。这些模型是文本到文本的解码器仅大型语言模型，以英文提供，适用于问答、摘要和推理等多样化文本生成任务。由于其相对较小的尺寸，可以在资源有限的环境中部署，如笔记本电脑、桌面或个人云基础设施，使先进的AI模型更加普及，促进创新。

从语言到视觉的长上下文转换模型

LongVA是一个能够处理超过2000帧或超过200K视觉标记的长上下文转换模型。它在Video-MME中的表现在7B模型中处于领先地位。该模型基于CUDA 11.8和A100-SXM-80G进行了测试，并且可以通过Hugging Face平台进行快速启动和使用。

先进的视觉基础模型，支持多种视觉和视觉-语言任务

Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集，包含54亿个注释，覆盖1.26亿张图像，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。

先进的视觉基础模型，支持多种视觉和视觉-语言任务。

Florence-2-large-ft是由微软开发的高级视觉基础模型，使用基于提示的方法来处理广泛的视觉和视觉-语言任务。该模型能够通过简单的文本提示执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集，包含54亿个注释，覆盖1.26亿张图像，实现多任务学习。模型的序列到序列架构使其在零样本和微调设置中均表现出色，证明其为有竞争力的视觉基础模型。

实时语音翻译，跨语言沟通的桥梁。

StreamSpeech是一款基于多任务学习的实时语音到语音翻译模型。它通过统一框架同时学习翻译和同步策略，有效识别流式语音输入中的翻译时机，实现高质量的实时通信体验。该模型在CVSS基准测试中取得了领先的性能，并能提供低延迟的中间结果，如ASR或翻译结果。

基于llama3 8B的SOTA视觉模型

llama3v是一个基于Llama3 8B和siglip-so400m的SOTA（State of the Art，即最先进技术）视觉模型。它是一个开源的VLLM（视觉语言多模态学习模型），在Huggingface上提供模型权重，支持快速本地推理，并发布了推理代码。该模型结合了图像识别和文本生成，通过添加投影层将图像特征映射到LLaMA嵌入空间，以提高模型对图像的理解能力。

利用本地 AI 模型为您提供网页浏览辅助

Page Assist 是一个为本地 AI 模型提供便捷的 Web 用户界面的辅助工具。您可以利用本地 AI 模型与浏览器交互，或者将其作为本地 AI 模型供应商（如 Ollama Repo）的 Web 用户界面。当前功能包括侧边栏任务支持、视觉模型支持、最小化的本地 AI 模型 Web 用户界面、互联网搜索功能、侧边栏上的 PDF 对话框、文档聊天（PDF、CSV、TXT、MD 格式）等。

基于Pile数据集训练的T5模型

Pile-T5是EleutherAI推出的一款自然语言处理模型，它在原有的T5模型基础上，采用了Pile数据集和LLAMA分词器进行训练，以改善对代码任务的理解能力。该模型经过了2万亿个token的训练，是原T5模型训练量的两倍。Pile-T5在多项下游任务中表现出色，尤其是在代码相关任务上。此外，EleutherAI还提供了中间检查点，以便研究人员研究模型随时间的演变。

连接不同语言模型和生成视觉模型进行文本到图像生成

LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。

结合视觉语音处理与大型语言模型的框架

VSP-LLM是一个结合视觉语音处理（Visual Speech Processing）与大型语言模型（LLMs）的框架，旨在通过LLMs的强大能力最大化上下文建模能力。VSP-LLM设计用于执行视觉语音识别和翻译的多任务，通过自监督视觉语音模型将输入视频映射到LLM的输入潜在空间。该框架通过提出一种新颖的去重方法和低秩适配器（LoRA），可以高效地进行训练。

视觉状态空间模型，线性复杂度，全局感知

VMamba是一种视觉状态空间模型，结合了卷积神经网络（CNNs）和视觉Transformer（ViTs）的优势，实现了线性复杂度而不牺牲全局感知。引入了Cross-Scan模块（CSM）来解决方向敏感问题，能够在各种视觉感知任务中展现出优异的性能，并且随着图像分辨率的增加，相对已有基准模型表现出更为显著的优势。

大规模自回归图像模型预训练

这篇论文介绍了AIM，这是一组使用自回归目标进行预训练的视觉模型。这些模型受其文本对应物，即大型语言模型（LLMs）的启发，并表现出类似的扩展特性。具体来说，我们强调了两个关键发现：（1）视觉特征的性能随着模型容量和数据量的增加而提高，（2）目标函数的价值与模型在下游任务上的性能相关。我们通过在20亿张图像上对70亿参数的AIM进行预训练，实现了在ImageNet-1k上使用冻结主干达到84.0%的准确率。有趣的是，即使在这个规模上，我们观察到性能没有饱和的迹象，这表明AIM可能代表了训练大规模视觉模型的新前沿。AIM的预训练类似于LLMs的预训练，并不需要任何图像特定的策略来稳定大规模训练。

多语言预训练语言模型

「书生·浦语2.0」InternLM2是一个面向中文和英文的大型多语言预训练语言模型。它具有语言理解、自然语言生成、多模式推理、代码理解等强大的能力。模型采用Transformer架构并进行海量数据的预训练,在长文本理解、对话、数学运算等多个方向上都达到了业界领先水平。该系列模型包含多种规模,用户可以选择合适的模型进行下游任务微调或构建聊天机器人等应用。

精准图像编辑，一站式满足多任务需求

Emu Edit是一款多任务图像编辑模型，通过识别和生成任务完成精准图像编辑，并在此领域内取得了最新的技术突破。Emu Edit的架构针对多任务学习进行了优化，并在众多任务上进行训练，包括基于区域的编辑、自由形式的编辑以及检测和分割等计算机视觉任务。除此之外，为了更有效地处理这多种任务，我们引入了学习到的任务嵌入概念，用于指导生成过程以正确执行编辑指令。我们的模型经过多任务训练和使用学习到的任务嵌入都能显著提升准确执行编辑指令的能力。 Emu Edit还支持对未见任务的快速适应，通过任务倒转实现少样本学习。在这个过程中，我们保持模型权重不变，仅更新任务嵌入来适应新任务。我们的实验证明，Emu Edit能够迅速适应新任务，如超分辨率、轮廓检测等。这使得在标注样本有限或计算预算有限的情况下，使用Emu Edit进行任务倒转特别有优势。 为了支持对基于指令的图像编辑模型的严格且有根据的评估，我们还收集并公开发布了一个新的基准数据集，其中包含七种不同的图像编辑任务：背景修改（background）、综合图像变化（global）、风格修改（style）、对象移除（remove）、对象添加（add）、局部修改（local）以及颜色/纹理修改（texture）。此外，为了与Emu Edit进行正确比较，我们还分享了Emu Edit在数据集上的生成结果。 Emu Edit 2023 Meta保留所有版权