ReKep是一个用于机器人操控的时空关系关键点约束推理系统，它通过将机器人操控任务表示为关联机器人和环境的约束来编码期望的机器人行为。ReKep利用大型视觉模型和视觉-语言模型，无需特定任务训练或环境模型，即可生成基于关键点的约束，这些约束可以被优化以实现多阶段、野外、双手和反应性行为。ReKep的主要优点包括其通用性、无需手动标记以及能够被现成求解器实时优化以产生机器人动作。
需求人群：
"ReKep的目标受众是机器人学、自动化和人工智能领域的研究人员和工程师。它适合那些需要开发能够理解和执行复杂操控任务的机器人系统的专业人士。"
使用场景示例：
在多阶段任务中，ReKep能够优化机器人的动作以折叠不同类型的衣物。
在野外环境中，ReKep使机器人能够适应环境变化，如在操作过程中物体位置的随机变化。
ReKep支持双手操控任务，例如同时操作两个机械臂进行复杂的组装任务。
产品特色：
使用RGB-D观察和自由形式语言指令生成关键点候选
通过DINOv2和GPT-4o生成ReKep约束作为Python程序
采用层次优化过程解决机器人动作
实时闭环重规划，包括阶段内和阶段间的重规划
支持双手操控任务
在野外环境中进行操控任务
能够为同一任务生成不同的策略
使用教程：
1. 准备RGB-D观察和自由形式语言指令。
2. 使用DINOv2识别场景中的关键点。
3. 将关键点和指令输入GPT-4o生成ReKep约束。
4. 利用层次优化过程求解机器人动作。
5. 进行实时闭环重规划以适应环境变化。
6. 执行机器人动作序列以完成任务。
7. 根据需要调整和优化ReKep约束。
浏览量：13
机器人操控的时空关系关键点约束推理
ReKep是一个用于机器人操控的时空关系关键点约束推理系统，它通过将机器人操控任务表示为关联机器人和环境的约束来编码期望的机器人行为。ReKep利用大型视觉模型和视觉-语言模型，无需特定任务训练或环境模型，即可生成基于关键点的约束，这些约束可以被优化以实现多阶段、野外、双手和反应性行为。ReKep的主要优点包括其通用性、无需手动标记以及能够被现成求解器实时优化以产生机器人动作。
先进的人工智能视觉模型，专门分析和理解人类动作。
Sapiens视觉模型由Meta Reality Labs开发，专注于处理人类视觉任务，包括2D姿态估计、身体部位分割、深度估计和表面法线预测等。模型在超过3亿张人类图像上训练，具备高分辨率图像处理能力，并能在数据稀缺情况下表现出色。其设计简单、易于扩展，性能在增加参数后显著提升，已在多个测试中超越现有基线模型。
自动化解释性代理，提升AI模型透明度
MAIA（Multimodal Automated Interpretability Agent）是由MIT计算机科学与人工智能实验室（CSAIL）开发的一个自动化系统，旨在提高人工智能模型的解释性。它通过视觉-语言模型的支撑，结合一系列实验工具，自动化地执行多种神经网络解释性任务。MAIA能够生成假设、设计实验进行测试，并通过迭代分析来完善其理解，从而提供更深入的AI模型内部运作机制的洞察。
从语言到视觉的长上下文转换模型
LongVA是一个能够处理超过2000帧或超过200K视觉标记的长上下文转换模型。它在Video-MME中的表现在7B模型中处于领先地位。该模型基于CUDA 11.8和A100-SXM-80G进行了测试，并且可以通过Hugging Face平台进行快速启动和使用。
先进的视觉基础模型，支持多种视觉和视觉-语言任务。
Florence-2是由微软开发的高级视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示，执行如描述、目标检测和分割等任务。它利用包含54亿个注释的5.4亿张图像的FLD-5B数据集，精通多任务学习。模型的序列到序列架构使其在零样本和微调设置中都表现出色，证明其为有竞争力的视觉基础模型。
先进的视觉基础模型，支持多种视觉和视觉-语言任务
Florence-2-large是由微软开发的先进视觉基础模型，采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示来执行如图像描述、目标检测和分割等任务。它利用包含54亿注释的5.4亿图像的FLD-5B数据集，精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色，证明是一个有竞争力的视觉基础模型。
一种统一的视觉任务基础模型。
Florence-2是一个新型的视觉基础模型，它通过统一的、基于提示的表示方式，能够处理多种计算机视觉和视觉-语言任务。它设计为接受文本提示作为任务指令，并以文本形式生成期望的结果，无论是图像描述、目标检测、定位还是分割。这种多任务学习设置需要大规模、高质量的注释数据。为此，我们共同开发了FLD-5B，它包含了54亿个综合视觉注释，涵盖1.26亿张图像，使用了自动化图像注释和模型细化的迭代策略。我们采用了序列到序列的结构来训练Florence-2，以执行多样化和全面的视觉任务。广泛的评估表明，Florence-2是一个强大的视觉基础模型竞争者，具有前所未有的零样本和微调能力。
基于llama3 8B的SOTA视觉模型
llama3v是一个基于Llama3 8B和siglip-so400m的SOTA（State of the Art，即最先进技术）视觉模型。它是一个开源的VLLM（视觉语言多模态学习模型），在Huggingface上提供模型权重，支持快速本地推理，并发布了推理代码。该模型结合了图像识别和文本生成，通过添加投影层将图像特征映射到LLaMA嵌入空间，以提高模型对图像的理解能力。
利用本地 AI 模型为您提供网页浏览辅助
Page Assist 是一个为本地 AI 模型提供便捷的 Web 用户界面的辅助工具。您可以利用本地 AI 模型与浏览器交互，或者将其作为本地 AI 模型供应商（如 Ollama Repo）的 Web 用户界面。当前功能包括侧边栏任务支持、视觉模型支持、最小化的本地 AI 模型 Web 用户界面、互联网搜索功能、侧边栏上的 PDF 对话框、文档聊天（PDF、CSV、TXT、MD 格式）等。
连接不同语言模型和生成视觉模型进行文本到图像生成
LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。
视觉状态空间模型，线性复杂度，全局感知
VMamba是一种视觉状态空间模型，结合了卷积神经网络（CNNs）和视觉Transformer（ViTs）的优势，实现了线性复杂度而不牺牲全局感知。引入了Cross-Scan模块（CSM）来解决方向敏感问题，能够在各种视觉感知任务中展现出优异的性能，并且随着图像分辨率的增加，相对已有基准模型表现出更为显著的优势。
大规模自回归图像模型预训练
这篇论文介绍了AIM，这是一组使用自回归目标进行预训练的视觉模型。这些模型受其文本对应物，即大型语言模型（LLMs）的启发，并表现出类似的扩展特性。具体来说，我们强调了两个关键发现：（1）视觉特征的性能随着模型容量和数据量的增加而提高，（2）目标函数的价值与模型在下游任务上的性能相关。我们通过在20亿张图像上对70亿参数的AIM进行预训练，实现了在ImageNet-1k上使用冻结主干达到84.0%的准确率。有趣的是，即使在这个规模上，我们观察到性能没有饱和的迹象，这表明AIM可能代表了训练大规模视觉模型的新前沿。AIM的预训练类似于LLMs的预训练，并不需要任何图像特定的策略来稳定大规模训练。
© 2024 AIbase 备案号：闽ICP备08105208号-14