产品库

基于Transformer实现的ViTPose模型集合

ViTPose是一系列基于Transformer架构的人体姿态估计模型。它利用Transformer的强大特征提取能力，为人体姿态估计任务提供了简单而有效的基线。ViTPose模型在多个数据集上表现出色，具有较高的准确性和效率。该模型由悉尼大学社区维护和更新，提供了多种不同规模的版本，以满足不同应用场景的需求。在Hugging Face平台上，ViTPose模型以开源的形式供用户使用，用户可以方便地下载和部署这些模型，进行人体姿态估计相关的研究和应用开发。

一站式大模型算法、模型及优化工具开源项目

FlagAI是由北京智源人工智能研究院推出的一站式、高质量开源项目，集成了全球各种主流大模型算法技术以及多种大模型并行处理和训练加速技术。它支持高效训练和微调，旨在降低大模型开发和应用的门槛，提高开发效率。FlagAI涵盖了多个领域明星模型，如语言大模型OPT、T5，视觉大模型ViT、Swin Transformer，多模态大模型CLIP等。智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目成果开源至FlagAI，目前该项目已经加入Linux基金会，吸引全球科研力量共同创新、共同贡献。

基于条件扩散模型的人类-物体交互合成技术

Controllable Human-Object Interaction Synthesis (CHOIS) 是一种先进的技术，它能够根据语言描述、初始物体和人类状态以及稀疏物体路径点来同时生成物体运动和人类运动。这项技术对于模拟真实的人类行为至关重要，尤其在需要精确手-物体接触和由地面支撑的适当接触的场景中。CHOIS通过引入物体几何损失作为额外的监督信息，以及在训练扩散模型的采样过程中设计指导项来强制执行接触约束，从而提高了生成物体运动与输入物体路径点之间的匹配度，并确保了交互的真实性。

从单张图片重建逼真的3D人体模型

PSHuman是一个创新的框架，它利用多视图扩散模型和显式重构技术，从单张图片中重建出逼真的3D人体模型。这项技术的重要性在于它能够处理复杂的自遮挡问题，并且在生成的面部细节上避免了几何失真。PSHuman通过跨尺度扩散模型联合建模全局全身形状和局部面部特征，实现了细节丰富且保持身份特征的新视角生成。此外，PSHuman还通过SMPL-X等参数化模型提供的身体先验，增强了不同人体姿态下的跨视图身体形状一致性。PSHuman的主要优点包括几何细节丰富、纹理保真度高以及泛化能力强。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

业界领先的开源大型混合专家模型

Tencent-Hunyuan-Large（混元大模型）是由腾讯推出的业界领先的开源大型混合专家（MoE）模型，拥有3890亿总参数和520亿激活参数。该模型在自然语言处理、计算机视觉和科学任务等领域取得了显著进展，特别是在处理长上下文输入和提升长上下文任务处理能力方面表现出色。混元大模型的开源，旨在激发更多研究者的创新灵感，共同推动AI技术的进步和应用。

专注于计算机视觉和机器学习领域的研究与创新的博客网站

Shangchen Zhou 是一位在计算机视觉和机器学习领域有着深厚研究背景的博士生，他的工作主要集中在视觉内容增强、编辑和生成AI（2D和3D）上。他的研究成果广泛应用于图像和视频的超分辨率、去模糊、低光照增强等领域，为提升视觉内容的质量和用户体验做出了重要贡献。

下一代视频和图像实时对象分割模型。

Meta Segment Anything Model 2 (SAM 2)是Meta公司开发的下一代模型，用于视频和图像中的实时、可提示的对象分割。它实现了最先进的性能，并且支持零样本泛化，即无需定制适配即可应用于之前未见过的视觉内容。SAM 2的发布遵循开放科学的方法，代码和模型权重在Apache 2.0许可下共享，SA-V数据集也在CC BY 4.0许可下共享。

4D重建模型，快速生成动画对象

L4GM是一个4D大型重建模型，能够从单视图视频输入中快速生成动画对象。它采用了一种新颖的数据集，包含多视图视频，这些视频展示了Objaverse中渲染的动画对象。该数据集包含44K种不同的对象和110K个动画，从48个视角渲染，生成了12M个视频，总共包含300M帧。L4GM基于预训练的3D大型重建模型LGM构建，该模型能够从多视图图像输入中输出3D高斯椭球。L4GM输出每帧的3D高斯Splatting表示，然后将其上采样到更高的帧率以实现时间平滑。此外，L4GM还添加了时间自注意力层，以帮助学习时间上的一致性，并使用每个时间步的多视图渲染损失来训练模型。

提供关于人工智能的最佳资源，学习机器学习、数据科学、自然语言处理等。

AI Online Course是一个互动学习平台，提供清晰简明的人工智能介绍，使复杂的概念易于理解。它涵盖机器学习、深度学习、计算机视觉、自动驾驶、聊天机器人等方面的知识，并强调实际应用和技术优势。

基于Java的全能视觉智能识别项目

JavaVision是一个基于Java开发的全能视觉智能识别项目，它不仅实现了PaddleOCR-V4、YoloV8物体识别、人脸识别、以图搜图等核心功能，还可以轻松扩展到其他领域，如语音识别、动物识别、安防检查等。项目特点包括使用SpringBoot框架、多功能性、高性能、可靠稳定、易于集成和灵活可拓展。JavaVision旨在为Java开发者提供一个全面的视觉智能识别解决方案，让他们能够以熟悉且喜爱的编程语言构建出先进、可靠且易于集成的AI应用。

一种通过计数事实数据集和自举监督实现真实物体删除和插入的方法

ObjectDrop是一种监督方法,旨在实现照片级真实的物体删除和插入。它利用了一个计数事实数据集和自助监督技术。主要功能是可以从图像中移除物体及其对场景产生的影响(如遮挡、阴影和反射),也能够将物体以极其逼真的方式插入图像。它通过在一个小型的专门捕获的数据集上微调扩散模型来实现物体删除,而对于物体插入,它采用自助监督方式利用删除模型合成大规模的计数事实数据集,在此数据集上训练后再微调到真实数据集,从而获得高质量的插入模型。相比之前的方法,ObjectDrop在物体删除和插入的真实性上有了显著提升。

通用视觉-语义物体检测，无需任务特定调优

T-Rex2是一种范式突破的物体检测技术,能够识别从日常到深奥的各种物体,无需任务特定调优或大量训练数据集。它将视觉和文本提示相结合,赋予其强大的零射能力,可广泛应用于各种场景的物体检测任务。T-Rex2综合了四个组件:图像编码器、视觉提示编码器、文本提示编码器和框解码器。它遵循DETR的端到端设计原理,涵盖多种应用场景。T-Rex2在COCO、LVIS、ODinW和Roboflow100等四个学术基准测试中取得了最优秀的表现。

用于精细文本控制图像生成的空间对齐文本注入

FineControlNet是一个基于Pytorch的官方实现,用于生成可通过空间对齐的文本控制输入(如2D人体姿势)和实例特定的文本描述来控制图像实例的形状和纹理的图像。它可以使用从简单的线条画作为空间输入,到复杂的人体姿势。FineControlNet确保了实例和环境之间自然的交互和视觉协调,同时获得了Stable Diffusion的质量和泛化能力,但具有更多的控制能力。

企业AI SaaS平台

ALFI是一款由人工智能驱动的企业SaaS平台，采用计算机视觉、机器学习、深度学习和边缘计算技术。它提供了广告定向、实时观众分析和个性化内容交付等功能。ALFI的独特网络将人工智能屏幕安装在Uber和Lyft等共乘服务中，实现数字户外广告的精准定向和个性化交付。它通过计算机视觉技术实时匹配受众与相关广告，并在符合隐私规范的过程中进行内容投放。ALFI的目标是为品牌提供更精准的广告投放，为企业提供实时观众分析和定制化内容交付。

AI与计算机视觉结合的摔跤耐力挑战

Wrestling Endurance Challenge是一个结合了人工智能和计算机视觉的摔跤耐力挑战应用。该应用通过AI分配任务，利用计算机视觉检测用户的持续时间。用户可通过扬声器或耳机接收指令，以参与耐力挑战。应用使用持续的机器学习在云端进行计算，并保证隐私安全，不会发送视频，仅导出关节坐标和轨迹数据。

通过人工智能提供参与度分析平台

AttentionKart是一个利用人工智能提供参与度洞察的平台。它使用计算机视觉技术如面部识别、表情识别、眼球追踪等,帮助用户分析参与度和互动,获得用户行为深入洞察。平台可以离线分析录像,也可以在线整合第三方应用。主要功能包括参与度分析、精准用户画像、互动优化等。适用于教育机构的在线课程、企业的会议演示、销售电话等场景。

实时优化的计算机视觉库

OpenCV是一个实时优化的计算机视觉库，提供了一套功能强大的工具和硬件支持。它还支持机器学习（ML）和人工智能（AI）模型的执行。OpenCV是开源的，免费商用。

提供创新的3D家具可视化软件，提升客户的购物体验。

Zolak 3D家具可视化软件是一款创新的产品，利用计算机视觉和人工智能技术，帮助家具零售商实现产品的可视化展示和个性化内容展示。通过使用我们的产品，您可以提高销售额，减少退货率，提升客户满意度。我们的软件可以让客户在虚拟环境中浏览家具，并提供个性化的购物体验。

无人商店，无需排队

Amazon Go是一种无人商店的概念，利用人工智能和计算机视觉技术，消费者可以在无需排队的情况下购买商品。该商店通过追踪顾客的购买行为和商品拿取，自动扣除顾客的账户，并提供电子收据。Amazon Go的优势在于提供了便利的购物体验，节省了顾客的时间，并提供了更加智能和高效的零售解决方案。

计算机视觉AI平台

Robovision是一款计算机视觉AI平台，覆盖完整的AI生命周期。简化在不断变化的商业环境中开发、实施和调整AI的整个过程。

云端计算机视觉软件平台

LandingLens是一个云端计算机视觉软件平台，通过直观的界面和自然的提示交互，使您能够在几分钟内创建自定义的计算机视觉项目。其数据导向的人工智能技术确保即使在小型数据集的情况下，模型也能正常工作。LandingLens提供灵活的部署选项，包括云端和边缘设备，使其易于集成到现有环境中。无论是单个生产线还是全球运营，LandingLens都能轻松扩展项目。

无需代码或训练数据即可建立强大的计算机视觉模型

DirectAI是一个基于大型语言模型和零样本学习的平台，可以根据您的描述即时构建适合您需求的模型，无需训练数据。您可以在几秒钟内部署和迭代模型，省去了组装训练数据、标记数据、训练模型和微调模型的时间和费用。DirectAI在纽约市总部，并获得了风投支持，正在改变人们在现实世界中使用人工智能的方式。

基于 Transformer 的图像识别模型

Google Vision Transformer 是一款基于 Transformer 编码器的图像识别模型，使用大规模图像数据进行预训练，可用于图像分类等任务。该模型在 ImageNet-21k 数据集上进行了预训练，并在 ImageNet 数据集上进行了微调，具备良好的图像特征提取能力。该模型通过将图像切分为固定大小的图像块，并线性嵌入这些图像块来处理图像数据。同时，模型在输入序列前添加了位置编码，以便在 Transformer 编码器中处理序列数据。用户可以通过在预训练的编码器之上添加线性层进行图像分类等任务。Google Vision Transformer 的优势在于其强大的图像特征学习能力和广泛的适用性。该模型免费提供使用。

大规模视频生成模型，可创建逼真视觉效果与自然连贯动作。

Luma Ray2 是一款先进的视频生成模型，基于 Luma 新的多模态架构训练，计算能力是 Ray1 的 10 倍。它能够理解文本指令，并可接受图像和视频输入，生成具有快速连贯动作、超逼真细节和逻辑事件序列的视频，使生成的视频更接近生产就绪状态。目前提供文本到视频的生成功能，图像到视频、视频到视频和编辑功能即将推出。产品主要面向需要高质量视频生成的用户，如视频创作者、广告公司等，目前仅对付费订阅用户开放，可通过官网链接尝试使用。

在 ChatGPT 中自动化工作流程，设置定时任务，提高工作效率。

ChatGPT 定时任务是 OpenAI 推出的一项新功能，允许用户设置特定时间触发的任务，如定期获取信息、练习语言等。它使用 GPT-4o 模型，适用于 Plus、Pro 和 Team 计划用户，目前处于 beta 阶段。主要优点是自动化执行任务，无论用户是否在线，都能按时完成并通知用户，提高工作和学习效率。

DeepSeek 是一款由杭州深度求索人工智能基础技术研究有限公司开发的智能 AI 助手 APP。

DeepSeek 是一款基于 DeepSeek-V3 模型的智能 AI 助手 APP，该模型拥有超过 6000 亿参数，在全球标准中处于领先地位，能够与顶级国际模型相媲美。它具备快速响应和全面功能，可高效解答用户问题，提升生活效率。该 APP 由杭州深度求索人工智能基础技术研究有限公司开发，目前在 App Store 生产力类别中排名第 25，拥有 4.9 的高评分和 27 条评价。产品免费提供给用户使用，旨在为用户提供无缝的交互体验。

一个实时适应未见任务的自适应大型语言模型框架。

SakanaAI/self-adaptive-llms是一个名为Transformer²的自适应框架，旨在解决传统微调方法计算密集且处理多样化任务能力静态的挑战。该框架能够在推理过程中通过两步机制实时调整大型语言模型（LLMs）以适应未见任务：首先，调度系统识别任务属性；然后，使用强化学习训练的任务特定'专家'向量被动态混合，以获得针对输入提示的目标行为。主要优点包括实时任务适应性、计算效率和灵活性。该项目由SakanaAI团队开发，目前在GitHub上开源，拥有195颗星和12次分叉。

MangaNinja 是一种基于参考的线稿上色方法，可实现精确匹配和细粒度交互控制。

MangaNinja 是一种参考引导的线稿上色方法，它通过独特的设计确保精确的人物细节转录，包括用于促进参考彩色图像和目标线稿之间对应学习的块洗牌模块，以及用于实现细粒度颜色匹配的点驱动控制方案。该模型在自收集的基准测试中表现出色，超越了当前解决方案的精确上色能力。此外，其交互式点控制在处理复杂情况（如极端姿势和阴影）、跨角色上色、多参考协调等方面展现出巨大潜力，这些是现有算法难以实现的。MangaNinja 由来自香港大学、香港科技大学、通义实验室和蚂蚁集团的研究人员共同开发，相关论文已发表在 arXiv 上，代码也已开源。

强大的语言模型，拥有4560亿总参数，可处理长达400万token的上下文。

MiniMax-01是一个具有4560亿总参数的强大语言模型，其中每个token激活459亿参数。它采用混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE），通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、varlen环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万tokens，在推理时可处理长达400万tokens的上下文。在多个学术基准测试中，MiniMax-01展现了顶级模型的性能。