全球首个人工智能直播流扩散模型。
Mirage是由Decart AI团队打造的创新模型,能够以不到40毫秒的超低延迟,将任意视频流实时转换为用户期望的场景,为直播、游戏开发、动画制作及虚拟换装等场景带来前所未有的可能性。
实时生成逼真的全身虚拟人头像。
TaoAvatar 是一种高保真、轻量级的 3D 高斯喷溅技术(3DGS)全身虚拟人头像,能够生成个性化的全身动态头像,广泛应用于增强现实等场景。它的主要优点是能够在各种移动设备上以 90 FPS 的高帧率实时渲染,适配 Apple Vision Pro 等高分辨率设备,为用户提供沉浸式体验。
Project Aria 是 Meta 推出的以第一人称视角进行机器感知和增强现实研究的项目。
Project Aria 是 Meta 推出的专注于第一人称视角研究的项目,旨在通过创新技术推动增强现实(AR)和人工智能(AI)的发展。该项目通过 Aria Gen 2 眼镜等设备,从用户视角收集信息,为机器感知和 AR 研究提供支持。其主要优点包括创新的硬件设计、丰富的开源数据集和挑战赛,以及与全球研究合作伙伴的紧密合作。该项目的背景是 Meta 对未来 AR 技术的长期投入,旨在通过开放研究推动行业进步。
DeepEP 是一个针对 Mixture-of-Experts 和专家并行通信的高效通信库。
DeepEP 是一个专为混合专家模型(MoE)和专家并行(EP)设计的通信库。它提供了高吞吐量和低延迟的全连接 GPU 内核,支持低精度操作(如 FP8)。该库针对非对称域带宽转发进行了优化,适合训练和推理预填充任务。此外,它还支持流处理器(SM)数量控制,并引入了一种基于钩子的通信-计算重叠方法,不占用任何 SM 资源。DeepEP 的实现虽然与 DeepSeek-V3 论文略有差异,但其优化的内核和低延迟设计使其在大规模分布式训练和推理任务中表现出色。
Moonlight-16B-A3B 是一个基于 Muon 优化器训练的 16B 参数的混合专家模型,用于高效的语言生成。
Moonlight-16B-A3B 是由 Moonshot AI 开发的一种大规模语言模型,采用先进的 Muon 优化器进行训练。该模型通过优化训练效率和性能,显著提升了语言生成的能力。其主要优点包括高效的优化器设计、较少的训练 FLOPs 和卓越的性能表现。该模型适用于需要高效语言生成的场景,如自然语言处理、代码生成和多语言对话等。其开源的实现和预训练模型为研究人员和开发者提供了强大的工具。
Moonlight是一个16B参数的混合专家模型,使用Muon优化器训练,性能优异。
Moonlight是基于Muon优化器训练的16B参数混合专家模型(MoE),在大规模训练中表现出色。它通过添加权重衰减和调整参数更新比例,显著提高了训练效率和稳定性。该模型在多项基准测试中超越了现有模型,同时大幅减少了训练所需的计算量。Moonlight的开源实现和预训练模型为研究人员和开发者提供了强大的工具,支持多种自然语言处理任务,如文本生成、代码生成等。
Phantom 是一款基于跨模态对齐的主体一致性视频生成模型。
Phantom 是一种先进的视频生成技术,通过跨模态对齐实现主体一致性视频生成。它能够根据单张或多张参考图像生成生动的视频内容,同时严格保留主体的身份特征。该技术在内容创作、虚拟现实和广告等领域具有重要应用价值,能够为创作者提供高效且富有创意的视频生成解决方案。Phantom 的主要优点包括高度的主体一致性、丰富的视频细节以及强大的多模态交互能力。
Pippo 是一个从单张照片生成高分辨率多人视角视频的生成模型。
Pippo 是由 Meta Reality Labs 和多所高校合作开发的生成模型,能够从单张普通照片生成高分辨率的多人视角视频。该技术的核心优势在于无需额外输入(如参数化模型或相机参数),即可生成高质量的 1K 分辨率视频。它基于多视角扩散变换器架构,具有广泛的应用前景,如虚拟现实、影视制作等。Pippo 的代码已开源,但不包含预训练权重,用户需要自行训练模型。
GameFactory 是一个基于预训练视频扩散模型的通用世界模型,可创建开放领域的游戏。
GameFactory 是一个创新的通用世界模型,专注于从少量的《我的世界》游戏视频数据中学习,并利用预训练视频扩散模型的先验知识来生成新的游戏内容。该技术的核心优势在于其开放领域的生成能力,能够根据用户输入的文本提示和操作指令生成多样化的游戏场景和互动体验。它不仅展示了强大的场景生成能力,还通过多阶段训练策略和可插拔的动作控制模块,实现了高质量的交互式视频生成。该技术在游戏开发、虚拟现实和创意内容生成等领域具有广阔的应用前景,目前尚未明确其价格和商业化定位。
这是一个先进的多模态大型语言模型系列,展示了卓越的整体性能。
InternVL2.5-MPO是一个基于InternVL2.5和混合偏好优化(MPO)的多模态大型语言模型系列。它在多模态任务中表现出色,通过整合新近增量预训练的InternViT与多种预训练的大型语言模型(LLMs),如InternLM 2.5和Qwen 2.5,使用随机初始化的MLP投影器。该模型系列在多模态推理偏好数据集MMPR上进行了训练,包含约300万个样本,通过有效的数据构建流程和混合偏好优化技术,提升了模型的推理能力和回答质量。
MiniMax-Text-01是一个强大的语言模型,具有4560亿总参数,能够处理长达400万token的上下文。
MiniMax-Text-01是一个由MiniMaxAI开发的大型语言模型,拥有4560亿总参数,其中每个token激活459亿参数。它采用了混合架构,结合了闪电注意力、softmax注意力和专家混合(MoE)技术,通过先进的并行策略和创新的计算-通信重叠方法,如线性注意力序列并行主义加(LASP+)、变长环形注意力、专家张量并行(ETP)等,将训练上下文长度扩展到100万token,并能在推理时处理长达400万token的上下文。在多个学术基准测试中,MiniMax-Text-01展现出了顶级模型的性能。
InternVL2.5-MPO系列模型,基于InternVL2.5和混合偏好优化,展现卓越性能。
InternVL2.5-MPO是一个先进的多模态大型语言模型系列,基于InternVL2.5和混合偏好优化(MPO)构建。该系列模型在多模态任务中表现出色,能够处理图像、文本和视频数据,并生成高质量的文本响应。模型采用'ViT-MLP-LLM'范式,通过像素unshuffle操作和动态分辨率策略优化视觉处理能力。此外,模型还引入了多图像和视频数据的支持,进一步扩展了其应用场景。InternVL2.5-MPO在多模态能力评估中超越了多个基准模型,证明了其在多模态领域的领先地位。
先进的多模态大型语言模型,具备卓越的多模态推理能力。
InternVL2_5-26B-MPO-AWQ 是由 OpenGVLab 开发的多模态大型语言模型,旨在通过混合偏好优化提升模型的推理能力。该模型在多模态任务中表现出色,能够处理图像和文本之间的复杂关系。它采用了先进的模型架构和优化技术,使其在多模态数据处理方面具有显著优势。该模型适用于需要高效处理和理解多模态数据的场景,如图像描述生成、多模态问答等。其主要优点包括强大的推理能力和高效的模型架构。
多模态大型语言模型,提升视觉与语言的交互能力。
InternVL2_5-26B-MPO是一个多模态大型语言模型(MLLM),它在InternVL2.5的基础上,通过混合偏好优化(Mixed Preference Optimization, MPO)进一步提升了模型性能。该模型能够处理包括图像、文本在内的多模态数据,广泛应用于图像描述、视觉问答等场景。它的重要性在于能够理解和生成与图像内容紧密相关的文本,推动了多模态人工智能的边界。产品背景信息包括其在多模态任务中的卓越性能,以及在OpenCompass Learderboard中的评估结果。该模型为研究者和开发者提供了强大的工具,以探索和实现多模态人工智能的潜力。
多模态大型语言模型,提升视觉与语言的交互能力
InternVL2_5-8B-MPO-AWQ是OpenGVLab推出的一款多模态大型语言模型,它基于InternVL2.5系列,并采用混合偏好优化(Mixed Preference Optimization, MPO)技术。该模型在视觉和语言的理解与生成方面展现了卓越的性能,尤其在多模态任务中表现出色。它通过结合视觉部分InternViT和语言部分InternLM或Qwen,使用随机初始化的MLP投影器进行增量预训练,实现了对图像和文本的深入理解与交互。该技术的重要性在于它能够处理包括单图像、多图像以及视频数据在内的多种数据类型,为多模态人工智能领域提供了新的解决方案。
场景感知的语义导航与指令引导控制模型
SCENIC是一个文本条件的场景交互模型,能够适应具有不同地形的复杂场景,并支持使用自然语言进行用户指定的语义控制。该模型通过用户指定的轨迹作为子目标和文本提示,来导航3D场景。SCENIC利用层次化推理场景的方法,结合运动与文本之间的帧对齐,实现不同运动风格之间的无缝过渡。该技术的重要性在于其能够生成符合真实物理规则和用户指令的角色导航动作,对于虚拟现实、增强现实以及游戏开发等领域具有重要意义。
多模态大语言模型,提升多模态推理能力
InternVL2-8B-MPO是一个多模态大语言模型(MLLM),通过引入混合偏好优化(MPO)过程,增强了模型的多模态推理能力。该模型在数据方面设计了自动化的偏好数据构建管线,并构建了MMPR这一大规模多模态推理偏好数据集。在模型方面,InternVL2-8B-MPO基于InternVL2-8B初始化,并使用MMPR数据集进行微调,展现出更强的多模态推理能力,且幻觉现象更少。该模型在MathVista上取得了67.0%的准确率,超越InternVL2-8B 8.7个点,且表现接近于大10倍的InternVL2-76B。
从单张图片生成可探索的360°3D世界
GenEx是一个AI模型,它能够从单张图片创建一个完全可探索的360°3D世界。用户可以互动地探索这个生成的世界。GenEx在想象空间中推进具身AI,并有潜力将这些能力扩展到现实世界的探索。
先进的大型混合专家视觉语言模型
DeepSeek-VL2是一系列先进的大型混合专家(MoE)视觉语言模型,相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位等多种任务上展现出卓越的能力。DeepSeek-VL2由三种变体组成:DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2,分别拥有10亿、28亿和45亿激活参数。DeepSeek-VL2在激活参数相似或更少的情况下,与现有的开源密集型和基于MoE的模型相比,达到了竞争性或最先进的性能。
© 2025 AIbase 备案号:闽ICP备08105208号-14