产品库

提升视频理解和生成的AI模型。

ShareGPT4Video系列旨在通过密集且精确的字幕来促进大型视频-语言模型(LVLMs)的视频理解以及文本到视频模型(T2VMs)的视频生成。该系列包括：1) ShareGPT4Video，40K GPT4V注释的密集视频字幕，通过精心设计的数据过滤和注释策略开发而成。2) ShareCaptioner-Video，一个高效且功能强大的任意视频字幕模型，由其注释的4.8M高质量美学视频。3) ShareGPT4Video-8B，一个简单但卓越的LVLM，其在三个先进的视频基准测试中达到了最佳性能。

大型多模态模型中视频理解的探索

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间，揭示了驱动性能的关键因素，提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency'，使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上，大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合，以及一个新型的基准测试ApolloBench，用于高效评估。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

一款面向高质量长视频生成的实验性框架，具有扩展序列长度和增强动态特性。

Mira（Mini-Sora）是一个实验性的项目，旨在探索高质量、长时视频生成领域，特别是在模仿Sora风格的视频生成方面。它在现有文本到视频（T2V）生成框架的基础上，通过以下几个关键方面实现突破：扩展序列长度、增强动态特性以及保持3D一致性。目前，Mira项目处于实验阶段，与Sora等更高级的视频生成技术相比，仍有提升空间。

VideoRAG 是一个用于处理极长上下文视频的检索增强型生成框架。

VideoRAG 是一种创新的检索增强型生成框架，专门用于理解和处理极长上下文视频。它通过结合图驱动的文本知识锚定和层次化多模态上下文编码，实现了对无限制长度视频的理解。该框架能够动态构建知识图谱，保持多视频上下文的语义连贯性，并通过自适应多模态融合机制优化检索效率。VideoRAG 的主要优点包括高效的极长上下文视频处理能力、结构化的视频知识索引以及多模态检索能力，使其能够为复杂查询提供全面的回答。该框架在长视频理解领域具有重要的技术价值和应用前景。

Tarsier 是由字节跳动推出的用于生成高质量视频描述的大型视频语言模型。

Tarsier 是由字节跳动研究团队开发的一系列大规模视频语言模型，旨在生成高质量的视频描述，并具备强大的视频理解能力。该模型通过两阶段训练策略（多任务预训练和多粒度指令微调）显著提升了视频描述的精度和细节。其主要优点包括高精度的视频描述能力、对复杂视频内容的理解能力以及在多个视频理解基准测试中取得的 SOTA（State-of-the-Art）结果。Tarsier 的背景基于对现有视频语言模型在描述细节和准确性上的不足进行改进，通过大规模高质量数据训练和创新的训练方法，使其在视频描述领域达到了新的高度。该模型目前未明确定价，主要面向学术研究和商业应用，适合需要高质量视频内容理解和生成的场景。

Sonus-1：开启大型语言模型（LLMs）的新时代

Sonus-1是Sonus AI推出的一系列大型语言模型（LLMs），旨在推动人工智能的边界。这些模型以其高性能和多应用场景的多功能性而设计，包括Sonus-1 Mini、Sonus-1 Air、Sonus-1 Pro和Sonus-1 Pro (w/ Reasoning)等不同版本，以满足不同需求。Sonus-1 Pro (w/ Reasoning)在多个基准测试中表现突出，特别是在推理和数学问题上，展现了其超越其他专有模型的能力。Sonus AI致力于开发高性能、可负担、可靠且注重隐私的大型语言模型。

多模态大型语言模型，优化图像与文本交互能力

InternVL2_5-4B-MPO-AWQ是一个多模态大型语言模型（MLLM），专注于提升模型在图像和文本交互任务中的表现。该模型基于InternVL2.5系列，并通过混合偏好优化（MPO）进一步提升性能。它能够处理包括单图像和多图像、视频数据在内的多种输入，适用于需要图像和文本交互理解的复杂任务。InternVL2_5-4B-MPO-AWQ以其卓越的多模态能力，为图像-文本到文本的任务提供了一个强大的解决方案。

多模态大型语言模型，提升文本、图像和视频数据处理能力。

Valley是由字节跳动开发的多模态大型模型（MLLM），旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，远超过其他开源模型，并在OpenCompass多模态模型评估排行榜上展现了出色的性能，平均得分67.40，位列已知开源MLLMs（<10B）中的前两名。

商业领域基础模型与代理

shoonya是一个专注于现代商业领域的基础模型与代理，提供多语言支持、本地化服务和针对特定商业垂直领域的优化。它通过为电子商务用例特别调整的基础模型，支持多种语言和本地上下文，以推动下一代零售业务的发展。shoonya的技术背景是基于人工智能和机器学习，旨在理解和优化区域商业模式、术语和偏好，为用户提供更加个性化和高效的购物体验。

开源图像到视频生成模型

Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。

Astris AI是洛克希德·马丁公司推出的专注于安全的人工智能解决方案。

Astris AI是洛克希德·马丁公司成立的子公司，旨在推动美国国防工业基地和商业行业领域中对高保证要求的人工智能解决方案的采用。Astris AI通过提供洛克希德·马丁公司在人工智能和机器学习领域的领先技术和专业团队，帮助客户开发和部署安全、弹性和可扩展的AI解决方案。Astris AI的成立体现了洛克希德·马丁公司在推进21世纪安全、加强国防工业基础和国家安全方面的承诺，同时也展示了其在整合商业技术以帮助客户应对日益增长的威胁环境方面的领导力。

让人工智能触手可及

Recursal AI致力于使人工智能技术对所有人开放，无论语言或国家。他们的产品包括featherless.ai、RWKV和recursal cloud。featherless.ai提供即时且无需服务器的Hugging Face模型推理服务；RWKV是一个下一代基础模型，支持100多种语言，推理成本降低100倍；recursal cloud则让用户能够轻松地微调和部署RWKV模型。这些产品和技术的主要优点在于它们能够降低AI技术的门槛，提高效率，并支持多语言，这对于全球化背景下的企业和开发者来说至关重要。

高效、多语种的语音合成模型

CosyVoice语音生成大模型2.0-0.5B是一个高性能的语音合成模型，支持零样本、跨语言的语音合成，能够根据文本内容直接生成相应的语音输出。该模型由通义实验室提供，具有强大的语音合成能力和广泛的应用场景，包括但不限于智能助手、有声读物、虚拟主播等。模型的重要性在于其能够提供自然、流畅的语音输出，极大地丰富了人机交互的体验。

快速因果视频生成器，实现即时视频生成。

CausVid是一个先进的视频生成模型，它通过将预训练的双向扩散变换器适配为因果变换器，实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟，使得视频生成能够以交互式帧率（9.4FPS）在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成，以及零样本图像到视频的生成，展现了视频生成技术的新高度。

开源多模态大型语言模型系列

InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列，它在保持核心模型架构的同时，在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系，系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估，InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是，该模型是第一个在MMMU基准测试中超过70%的开源MLLM，通过链式思考（CoT）推理实现了3.7个百分点的提升，并展示了测试时扩展的强大潜力。

大型语言模型，用于文本生成和分类

OLMo-2-1124-7B-RM是由Hugging Face和Allen AI共同开发的一个大型语言模型，专注于文本生成和分类任务。该模型基于7B参数的规模构建，旨在处理多样化的语言任务，包括聊天、数学问题解答、文本分类等。它是基于Tülu 3数据集和偏好数据集训练的奖励模型，用于初始化RLVR训练中的价值模型。OLMo系列模型的发布，旨在推动语言模型的科学研究，通过开放代码、检查点、日志和相关的训练细节，促进了模型的透明度和可访问性。

Amazon Nova是亚马逊新一代的基础模型，提供前沿智能和行业领先的性价比。

Amazon Nova是亚马逊推出的新一代基础模型，能够处理文本、图像和视频提示，使客户能够使用Amazon Nova驱动的生成性AI应用程序理解视频、图表和文档，或生成视频和其他多媒体内容。Amazon Nova模型在亚马逊内部约有1000个生成性AI应用正在运行，旨在帮助内部和外部构建者应对挑战，并在延迟、成本效益、定制化、信息接地和代理能力方面取得有意义的进展。

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

高性能英文语言模型，适用于多样化任务

OLMo-2-1124-13B-DPO是经过监督微调和DPO训练的13B参数大型语言模型，主要针对英文，旨在提供在聊天、数学、GSM8K和IFEval等多种任务上的卓越性能。该模型是OLMo系列的一部分，旨在推动语言模型的科学研究。模型训练基于Dolma数据集，并公开代码、检查点、日志和训练细节。

基于大型语言模型的主动式代理，预测用户需求并主动提供帮助。

ProactiveAgent是一个基于大型语言模型（LLM）的主动式代理项目，旨在构建一个能够预测用户需求并主动提供帮助的智能代理。该项目通过数据收集和生成管道、自动评估器和训练代理来实现这一目标。ProactiveAgent的主要优点包括环境感知、协助标注、动态数据生成和构建管道，其奖励模型在测试集上达到了0.918的F1分数，显示出良好的性能。该产品背景信息显示，它适用于编程、写作和日常生活场景，并且遵循Apache License 2.0协议。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

最先进的全开放语言模型

OLMo 2是由Ai2推出的最新全开放语言模型，包括7B和13B两种规模的模型，训练数据高达5T tokens。这些模型在性能上与同等规模的全开放模型相当或更优，并且在英语学术基准测试中与开放权重模型如Llama 3.1竞争。OLMo 2的开发注重模型训练的稳定性、阶段性训练干预、最先进的后训练方法和可操作的评估框架。这些技术的应用使得OLMo 2在多个任务上表现出色，特别是在知识回忆、常识、一般和数学推理方面。

视频生成模型Sora的存档库

SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示，这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4，帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术，它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频，为研究和教育提供了宝贵的资源。

基于DiT的视频生成模型，实时生成高质量视频。

LTX-Video是由Lightricks开发的首个基于DiT的视频生成模型，能够实时生成高质量的视频内容。该模型以24 FPS的速度生成768x512分辨率的视频，速度超过观看速度。模型经过大规模多样化视频数据集的训练，能够生成高分辨率且内容真实多样的视频。LTX-Video支持文本到视频(text-to-video)以及图像+文本到视频(image+text-to-video)的应用场景。

AI-based decoder for quantum computing error correction

AlphaQubit是由Google DeepMind和Quantum AI团队共同开发的人工智能系统，它能够以最先进的准确性识别量子计算机中的错误。这项技术结合了机器学习和量子纠错的专业知识，旨在推动可靠量子计算机的构建，这对于解决复杂问题、实现科学突破和探索新领域具有重要意义。AlphaQubit的主要优点包括高准确性和对大规模量子计算的适用性。

Qwen Turbo 1M Demo是一个由Qwen提供的Hugging Face空间。

Qwen Turbo 1M Demo是一个基于Hugging Face平台的人工智能模型演示。这个模型代表了自然语言处理技术的最新进展，特别是在中文文本理解和生成方面。它的重要性在于能够提供高效、准确的语言模型，以支持各种语言相关的应用，如机器翻译、文本摘要、问答系统等。Qwen Turbo 1M Demo以其较小的模型尺寸和快速的处理速度而受到青睐，适合需要快速部署和高效运行的场合。目前，该模型是免费试用的，具体价格和定位可能需要进一步的商业洽谈。

现代Python数据框库，专为人工智能设计。

DataChain是一个现代的Python数据框库，专为人工智能设计。它旨在将非结构化数据组织成数据集，并在本地机器上大规模处理数据。DataChain不抽象或隐藏AI模型和API调用，而是帮助将它们集成到后现代数据堆栈中。该产品以其高效性、易用性和强大的数据处理能力为主要优点，支持多种数据存储和处理方式，包括图像、视频、文本等多种数据类型，并且能够与PyTorch和TensorFlow等深度学习框架无缝对接。DataChain是开源的，遵循Apache-2.0许可协议，免费供用户使用。

O1复制之旅：战略进展报告第一部分

O1-Journey是由上海交通大学GAIR研究组发起的一个项目，旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式，并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程，成为处理复杂推理任务的有效方法。