产品库

提升视频理解和生成的AI模型。

ShareGPT4Video系列旨在通过密集且精确的字幕来促进大型视频-语言模型(LVLMs)的视频理解以及文本到视频模型(T2VMs)的视频生成。该系列包括：1) ShareGPT4Video，40K GPT4V注释的密集视频字幕，通过精心设计的数据过滤和注释策略开发而成。2) ShareCaptioner-Video，一个高效且功能强大的任意视频字幕模型，由其注释的4.8M高质量美学视频。3) ShareGPT4Video-8B，一个简单但卓越的LVLM，其在三个先进的视频基准测试中达到了最佳性能。

VideoRAG 是一个用于处理极长上下文视频的检索增强型生成框架。

VideoRAG 是一种创新的检索增强型生成框架，专门用于理解和处理极长上下文视频。它通过结合图驱动的文本知识锚定和层次化多模态上下文编码，实现了对无限制长度视频的理解。该框架能够动态构建知识图谱，保持多视频上下文的语义连贯性，并通过自适应多模态融合机制优化检索效率。VideoRAG 的主要优点包括高效的极长上下文视频处理能力、结构化的视频知识索引以及多模态检索能力，使其能够为复杂查询提供全面的回答。该框架在长视频理解领域具有重要的技术价值和应用前景。

Tarsier 是由字节跳动推出的用于生成高质量视频描述的大型视频语言模型。

Tarsier 是由字节跳动研究团队开发的一系列大规模视频语言模型，旨在生成高质量的视频描述，并具备强大的视频理解能力。该模型通过两阶段训练策略（多任务预训练和多粒度指令微调）显著提升了视频描述的精度和细节。其主要优点包括高精度的视频描述能力、对复杂视频内容的理解能力以及在多个视频理解基准测试中取得的 SOTA（State-of-the-Art）结果。Tarsier 的背景基于对现有视频语言模型在描述细节和准确性上的不足进行改进，通过大规模高质量数据训练和创新的训练方法，使其在视频描述领域达到了新的高度。该模型目前未明确定价，主要面向学术研究和商业应用，适合需要高质量视频内容理解和生成的场景。

大型多模态模型中视频理解的探索

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间，揭示了驱动性能的关键因素，提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency'，使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上，大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合，以及一个新型的基准测试ApolloBench，用于高效评估。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

从长视频中生成引人入胜的YouTube短片

AI Youtube Shorts Generator 是一个利用GPT-4和Whisper技术的Python工具，它可以从长视频中提取最有趣的亮点，检测演讲者，并将内容垂直裁剪，以适应短片格式。这个工具目前处于0.1版本，可能存在一些bug。

生成视频的开源模型

CogVideoX是一个开源的视频生成模型，由清华大学团队开发，支持从文本描述生成视频。它提供了多种视频生成模型，包括入门级和大型模型，以满足不同质量和成本需求。模型支持多种精度，包括FP16和BF16，推荐使用与模型训练时相同的精度进行推理。CogVideoX-5B模型特别适用于需要生成高质量视频内容的场景，如电影制作、游戏开发和广告创意。

文本到视频的生成模型

CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。

视频理解的先进模型

Goldfish 是一种为理解任意长度视频而设计的方法论。它通过高效的检索机制，首先收集与指令相关的前k个视频片段，然后提供所需的响应。这种设计使得Goldfish能够有效处理任意长的视频序列，适用于电影或电视剧等场景。为了促进检索过程，开发了MiniGPT4-Video，该模型为视频片段生成详细的描述。Goldfish在长视频基准测试中取得了41.78%的准确率，超过了之前的方法14.94%。此外，MiniGPT4-Video在短视频理解中也表现出色，分别在MSVD、MSRVTT、TGIF和TVQA短视频基准测试中超过了现有最佳方法3.23%、2.03%、16.5%和23.59%。这些结果表明，Goldfish模型在长视频和短视频理解方面都有显著改进。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

训练无关的运动克隆，实现可控视频生成

MotionClone是一个训练无关的框架，允许从参考视频进行运动克隆，以控制文本到视频的生成。它利用时间注意力机制在视频反转中表示参考视频中的运动，并引入了主时间注意力引导来减轻注意力权重中噪声或非常微妙运动的影响。此外，为了协助生成模型合成合理的空间关系并增强其提示跟随能力，提出了一种利用参考视频中的前景粗略位置和原始分类器自由引导特征的位置感知语义引导机制。

文本到视频生成的创新模型，实现姿势引导的动画制作。

Follow-Your-Pose是一个文本到视频生成的模型，它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值，解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案，结合预训练的文本到图像模型，实现了姿势可控的视频生成。

一款面向高质量长视频生成的实验性框架，具有扩展序列长度和增强动态特性。

Mira（Mini-Sora）是一个实验性的项目，旨在探索高质量、长时视频生成领域，特别是在模仿Sora风格的视频生成方面。它在现有文本到视频（T2V）生成框架的基础上，通过以下几个关键方面实现突破：扩展序列长度、增强动态特性以及保持3D一致性。目前，Mira项目处于实验阶段，与Sora等更高级的视频生成技术相比，仍有提升空间。

Hotshot - ACT 1是一个先进的直接文本到视频合成系统，由Hotshot开发，旨在赋予世界通过视频分享他们的想象力的能力

ACT 1（Advanced Cinematic Transformer）是一个由Hotshot Research开发的直接文本到视频合成系统，它能够生成高清晰度的视频，具有多种宽高比且无水印，提供引人入胜的用户体验。该系统通过使用大规模高分辨率文本视频语料库进行训练，以实现高保真度的空间对齐、时间对齐和审美质量。

Morph Studio可以帮助用户通过文本提示创造出独特的视频

Morph Studio是一个基于人工智能的文本到视频生成平台。它使用先进的算法,可以通过用户提供的文本提示,自动生成高质量的视频。Morph Studio使创作者可以将自己的创意快速实现成动态的视觉内容。它极大地降低了视频制作的门槛,用户无需具备专业技能和昂贵设备,就可以创造出独特的视频作品。此外,Morph Studio还提供了强大的自定义功能,用户可以调整生成视频的长度、分辨率、样式等参数,输出结果更符合自己的需求。总之,这是一款极具创新和颠覆性的人工智能产品。

一个集成视觉理解和生成的多模态生成模型。

Liquid 是一个自回归生成模型，通过将图像分解为离散代码并与文本标记共享特征空间，促进视觉理解和文本生成的无缝集成。此模型的主要优点在于无需外部预训练的视觉嵌入，减少了对资源的依赖，同时通过规模法则发现了理解与生成任务之间的相互促进效应。

全中文易上手的 AIGC 创作平台，助力创造力提升。

智象未来（HiDream.ai）是一个基于自主可控生成式人工智能的全中文 AIGC 创作平台，致力于帮助用户在零基础的情况下，掌握多模态创作能力。产品提供丰富的创作工具和社区支持，旨在解放生产力、提升工作效率，适合各类创作者和设计师使用。平台的特点包括易用性、全面性以及丰富的学习资源。

强大的语言模型，支持多种自然语言处理任务。

GLM-4-32B 是一个高性能的生成语言模型，旨在处理多种自然语言任务。它通过深度学习技术训练而成，能够生成连贯的文本和回答复杂问题。该模型适用于学术研究、商业应用和开发者，价格合理，定位精准，是自然语言处理领域的领先产品。

通过生成推理扩大过程奖励模型的测试时间计算。

GenPRM 是一种新兴的过程奖励模型（PRM），通过生成推理来提高在测试时的计算效率。这项技术能够在处理复杂任务时提供更准确的奖励评估，适用于多种机器学习和人工智能领域的应用。其主要优点是能够在资源有限的情况下优化模型性能，并在实际应用中降低计算成本。

亚马逊全新基础模型理解语气、语调与节奏，提升人机对话自然度。

Amazon Nova Sonic 是一款前沿的基础模型，能够整合语音理解和生成，提升人机对话的自然流畅度。该模型克服了传统语音应用中的复杂性，通过统一的架构实现更深层次的交流理解，适用于多个行业的 AI 应用，具有重要的商业价值。随着人工智能技术的不断发展，Nova Sonic 将为客户提供更好的语音交互体验，提升服务效率。

通过知识与技能帮助教育者有效利用人工智能。

OpenAI Academy 致力于为教育者提供人工智能的知识与技能，帮助他们在教学中有效整合 AI 技术。通过针对 K-12 教育者的工作坊，OpenAI Academy 强调了生成性 AI 模型（如 ChatGPT）的构造和转型潜力，以及它们在课堂上的实际应用。这一平台旨在帮助教育者面对 AI 带来的机遇与挑战，培养他们在不断发展的数字环境中，为学生提供必要的安全性、技能和自主权。此项目是免费的，旨在为教育者和学生创造一个更美好的未来。

利用 AI 将您的创意变为现实，生成美观的应用程序。

HeroUI Chat 是一个利用人工智能生成美观应用程序的平台，无论用户的设计经验如何，都可以轻松创建专业级的应用界面。该产品旨在帮助创业者、开发者及设计师快速实现他们的想法。产品目前提供 30% 的折扣，吸引了众多用户参与和讨论。

加速视频扩散模型，生成速度提升 8.5 倍。

AccVideo 是一种新颖的高效蒸馏方法，通过合成数据集加速视频扩散模型的推理速度。该模型能够在生成视频时实现 8.5 倍的速度提升，同时保持相似的性能。它使用预训练的视频扩散模型生成多条有效去噪轨迹，从而优化了数据的使用和生成过程。AccVideo 特别适用于需要高效视频生成的场景，如电影制作、游戏开发等，适合研究人员和开发者使用。

通过测试时间缩放显著提升视频生成质量。

Video-T1 是一个视频生成模型，通过测试时间缩放技术（TTS）显著提升生成视频的质量和一致性。该技术允许在推理过程中使用更多的计算资源，从而优化生成结果。相较于传统的视频生成方法，TTS 能够提供更高的生成质量和更丰富的内容表达，适用于数字创作领域。该产品的定位主要面向研究人员和开发者，价格信息未明确。

Gemini 2.5 是谷歌最智能的 AI 模型，具备推理能力。

Gemini 2.5 是谷歌推出的最先进的 AI 模型，具备高效的推理能力和编码性能，能够处理复杂问题，并在多项基准测试中表现出色。该模型引入了新的思维能力，结合增强的基础模型和后期训练，支持更复杂的任务，旨在为开发者和企业提供强大的支持。Gemini 2.5 Pro 可在 Google AI Studio 和 Gemini 应用中使用，适合需要高级推理和编码能力的用户。

通过强化学习驱动的金融推理大模型。

Fin-R1 是一个专为金融领域设计的大型语言模型，旨在提升金融推理能力。由上海财经大学和财跃星辰联合研发，基于 Qwen2.5-7B-Instruct 进行微调和强化学习，具有高效的金融推理能力，适用于银行、证券等核心金融场景。该模型免费开源，便于用户使用和改进。

业界首个超大规模混合 Mamba 推理模型，强推理能力。

混元T1 是腾讯推出的超大规模推理模型，基于强化学习技术，通过大量后训练显著提升推理能力。它在长文处理和上下文捕捉上表现突出，同时优化了计算资源的消耗，具备高效的推理能力。适用于各类推理任务，尤其在数学、逻辑推理等领域表现优异。该产品以深度学习为基础，结合实际反馈不断优化，适合科研、教育等多个领域的应用。

一款 21B 通用推理模型，适合低延迟应用。

Reka Flash 3 是一款从零开始训练的 21 亿参数的通用推理模型，利用合成和公共数据集进行监督微调，结合基于模型和基于规则的奖励进行强化学习。该模型在低延迟和设备端部署应用中表现优异，具有较强的研究能力。它目前是同类开源模型中的最佳选择，适合于各种自然语言处理任务和应用场景。

o1-pro 模型通过强化学习提升复杂推理能力，提供更优答案。

o1-pro 模型是一种先进的人工智能语言模型，专为提供高质量文本生成和复杂推理设计。其在推理和响应准确性上表现优越，适合需要高精度文本处理的应用场景。该模型的定价基于使用的 tokens，输入每百万 tokens 价格为 150 美元，输出每百万 tokens 价格为 600 美元，适合企业和开发者在其应用中集成高效的文本生成能力。