产品库

提升视频理解和生成的AI模型。

ShareGPT4Video系列旨在通过密集且精确的字幕来促进大型视频-语言模型(LVLMs)的视频理解以及文本到视频模型(T2VMs)的视频生成。该系列包括：1) ShareGPT4Video，40K GPT4V注释的密集视频字幕，通过精心设计的数据过滤和注释策略开发而成。2) ShareCaptioner-Video，一个高效且功能强大的任意视频字幕模型，由其注释的4.8M高质量美学视频。3) ShareGPT4Video-8B，一个简单但卓越的LVLM，其在三个先进的视频基准测试中达到了最佳性能。

VideoRAG 是一个用于处理极长上下文视频的检索增强型生成框架。

VideoRAG 是一种创新的检索增强型生成框架，专门用于理解和处理极长上下文视频。它通过结合图驱动的文本知识锚定和层次化多模态上下文编码，实现了对无限制长度视频的理解。该框架能够动态构建知识图谱，保持多视频上下文的语义连贯性，并通过自适应多模态融合机制优化检索效率。VideoRAG 的主要优点包括高效的极长上下文视频处理能力、结构化的视频知识索引以及多模态检索能力，使其能够为复杂查询提供全面的回答。该框架在长视频理解领域具有重要的技术价值和应用前景。

Tarsier 是由字节跳动推出的用于生成高质量视频描述的大型视频语言模型。

Tarsier 是由字节跳动研究团队开发的一系列大规模视频语言模型，旨在生成高质量的视频描述，并具备强大的视频理解能力。该模型通过两阶段训练策略（多任务预训练和多粒度指令微调）显著提升了视频描述的精度和细节。其主要优点包括高精度的视频描述能力、对复杂视频内容的理解能力以及在多个视频理解基准测试中取得的 SOTA（State-of-the-Art）结果。Tarsier 的背景基于对现有视频语言模型在描述细节和准确性上的不足进行改进，通过大规模高质量数据训练和创新的训练方法，使其在视频描述领域达到了新的高度。该模型目前未明确定价，主要面向学术研究和商业应用，适合需要高质量视频内容理解和生成的场景。

大型多模态模型中视频理解的探索

Apollo是一个专注于视频理解的先进大型多模态模型家族。它通过系统性地探索视频-LMMs的设计空间，揭示了驱动性能的关键因素，提供了优化模型性能的实用见解。Apollo通过发现'Scaling Consistency'，使得在较小模型和数据集上的设计决策能够可靠地转移到更大的模型上，大幅降低计算成本。Apollo的主要优点包括高效的设计决策、优化的训练计划和数据混合，以及一个新型的基准测试ApolloBench，用于高效评估。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

从长视频中生成引人入胜的YouTube短片

AI Youtube Shorts Generator 是一个利用GPT-4和Whisper技术的Python工具，它可以从长视频中提取最有趣的亮点，检测演讲者，并将内容垂直裁剪，以适应短片格式。这个工具目前处于0.1版本，可能存在一些bug。

生成视频的开源模型

CogVideoX是一个开源的视频生成模型，由清华大学团队开发，支持从文本描述生成视频。它提供了多种视频生成模型，包括入门级和大型模型，以满足不同质量和成本需求。模型支持多种精度，包括FP16和BF16，推荐使用与模型训练时相同的精度进行推理。CogVideoX-5B模型特别适用于需要生成高质量视频内容的场景，如电影制作、游戏开发和广告创意。

文本到视频的生成模型

CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。

视频理解的先进模型

Goldfish 是一种为理解任意长度视频而设计的方法论。它通过高效的检索机制，首先收集与指令相关的前k个视频片段，然后提供所需的响应。这种设计使得Goldfish能够有效处理任意长的视频序列，适用于电影或电视剧等场景。为了促进检索过程，开发了MiniGPT4-Video，该模型为视频片段生成详细的描述。Goldfish在长视频基准测试中取得了41.78%的准确率，超过了之前的方法14.94%。此外，MiniGPT4-Video在短视频理解中也表现出色，分别在MSVD、MSRVTT、TGIF和TVQA短视频基准测试中超过了现有最佳方法3.23%、2.03%、16.5%和23.59%。这些结果表明，Goldfish模型在长视频和短视频理解方面都有显著改进。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

训练无关的运动克隆，实现可控视频生成

MotionClone是一个训练无关的框架，允许从参考视频进行运动克隆，以控制文本到视频的生成。它利用时间注意力机制在视频反转中表示参考视频中的运动，并引入了主时间注意力引导来减轻注意力权重中噪声或非常微妙运动的影响。此外，为了协助生成模型合成合理的空间关系并增强其提示跟随能力，提出了一种利用参考视频中的前景粗略位置和原始分类器自由引导特征的位置感知语义引导机制。

文本到视频生成的创新模型，实现姿势引导的动画制作。

Follow-Your-Pose是一个文本到视频生成的模型，它利用姿势信息和文本描述来生成可编辑、可控制姿势的角色视频。这项技术在数字人物创作领域具有重要应用价值，解决了缺乏综合数据集和视频生成先验模型的限制。通过两阶段训练方案，结合预训练的文本到图像模型，实现了姿势可控的视频生成。

一款面向高质量长视频生成的实验性框架，具有扩展序列长度和增强动态特性。

Mira（Mini-Sora）是一个实验性的项目，旨在探索高质量、长时视频生成领域，特别是在模仿Sora风格的视频生成方面。它在现有文本到视频（T2V）生成框架的基础上，通过以下几个关键方面实现突破：扩展序列长度、增强动态特性以及保持3D一致性。目前，Mira项目处于实验阶段，与Sora等更高级的视频生成技术相比，仍有提升空间。

Hotshot - ACT 1是一个先进的直接文本到视频合成系统，由Hotshot开发，旨在赋予世界通过视频分享他们的想象力的能力

ACT 1（Advanced Cinematic Transformer）是一个由Hotshot Research开发的直接文本到视频合成系统，它能够生成高清晰度的视频，具有多种宽高比且无水印，提供引人入胜的用户体验。该系统通过使用大规模高分辨率文本视频语料库进行训练，以实现高保真度的空间对齐、时间对齐和审美质量。

Morph Studio可以帮助用户通过文本提示创造出独特的视频

Morph Studio是一个基于人工智能的文本到视频生成平台。它使用先进的算法,可以通过用户提供的文本提示,自动生成高质量的视频。Morph Studio使创作者可以将自己的创意快速实现成动态的视觉内容。它极大地降低了视频制作的门槛,用户无需具备专业技能和昂贵设备,就可以创造出独特的视频作品。此外,Morph Studio还提供了强大的自定义功能,用户可以调整生成视频的长度、分辨率、样式等参数,输出结果更符合自己的需求。总之,这是一款极具创新和颠覆性的人工智能产品。

SuperWriter是一个AI文章写作工具，帮助用户在几秒钟内创建优化的博客文章。

SuperWriter是一个AI文章写作工具，使用先进技术生成SEO优化的博客文章，帮助用户节省时间和提高内容质量。该工具能够实时获取网络数据趋势，具有人类化写作风格，适合博客作者、市场营销人员和企业。

Grammarly for Prompting，一键将任何文本转化为完美提示。

Pretty Prompt是一个帮助用户将任何文本转化为高效提示的工具。它能够提升人工智能的准确性，节省时间，适用于各种AI交互场景。Pretty Prompt背后的技术优势，让用户能够在一键操作下得到所需的输出，从而提高工作效率。

使用Vexub AI视频生成器，将文本和音频快速轻松地转化为高质量视频。

Vexub是一款利用人工智能技术快速生成高质量视频的工具。它可以帮助用户将文本和音频素材转化为精美的视频作品，提高视频制作效率，适用于个人创作者和商业用户。Vexub定位于为用户提供简单易用的视频制作工具，让创作变得更加轻松和高效。价格分为基础版、专业版和企业版，灵活满足不同用户需求。

优化设计过程的AI反馈，预测热图和清晰度评分，节省每周15-20小时。

ClarityUX是一款AI驱动的设计优化工具，提供预测性的用户体验分析，帮助设计团队改善可用性、提高转化率和优化KPI。通过AI反馈、预测热图和清晰度评分，用户可以轻松做出基于数据的决策，节省设计审查时间和成本。

AurumTau是一款面向人类和代理人设计的先进AI搜索引擎。

AurumTau是一款基于先进AI技术的智能、上下文感知的搜索引擎，为您提供智能、上下文感知的答案。它的主要优点在于提供准确且快速的答案，帮助用户解决问题。

EasyFin是一款AI驱动的股票分析平台，提供机构级财务数据、高级分析和智能对话AI，简化和增强投资决策。

EasyFin是一款AI驱动的股票分析平台，利用先进的人工智能技术和大数据分析，为用户提供准确、全面的股票分析和投资建议。EasyFin的主要优点在于快速分析海量数据、智能推荐投资策略、提供即时市场动态，帮助用户做出更明智的投资决策。EasyFin定位于为投资者、交易员和金融专业人士提供优质的投资分析工具。

超智能AI团队成员—AI客服、销售与线索生成解决方案。

AI Teammates是一种自主AI代理技术，革新了客户服务、销售和线索生成。其主要优点包括自主智能、全天候服务、多渠道协同、自动化解决方案等，定位于提高生产力和客户满意度。

Filo是您的AI原生电子邮件助手，理解您的需求，轻松管理您的收件箱，让您专注于真正重要的事情。

Filo是一款AI原生电子邮件助手，通过智能管理收件箱，帮助用户节省时间，提高工作效率。其主要优点在于智能识别邮件内容、提供个性化推荐，背景信息为用户解决电子邮件管理难题，定位于提升工作生产力。

OpenTrain AI是一个全球自由职业者市场，将您现有的标注工具与全球经过审核的人工数据专家连接起来。

OpenTrain AI是一个人工智能训练数据市场，可以让您直接雇佣全球经过审核的人工数据专家，使用您喜欢的标注软件。降低成本，保持控制，快速构建高质量的AI训练数据。

Clado是一个全球人才搜索平台，利用人工智能精确匹配人才。

Clado是一个全球人才搜索平台，利用100,000个AI智能代理为用户搜索、筛选和排名人才。其独特的邮件和电话号码增强引擎使得用户能获得完整的丰富人才信息。

Rork通过AI和React Native从您的描述中构建完整、可投入生产的移动应用程序。

Rork是一个移动应用程序构建工具，利用人工智能和React Native技术，帮助用户快速构建跨平台的移动应用。它的主要优点包括高效率、易用性和强大的功能定制能力。

提高文字转化率，吸引更多客户。

New Copy是一款能够帮助用户写出更具吸引力和转化率的文案的人工智能工具。其主要优点在于能够大幅提升营销效果和转化率，节省时间和精力。该产品的背景信息为创立团队拥有丰富的营销经验，定位于为中小型企业提供效果显著的营销工具。

AI智能助手为您提供个性化的焕颜建议。

My Glow Up AI是一款使用人工智能的免费焕颜工具，提供个性化的建议，涵盖皮肤护理、健身、风格等方面，帮助用户实现全面转变。

BAGEL是一款开源的统一多模态模型，您可以在任何地方进行微调、精简和部署。

BAGEL是一款可扩展的统一多模态模型，它正在革新AI与复杂系统的交互方式。该模型具有对话推理、图像生成、编辑、风格转移、导航、构图、思考等功能，通过深度学习视频和网络数据进行预训练，为生成高保真度、逼真图像提供了基础。