产品库

多视角视频生成同步技术

SynCamMaster是一种先进的视频生成技术，它能够从多样化的视角同步生成多摄像机视频。这项技术通过预训练的文本到视频模型，增强了视频内容在不同视角下的动态一致性，对于虚拟拍摄等应用场景具有重要意义。该技术的主要优点包括能够处理开放世界视频的任意视角生成，整合6自由度摄像机姿态，并设计了一种渐进式训练方案，利用多摄像机图像和单目视频作为补充，显著提升了模型性能。

探索由OpenAI的Sora创造的惊人AI视频

Sora Explore是一个展示由OpenAI的Sora技术生成的视频作品的平台。它代表了AI视频生成领域的前沿技术，允许用户探索和发现AI在视频创作中的无限可能性。该平台以其高质量的视频生成和用户友好的界面而受到欢迎，提供了一个全新的视角来观察和理解AI技术的发展和应用。Sora Explore的背景信息显示，它是由Sora Explore团队构建的，旨在为用户提供一个集中的平台来浏览和欣赏AI生成的视频内容。

多模态大型语言模型，融合视觉与语言理解。

InternVL2_5-26B是一个先进的多模态大型语言模型（MLLM），在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，进一步发展而来。该模型保持了其前身的“ViT-MLP-LLM”核心模型架构，并集成了新增量预训练的InternViT与各种预训练的大型语言模型（LLMs），例如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5系列模型在多模态任务中展现出卓越的性能，尤其在视觉感知和多模态能力方面。

70B参数的多语言大型预训练语言模型

Meta Llama 3.3是一个70B参数的多语言大型预训练语言模型（LLM），专为多语言对话用例优化，并在常见行业基准测试中表现优于许多现有的开源和封闭聊天模型。该模型采用优化的Transformer架构，并使用监督式微调（SFT）和基于人类反馈的强化学习（RLHF）来符合人类的有用性和安全性偏好。

音频驱动的表情丰富的视频生成模型

MEMO是一个先进的开放权重模型，用于音频驱动的说话视频生成。该模型通过记忆引导的时间模块和情感感知的音频模块，增强了长期身份一致性和运动平滑性，同时通过检测音频中的情感来细化面部表情，生成身份一致且富有表情的说话视频。MEMO的主要优点包括更真实的视频生成、更好的音频-唇形同步、身份一致性和表情情感对齐。该技术背景信息显示，MEMO在多种图像和音频类型中生成更真实的说话视频，超越了现有的最先进方法。

开源AI语音处理工具包，支持语音增强、分离和目标说话人提取。

ClearerVoice-Studio是一个开源的AI驱动语音处理工具包，专为研究人员、开发者和最终用户设计。它提供了语音增强、语音分离、目标说话人提取等功能，并提供了最新的预训练模型以及训练和推理脚本，全部可通过此仓库访问。该工具包以其预训练模型、易用性、全面功能和社区驱动的特点而受到青睐。

探索AI前沿，精选国内外AI产品与应用。

智趣AI甄选是一个专注于人工智能领域的综合性平台，旨在洞察行业发展前景，精选并展示国内外的AI产品与应用。平台提供丰富的学习资源，行业融合案例分析，助力用户洞悉AI发展趋势，与AI技术同行，共创未来。

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

多模态原生Mixture-of-Experts模型

Aria-Base-64K是Aria系列的基础模型之一，专为研究目的和继续训练而设计。该模型在长文本预训练阶段后形成，经过33B个token（21B多模态，12B语言，69%为长文本）的训练。它适合于长视频问答数据集或长文档问答数据集的继续预训练或微调，即使在资源有限的情况下，也可以通过短指令调优数据集进行后训练，并转移到长文本问答场景。该模型能够理解多达250张高分辨率图像或多达500张中等分辨率图像，并在语言和多模态场景中保持强大的基础性能。

灵感激发与视频创作平台

跃问视频是一个集灵感激发与视频创作于一体的平台，它通过提供丰富的视觉和创意内容，帮助用户激发创意并创作出独特的视频。该平台以其独特的美学风格和高效的视频生成技术为主要优点，尤其在中国风题材上表现出色。跃问视频的背景信息显示，它是由阶跃星辰公司推出的，该公司在多模态能力方面遥遥领先，提供了从文本到视频的生成技术。产品定位于中高端市场，以其高质量的视频生成和优化服务吸引用户。

大规模多模态预训练数据集

allenai/olmo-mix-1124数据集是由Hugging Face提供的一个大规模多模态预训练数据集，主要用于训练和优化自然语言处理模型。该数据集包含了大量的文本信息，覆盖了多种语言，并且可以用于各种文本生成任务。它的重要性在于提供了一个丰富的资源，使得研究人员和开发者能够训练出更加精准和高效的语言模型，进而推动自然语言处理技术的发展。

基于扩散模型的2D视频生成系统，实现人-物交互动画。

AnchorCrafter是一个创新的扩散模型系统，旨在生成包含目标人物和定制化对象的2D视频，通过人-物交互（HOI）的集成，实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力，并分离人和物的外观；HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战，实现复杂的人-物交互。此外，HOI区域重新加权损失作为训练目标，增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时，也维持了人物外观和运动的一致性，对于在线商务、广告和消费者参与等领域具有重要意义。

文档智能的视觉引导生成文本布局预训练模型

ViTLP是一个视觉引导的生成文本布局预训练模型，旨在提高文档智能处理的效率和准确性。该模型结合了OCR文本定位和识别功能，能够在文档图像上进行快速准确的文本检测和识别。ViTLP模型的预训练版本ViTLP-medium（380M参数）在计算资源和预训练数据集规模的限制下，提供了一个平衡的解决方案，既保证了模型的性能，又优化了推理速度和内存使用。ViTLP的推理速度在Nvidia 4090上处理一页文档图像通常在5到10秒内，与大多数OCR引擎相比具有竞争力。

基于频率分解的身份保持文本到视频生成模型

ConsisID是一个基于频率分解的身份保持文本到视频生成模型，它通过在频域中使用身份控制信号来生成与输入文本描述一致的高保真度视频。该模型不需要针对不同案例进行繁琐的微调，并且能够保持生成视频中人物身份的一致性。ConsisID的提出，推动了视频生成技术的发展，特别是在无需调整的流程和频率感知的身份保持控制方案方面。

文本图像到视频生成模型

Allegro-TI2V是一个文本图像到视频生成模型，它能够根据用户提供的提示和图像生成视频内容。该模型以其开源性、多样化的内容创作能力、高质量的输出、小巧高效的模型参数以及支持多种精度和GPU内存优化而受到关注。它代表了当前人工智能技术在视频生成领域的前沿进展，具有重要的技术价值和商业应用潜力。Allegro-TI2V模型在Hugging Face平台上提供，遵循Apache 2.0开源协议，用户可以免费下载和使用。

视频生成模型Sora的存档库

SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示，这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4，帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术，它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频，为研究和教育提供了宝贵的资源。

基于DiT的视频生成模型，实时生成高质量视频。

LTX-Video是由Lightricks开发的首个基于DiT的视频生成模型，能够实时生成高质量的视频内容。该模型以24 FPS的速度生成768x512分辨率的视频，速度超过观看速度。模型经过大规模多样化视频数据集的训练，能够生成高分辨率且内容真实多样的视频。LTX-Video支持文本到视频(text-to-video)以及图像+文本到视频(image+text-to-video)的应用场景。

实时AI视频生成开源模型

LTXV是Lightricks推出的一个实时AI视频生成开源模型，它代表了视频生成技术的最新发展。LTXV能够提供可扩展的长视频制作能力，优化了GPU和TPU系统，大幅减少了视频生成时间，同时保持了高视觉质量。LTXV的独特之处在于其帧到帧学习技术，确保了帧之间的连贯性，消除了闪烁和场景内的不一致问题。这一技术对于视频制作行业来说是一个巨大的进步，因为它不仅提高了效率，还提升了视频内容的质量。

统一可控的视频生成方法

AnimateAnything是一个统一的可控视频生成方法，它支持在不同条件下进行精确和一致的视频操作，包括相机轨迹、文本提示和用户动作注释。该技术通过设计多尺度控制特征融合网络来构建不同条件下的通用运动表示，并将所有控制信息转换为逐帧光流，以此作为运动先导来指导视频生成。此外，为了减少大规模运动引起的闪烁问题，提出了基于频率的稳定模块，以确保视频在频域的一致性，增强时间连贯性。实验表明，AnimateAnything的方法优于现有的最先进方法。

开源的32亿参数代码生成语言模型

Qwen2.5-Coder-32B-Instruct-GPTQ-Int4是基于Qwen2.5的代码生成大型语言模型，具有32.5亿参数量，支持长文本处理，最大支持128K tokens。该模型在代码生成、代码推理和代码修复方面有显著提升，是当前开源代码语言模型中的佼佼者。它不仅增强了编码能力，还保持了在数学和通用能力方面的优势。

Qwen2.5-Coder系列中的指令调优0.5B参数代码生成模型

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5，通过扩展训练令牌到5.5万亿，包括源代码、文本代码基础、合成数据等，Qwen2.5-Coder-32B已成为当前最先进的开源代码LLM，其编码能力与GPT-4o相匹配。该模型不仅增强了编码能力，还保持了在数学和通用能力方面的优势，为实际应用如代码代理提供了更全面的基础。

Qwen2.5-Coder系列中的3B参数模型，专注于代码生成与理解。

Qwen2.5-Coder-3B是Qwen2.5-Coder系列中的一个大型语言模型，专注于代码生成、推理和修复。基于强大的Qwen2.5，该模型通过增加训练令牌至5.5万亿，包括源代码、文本代码基础、合成数据等，实现了在代码生成、推理和修复方面的显著改进。Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型，其编码能力与GPT-4o相匹配。此外，Qwen2.5-Coder-3B还为现实世界的应用提供了更全面的基础，如代码代理，不仅增强了编码能力，还保持了在数学和通用能力方面的优势。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

Qwen2.5-Coder系列技术报告

Qwen2.5-Coder系列是基于Qwen2.5架构的代码特定模型，包括Qwen2.5-Coder-1.5B和Qwen2.5-Coder-7B两个模型。这些模型在超过5.5万亿个token的大规模语料库上继续预训练，并通过精细的数据清洗、可扩展的合成数据生成和平衡的数据混合，展现出令人印象深刻的代码生成能力，同时保持了通用性。Qwen2.5-Coder在包括代码生成、补全、推理和修复在内的多种代码相关任务上取得了超过10个基准测试的最新性能，并且一致性地超越了同等大小的更大模型。该系列的发布不仅推动了代码智能研究的边界，而且通过其许可授权，鼓励开发者在现实世界的应用中更广泛地采用。

开源视频生成模型，支持10秒视频和更高分辨率。

CogVideoX1.5-5B-SAT是由清华大学知识工程与数据挖掘团队开发的开源视频生成模型，是CogVideoX模型的升级版。该模型支持生成10秒视频，并支持更高分辨率的视频生成。模型包含Transformer、VAE和Text Encoder等模块，能够根据文本描述生成视频内容。CogVideoX1.5-5B-SAT模型以其强大的视频生成能力和高分辨率支持，为视频内容创作者提供了一个强大的工具，尤其在教育、娱乐和商业领域有着广泛的应用前景。

用户视频的生成性视频摄像机控制

ReCapture是一种从单一用户提供的视频生成新视频和新颖摄像机轨迹的方法。该技术允许我们从完全不同的角度重新生成源视频，并带有电影级别的摄像机运动。ReCapture通过使用多视图扩散模型或基于深度的点云渲染生成带有新摄像机轨迹的嘈杂锚视频，然后通过我们提出的掩蔽视频微调技术将锚视频重新生成为干净且时间上一致的重新角度视频。这种技术的重要性在于它能够利用视频模型的强大先验，将近似的视频重新生成为时间上一致且美观的视频。

高度表现力的肖像动画技术

字节跳动智能创作团队推出最新单图视频驱动技术 X-Portrait 2。X-Portrait 2是一种肖像动画技术，它通过用户提供的静态肖像图像和驱动表演视频，能够生成具有高度表现力和真实感的角色动画和视频片段。这项技术显著降低了现有的动作捕捉、角色动画和内容创作流程的复杂性。X-Portrait 2通过构建一个最先进的表情编码器模型，隐式编码输入中的每一个微小表情，并通过大规模数据集进行训练。然后，该编码器与强大的生成扩散模型结合，生成流畅且富有表现力的视频。X-Portrait 2能够传递微妙和微小的面部表情，包括撅嘴、吐舌、脸颊充气和皱眉等具有挑战性的表情，并在生成的视频中实现高保真的情感传递。

ComfyUI中集成的最新视频生成模型

Mochi是Genmo最新推出的开源视频生成模型，它在ComfyUI中经过优化，即使使用消费级GPU也能实现。Mochi以其高保真度动作和卓越的提示遵循性而著称，为ComfyUI社区带来了最先进的视频生成能力。Mochi模型在Apache 2.0许可下发布，这意味着开发者和创作者可以自由使用、修改和集成Mochi，而不受限制性许可的阻碍。Mochi能够在消费级GPU上运行，如4090，且在ComfyUI中支持多种注意力后端，使其能够适应小于24GB的VRAM。

生成和交互控制开放世界游戏视频的扩散变换模型

GameGen-X是专为生成和交互控制开放世界游戏视频而设计的扩散变换模型。该模型通过模拟游戏引擎的多种特性，如创新角色、动态环境、复杂动作和多样事件，实现了高质量、开放领域的视频生成。此外，它还提供了交互控制能力，能够根据当前视频片段预测和改变未来内容，从而实现游戏玩法模拟。为了实现这一愿景，我们首先从零开始收集并构建了一个开放世界视频游戏数据集（OGameData），这是第一个也是最大的开放世界游戏视频生成和控制数据集，包含超过150款游戏的100多万个多样化游戏视频片段，这些片段都配有GPT-4o的信息性字幕。GameGen-X经历了两阶段的训练过程，包括基础模型预训练和指令调优。首先，模型通过文本到视频生成和视频续集进行预训练，赋予了其长序列、高质量开放领域游戏视频生成的能力。进一步，为了实现交互控制能力，我们设计了InstructNet来整合与游戏相关的多模态控制信号专家。这使得模型能够根据用户输入调整潜在表示，首次在视频生成中统一角色交互和场景内容控制。在指令调优期间，只有InstructNet被更新，而预训练的基础模型被冻结，使得交互控制能力的整合不会损失生成视频内容的多样性和质量。GameGen-X代表了使用生成模型进行开放世界视频游戏设计的一次重大飞跃。它展示了生成模型作为传统渲染技术的辅助工具的潜力，有效地将创造性生成与交互能力结合起来。

基于Transformer的实时开放世界AI模型

Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型，它是一个互动视频游戏，由Transformer端到端生成，基于逐帧生成。Oasis能够接收用户键盘和鼠标输入，实时生成游戏玩法，内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习，允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步，未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破，以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法，并结合了大型语言模型（LLMs）来训练一个自回归模型，该模型可以根据用户即时动作生成视频。此外，Decart AI还开发了专有的推理框架，以提供NVIDIA H100 Tensor Core GPU的峰值利用率，并支持Etched即将推出的Sohu芯片。