产品库

ComfyUI中集成的最新视频生成模型

Mochi是Genmo最新推出的开源视频生成模型，它在ComfyUI中经过优化，即使使用消费级GPU也能实现。Mochi以其高保真度动作和卓越的提示遵循性而著称，为ComfyUI社区带来了最先进的视频生成能力。Mochi模型在Apache 2.0许可下发布，这意味着开发者和创作者可以自由使用、修改和集成Mochi，而不受限制性许可的阻碍。Mochi能够在消费级GPU上运行，如4090，且在ComfyUI中支持多种注意力后端，使其能够适应小于24GB的VRAM。

开源视频生成模型，支持10秒视频和更高分辨率。

CogVideoX1.5-5B-SAT是由清华大学知识工程与数据挖掘团队开发的开源视频生成模型，是CogVideoX模型的升级版。该模型支持生成10秒视频，并支持更高分辨率的视频生成。模型包含Transformer、VAE和Text Encoder等模块，能够根据文本描述生成视频内容。CogVideoX1.5-5B-SAT模型以其强大的视频生成能力和高分辨率支持，为视频内容创作者提供了一个强大的工具，尤其在教育、娱乐和商业领域有着广泛的应用前景。

一个开源的视频生成模型，用于创造生动的视频内容。

CogVideoX-2B是一个开源的视频生成模型，由清华大学团队开发。它支持使用英语提示语言生成视频，具有36GB的推理GPU内存需求，并且可以生成6秒长、每秒8帧、分辨率为720*480的视频。该模型使用正弦位置嵌入，目前不支持量化推理和多卡推理。它基于Hugging Face的diffusers库进行部署，能够根据文本提示生成视频，具有高度的创造性和应用潜力。

文本到视频的生成模型

CogVideoX是一个开源的视频生成模型，与商业模型同源，支持通过文本描述生成视频内容。它代表了文本到视频生成技术的最新进展，具有生成高质量视频的能力，能够广泛应用于娱乐、教育、商业宣传等领域。

Qwen2.5-Coder系列中的1.5B参数代码生成模型

Qwen2.5-Coder-1.5B是Qwen2.5-Coder系列中的一款大型语言模型，专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5，该模型通过扩展训练令牌至5.5万亿，包括源代码、文本代码基础、合成数据等，成为当前开源代码LLM中的佼佼者，编码能力媲美GPT-4o。此外，Qwen2.5-Coder-1.5B还强化了数学和通用能力，为实际应用如代码代理提供了更全面的基础。

Qwen2.5-Coder系列中的1.5B参数代码生成模型

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专注于代码生成、代码推理和代码修复。基于Qwen2.5的强大能力，该模型在训练时使用了5.5万亿的源代码、文本代码基础、合成数据等，是目前开源代码生成语言模型中的佼佼者，编码能力与GPT-4o相媲美。它不仅增强了编码能力，还保持了在数学和通用能力方面的优势，为实际应用如代码代理提供了更全面的基础。

Qwen2.5-Coder系列的3B参数指令调优模型

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5，该系列模型通过增加训练令牌至5.5万亿，包括源代码、文本代码接地、合成数据等，显著提升了代码生成、推理和修复能力。Qwen2.5-Coder-3B是该系列中的一个模型，拥有3.09B参数，36层，16个注意力头（Q）和2个注意力头（KV），全32,768令牌上下文长度。该模型是目前开源代码LLM中的佼佼者，编码能力与GPT-4o相匹配，为开发者提供了一个强大的代码辅助工具。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

用户视频的生成性视频摄像机控制

ReCapture是一种从单一用户提供的视频生成新视频和新颖摄像机轨迹的方法。该技术允许我们从完全不同的角度重新生成源视频，并带有电影级别的摄像机运动。ReCapture通过使用多视图扩散模型或基于深度的点云渲染生成带有新摄像机轨迹的嘈杂锚视频，然后通过我们提出的掩蔽视频微调技术将锚视频重新生成为干净且时间上一致的重新角度视频。这种技术的重要性在于它能够利用视频模型的强大先验，将近似的视频重新生成为时间上一致且美观的视频。

高度表现力的肖像动画技术

字节跳动智能创作团队推出最新单图视频驱动技术 X-Portrait 2。X-Portrait 2是一种肖像动画技术，它通过用户提供的静态肖像图像和驱动表演视频，能够生成具有高度表现力和真实感的角色动画和视频片段。这项技术显著降低了现有的动作捕捉、角色动画和内容创作流程的复杂性。X-Portrait 2通过构建一个最先进的表情编码器模型，隐式编码输入中的每一个微小表情，并通过大规模数据集进行训练。然后，该编码器与强大的生成扩散模型结合，生成流畅且富有表现力的视频。X-Portrait 2能够传递微妙和微小的面部表情，包括撅嘴、吐舌、脸颊充气和皱眉等具有挑战性的表情，并在生成的视频中实现高保真的情感传递。

生成和交互控制开放世界游戏视频的扩散变换模型

GameGen-X是专为生成和交互控制开放世界游戏视频而设计的扩散变换模型。该模型通过模拟游戏引擎的多种特性，如创新角色、动态环境、复杂动作和多样事件，实现了高质量、开放领域的视频生成。此外，它还提供了交互控制能力，能够根据当前视频片段预测和改变未来内容，从而实现游戏玩法模拟。为了实现这一愿景，我们首先从零开始收集并构建了一个开放世界视频游戏数据集（OGameData），这是第一个也是最大的开放世界游戏视频生成和控制数据集，包含超过150款游戏的100多万个多样化游戏视频片段，这些片段都配有GPT-4o的信息性字幕。GameGen-X经历了两阶段的训练过程，包括基础模型预训练和指令调优。首先，模型通过文本到视频生成和视频续集进行预训练，赋予了其长序列、高质量开放领域游戏视频生成的能力。进一步，为了实现交互控制能力，我们设计了InstructNet来整合与游戏相关的多模态控制信号专家。这使得模型能够根据用户输入调整潜在表示，首次在视频生成中统一角色交互和场景内容控制。在指令调优期间，只有InstructNet被更新，而预训练的基础模型被冻结，使得交互控制能力的整合不会损失生成视频内容的多样性和质量。GameGen-X代表了使用生成模型进行开放世界视频游戏设计的一次重大飞跃。它展示了生成模型作为传统渲染技术的辅助工具的潜力，有效地将创造性生成与交互能力结合起来。

首个同时支持文生和图生的3D开源模型

腾讯混元3D是一个开源的3D生成模型，旨在解决现有3D生成模型在生成速度和泛化能力上的不足。该模型采用两阶段生成方法，第一阶段使用多视角扩散模型快速生成多视角图像，第二阶段通过前馈重建模型快速重建3D资产。混元3D-1.0模型能够帮助3D创作者和艺术家自动化生产3D资产，支持快速单图生3D，10秒内完成端到端生成，包括mesh和texture提取。

开源的全双工音频生成基础模型

hertz-dev是Standard Intelligence开源的全双工、仅音频的变换器基础模型，拥有85亿参数。该模型代表了可扩展的跨模态学习技术，能够将单声道16kHz语音转换为8Hz潜在表示，具有1kbps的比特率，性能优于其他音频编码器。hertz-dev的主要优点包括低延迟、高效率和易于研究人员进行微调和构建。产品背景信息显示，Standard Intelligence致力于构建对全人类有益的通用智能，而hertz-dev是这一旅程的第一步。

基于Transformer的实时开放世界AI模型

Oasis是由Decart AI开发的首个可玩、实时、开放世界的AI模型，它是一个互动视频游戏，由Transformer端到端生成，基于逐帧生成。Oasis能够接收用户键盘和鼠标输入，实时生成游戏玩法，内部模拟物理、游戏规则和图形。该模型通过直接观察游戏玩法学习，允许用户移动、跳跃、拾取物品、破坏方块等。Oasis被视为研究更复杂交互世界的基础模型的第一步，未来可能取代传统的游戏引擎。Oasis的实现需要模型架构的改进和模型推理技术的突破，以实现用户与模型的实时交互。Decart AI采用了最新的扩散训练和Transformer模型方法，并结合了大型语言模型（LLMs）来训练一个自回归模型，该模型可以根据用户即时动作生成视频。此外，Decart AI还开发了专有的推理框架，以提供NVIDIA H100 Tensor Core GPU的峰值利用率，并支持Etched即将推出的Sohu芯片。

首款实时生成式AI开放世界模型

Decart是一个高效的AI平台，提供了在训练和推理大型生成模型方面的数量级改进。利用这些先进的能力，Decart能够训练基础的生成交互模型，并使每个人都能在实时中访问。Decart的OASIS模型是一个实时生成的AI开放世界模型，代表了实时视频生成的未来。该平台还提供了对1000+ NVIDIA H100 Tensor Core GPU集群进行训练或推理的能力，为AI视频生成领域带来了突破性进展。

大规模视频生成的自回归扩散模型

MarDini是Meta AI Research推出的一款视频扩散模型，它将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成，支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效，将大部分计算资源分配给低分辨率规划模型，使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆，并且在几次推理步骤内，就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。

视频扩散模型加速工具，无需训练即可生成高质量视频内容。

FasterCache是一种创新的无需训练的策略，旨在加速视频扩散模型的推理过程，并生成高质量的视频内容。这一技术的重要性在于它能够显著提高视频生成的效率，同时保持或提升内容的质量，这对于需要快速生成视频内容的行业来说是非常有价值的。FasterCache由来自香港大学、南洋理工大学和上海人工智能实验室的研究人员共同开发，项目页面提供了更多的视觉结果和详细信息。产品目前免费提供，主要面向视频内容生成、AI研究和开发等领域。

Mochi视频生成器的ComfyUI包装节点

ComfyUI-MochiWrapper是一个用于Mochi视频生成器的包装节点，它允许用户通过ComfyUI界面与Mochi模型进行交互。这个项目主要优点是能够利用Mochi模型生成视频内容，并且通过ComfyUI简化了操作流程。它是基于Python开发的，并且完全开源，允许开发者自由地使用和修改。目前该项目还处于积极开发中，已经有一些基本功能，但还没有正式发布版本。

Genmo 的视频生成模型，具有高保真运动和强提示遵循性。

这是一个先进的视频生成模型，采用 AsymmDiT 架构，可免费试用。它能生成高保真视频，缩小了开源与闭源视频生成系统的差距。模型需要至少 4 个 H100 GPU 运行。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

开源视频生成模型

Mochi 1 是 Genmo 公司推出的一款研究预览版本的开源视频生成模型，它致力于解决当前AI视频领域的基本问题。该模型以其无与伦比的运动质量、卓越的提示遵循能力和跨越恐怖谷的能力而著称，能够生成连贯、流畅的人类动作和表情。Mochi 1 的开发背景是响应对高质量视频内容生成的需求，特别是在游戏、电影和娱乐行业中。产品目前提供免费试用，具体定价信息未在页面中提供。

先进的文本到视频生成模型

Allegro是由Rhymes AI开发的高级文本到视频模型，它能够将简单的文本提示转换成高质量的短视频片段。Allegro的开源特性使其成为创作者、开发者和AI视频生成领域研究人员的强大工具。Allegro的主要优点包括开源、内容创作多样化、高质量输出以及模型体积小且高效。它支持多种精度（FP32、BF16、FP16），在BF16模式下，GPU内存使用量为9.3 GB，上下文长度为79.2k，相当于88帧。Allegro的技术核心包括大规模视频数据处理、视频压缩成视觉令牌以及扩展视频扩散变换器。

从手机拍摄的平移视频中生成全景视频

VidPanos 是一个创新的视频处理技术，它能够将用户随意拍摄的平移视频转换成全景视频。这项技术通过空间时间外推的方式，生成与原视频长度相同的全景视频。VidPanos 利用生成视频模型，解决了在移动物体存在时，静态全景图无法捕捉场景动态的问题。它能够处理包括人、车辆、流水以及静态背景在内的各种野外场景，展现出强大的实用性和创新性。

新一代自回归框架，统一多模态理解和生成

Janus是一个创新的自回归框架，通过将视觉编码分离成不同的路径，同时利用单一的、统一的变换器架构进行处理，解决了以往方法的局限性。这种解耦不仅减轻了视觉编码器在理解和生成中的角色冲突，还增强了框架的灵活性。Janus的性能超越了以往的统一模型，并且达到了或超过了特定任务模型的性能。Janus的简单性、高灵活性和有效性使其成为下一代统一多模态模型的强有力候选。

视频生成评估基准测试

Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。

简单快速的检索增强型生成模型

LightRAG是一个基于检索增强型生成模型，旨在通过结合检索和生成的优势来提升文本生成任务的性能。该模型在保持生成速度的同时，能够提供更准确和相关的信息，这对于需要快速且准确信息检索的应用场景尤为重要。LightRAG的开发背景是基于对现有文本生成模型的改进需求，特别是在需要处理大量数据和复杂查询时。该模型目前是开源的，可以免费使用，对于研究人员和开发者来说，它提供了一个强大的工具来探索和实现基于检索的文本生成任务。

文本到图像生成模型，支持高分辨率图像生成

由清华大学团队开发的文本到图像生成模型，开源，在图像生成领域有广泛应用前景，有高分辨率输出等优点。

多模态原生混合专家模型

Aria是一个多模态原生混合专家模型，具有强大的多模态、语言和编码任务性能。它在视频和文档理解方面表现出色，支持长达64K的多模态输入，能够在10秒内描述一个256帧的视频。Aria模型的参数量为25.3B，能够在单个A100（80GB）GPU上使用bfloat16精度进行加载。Aria的开发背景是满足对多模态数据理解的需求，特别是在视频和文档处理方面。它是一个开源模型，旨在推动多模态人工智能的发展。

开源AI辅助编程模型系列

CursorCore是一系列开源模型，旨在通过编程指令对齐来协助编程，支持自动化编辑和内联聊天等功能。这些功能模仿了如Cursor这样的闭源AI辅助编程工具的核心能力。该项目通过开源社区的力量，推动了AI在编程领域的应用，使得开发者能够更加高效地编写和编辑代码。目前该项目处于早期阶段，但已经展示了其在提高编程效率和辅助代码生成方面的潜力。

高效视频生成建模的金字塔流匹配技术

Pyramid Flow 是一种高效的视频生成建模技术，它基于流匹配方法，通过自回归视频生成模型来实现。该技术主要优点是训练效率高，能够在开源数据集上以较低的GPU小时数进行训练，生成高质量的视频内容。Pyramid Flow 的背景信息包括由北京大学、快手科技和北京邮电大学共同研发，并且已经在多个平台上发布了相关的论文、代码和模型。