产品库

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

开源图像到视频生成模型

Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

一款面向高质量长视频生成的实验性框架，具有扩展序列长度和增强动态特性。

Mira（Mini-Sora）是一个实验性的项目，旨在探索高质量、长时视频生成领域，特别是在模仿Sora风格的视频生成方面。它在现有文本到视频（T2V）生成框架的基础上，通过以下几个关键方面实现突破：扩展序列长度、增强动态特性以及保持3D一致性。目前，Mira项目处于实验阶段，与Sora等更高级的视频生成技术相比，仍有提升空间。

多模态大型语言模型，提升文本、图像和视频数据处理能力。

Valley是由字节跳动开发的多模态大型模型（MLLM），旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，远超过其他开源模型，并在OpenCompass多模态模型评估排行榜上展现了出色的性能，平均得分67.40，位列已知开源MLLMs（<10B）中的前两名。

快速因果视频生成器，实现即时视频生成。

CausVid是一个先进的视频生成模型，它通过将预训练的双向扩散变换器适配为因果变换器，实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟，使得视频生成能够以交互式帧率（9.4FPS）在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成，以及零样本图像到视频的生成，展现了视频生成技术的新高度。

开源多模态大型语言模型系列

InternVL 2.5是基于InternVL 2.0的高级多模态大型语言模型系列，它在保持核心模型架构的同时，在训练和测试策略以及数据质量方面引入了显著的增强。该模型深入探讨了模型扩展与性能之间的关系，系统地探索了视觉编码器、语言模型、数据集大小和测试时配置的性能趋势。通过在包括多学科推理、文档理解、多图像/视频理解、现实世界理解、多模态幻觉检测、视觉定位、多语言能力和纯语言处理在内的广泛基准测试中进行的广泛评估，InternVL 2.5展现出了与GPT-4o和Claude-3.5-Sonnet等领先商业模型相媲美的竞争力。特别是，该模型是第一个在MMMU基准测试中超过70%的开源MLLM，通过链式思考（CoT）推理实现了3.7个百分点的提升，并展示了测试时扩展的强大潜力。

视频生成模型Sora的存档库

SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示，这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4，帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术，它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频，为研究和教育提供了宝贵的资源。

基于DiT的视频生成模型，实时生成高质量视频。

LTX-Video是由Lightricks开发的首个基于DiT的视频生成模型，能够实时生成高质量的视频内容。该模型以24 FPS的速度生成768x512分辨率的视频，速度超过观看速度。模型经过大规模多样化视频数据集的训练，能够生成高分辨率且内容真实多样的视频。LTX-Video支持文本到视频(text-to-video)以及图像+文本到视频(image+text-to-video)的应用场景。

视频生成评估基准测试

Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。

谷歌旗下领先的人工智能研究公司

Google DeepMind 是谷歌旗下的一家领先的人工智能公司，专注于开发先进的机器学习算法和系统。DeepMind 以其在深度学习和强化学习领域的开创性工作而闻名，其研究涵盖了从游戏到医疗保健等多个领域。DeepMind 的目标是通过构建智能系统来解决复杂的问题，推动科学和医学的进步。

RWKV v6 Finch 14B，开源大模型，高效处理长文本。

RWKV v6 Finch 14B是RWKV架构的第六个版本，也是该系列中最大的模型。它通过引入数据依赖性到token shift和time-mixing中，提高了处理长文本时的效率。Finch 14B模型在处理提示时，能够更好地管理其长期记忆，从而提供更广泛的应用范围。该模型是开源的，由Linux Foundation认可，并且接受社区的GPU集群时间捐赠以支持训练。

可控视频和图像生成技术

ControlNeXt是一个开源的图像和视频生成模型，它通过减少高达90%的可训练参数，实现了更快的收敛速度和卓越的效率。该项目支持多种控制信息形式，并且可以与LoRA技术结合使用，以改变风格并确保更稳定的生成效果。

探索大脑智能的AI项目

Thousand Brains Project是由Jeff Hawkins和Numenta公司发起，旨在通过理解大脑新皮层的工作原理来开发新型的人工智能系统。该项目基于Thousand Brains Theory of Intelligence，提出了与传统AI系统根本不同的大脑工作原理。项目的目标是构建一种高效且强大的智能系统，能够实现人类所具备的智能能力。Numenta公司开放了其研究资源，包括会议记录、代码开源，并建立了一个围绕其算法的大型社区。该项目得到了盖茨基金会等的资金支持，并鼓励全球研究人员参与或加入这一激动人心的项目。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

一个完全开源的大型语言模型，提供先进的自然语言处理能力。

MAP-NEO是一个完全开源的大型语言模型，它包括预训练数据、数据处理管道（Matrix）、预训练脚本和对齐代码。该模型从零开始训练，使用了4.5T的英文和中文token，展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色，超越了同等规模的模型。为了研究目的，我们致力于实现LLM训练过程的完全透明度，因此我们全面发布了MAP-NEO，包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。

一个开源的AI驱动搜索引擎，提供深入网络的答案。

Perplexica是一个开源的AI驱动搜索引擎，它不仅搜索网络，还理解您的问题。它使用先进的机器学习算法，如相似性搜索和嵌入，来优化结果，并提供引用来源的清晰答案。使用SearxNG保持最新和完全开源，确保您始终获得最新信息，同时不损害您的隐私。

Qwen1.5系列首个千亿参数开源模型，多语言支持，高效Transformer解码器架构。

Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。

高效的企业级人工智能模型，低成本实现高质量定制模型。

Snowflake Arctic 是一款专为企业级人工智能任务设计的大规模语言模型（LLM），它在 SQL 生成、编码以及指令遵循等基准测试中表现出色，即使与计算预算更高的开源模型相比也毫不逊色。Arctic 通过其高效的训练和推理，为 Snowflake 客户以及广大 AI 社区提供了一种成本效益极高的定制模型创建方式。此外，Arctic 采用 Apache 2.0 许可，提供无门槛的权重和代码访问，并通过开源数据配方和研究洞察，进一步推动了社区的开放性和成本效益。

DeepSeek-R1 是一款高性能推理模型，支持多种语言和任务，适用于研究和商业应用。

DeepSeek-R1 是 DeepSeek 团队推出的第一代推理模型，通过大规模强化学习训练，无需监督微调即可展现出卓越的推理能力。该模型在数学、代码和推理任务上表现优异，与 OpenAI-o1 模型相当。DeepSeek-R1 还提供了多种蒸馏模型，适用于不同规模和性能需求的场景。其开源特性为研究社区提供了强大的工具，支持商业使用和二次开发。

Seaweed-APT是一种支持实时单步生成1280x720 24fps视频的模型。

Seaweed-APT是一种用于视频生成的模型，通过对抗性后训练技术，实现了大规模文本到视频的单步生成。该模型能够在短时间内生成高质量的视频，具有重要的技术意义和应用价值。其主要优点是速度快、生成效果好，适用于需要快速生成视频的场景。目前尚未明确具体的价格和市场定位。

大规模视频生成模型，可创建逼真视觉效果与自然连贯动作。

Luma Ray2 是一款先进的视频生成模型，基于 Luma 新的多模态架构训练，计算能力是 Ray1 的 10 倍。它能够理解文本指令，并可接受图像和视频输入，生成具有快速连贯动作、超逼真细节和逻辑事件序列的视频，使生成的视频更接近生产就绪状态。目前提供文本到视频的生成功能，图像到视频、视频到视频和编辑功能即将推出。产品主要面向需要高质量视频生成的用户，如视频创作者、广告公司等，目前仅对付费订阅用户开放，可通过官网链接尝试使用。

一个实时适应未见任务的自适应大型语言模型框架。

SakanaAI/self-adaptive-llms是一个名为Transformer²的自适应框架，旨在解决传统微调方法计算密集且处理多样化任务能力静态的挑战。该框架能够在推理过程中通过两步机制实时调整大型语言模型（LLMs）以适应未见任务：首先，调度系统识别任务属性；然后，使用强化学习训练的任务特定'专家'向量被动态混合，以获得针对输入提示的目标行为。主要优点包括实时任务适应性、计算效率和灵活性。该项目由SakanaAI团队开发，目前在GitHub上开源，拥有195颗星和12次分叉。

开源的视觉语言模型，可在多种设备上运行。

Moondream AI是一个开源的视觉语言模型，具有强大的多模态处理能力。它支持多种量化格式，如fp16、int8、int4，能够在服务器、PC、移动设备等多种目标设备上进行GPU和CPU优化推理。其主要优点包括快速、高效、易于部署，且采用Apache 2.0许可证，允许用户自由使用和修改。Moondream AI的定位是为开发者提供一个灵活、高效的人工智能解决方案，适用于需要视觉和语言处理能力的各种应用场景。

一种基于扩散变换器网络的高动态、逼真肖像图像动画技术。

Hallo3是一种用于肖像图像动画的技术，它利用预训练的基于变换器的视频生成模型，能够生成高度动态和逼真的视频，有效解决了非正面视角、动态对象渲染和沉浸式背景生成等挑战。该技术由复旦大学和百度公司的研究人员共同开发，具有强大的泛化能力，为肖像动画领域带来了新的突破。

一个开源AI模型微调与变现平台，助力AI初创企业、机器学习工程师和研究人员。

Bakery是一个专注于开源AI模型的微调与变现的在线平台，为AI初创企业、机器学习工程师和研究人员提供了一个便捷的工具，使他们能够轻松地对AI模型进行微调，并在市场中进行变现。该平台的主要优点在于其简单易用的界面和强大的功能，用户可以快速创建或上传数据集，微调模型设置，并在市场中进行变现。Bakery的背景信息表明，它旨在推动开源AI技术的发展，并为开发者提供更多的商业机会。虽然具体的定价信息未在页面中明确展示，但其定位是为AI领域的专业人士提供一个高效的工具。

一个用于多模型嵌入的图形库，支持多种模型和数据类型的可视化

vectrix-graphs 是一个强大的图形库，专注于多模型嵌入的可视化。它支持多种机器学习模型和数据类型，能够将复杂的数据结构以直观的图形形式展现出来。该库的主要优点在于其灵活性和扩展性，可以轻松集成到现有的数据科学工作流程中。vectrix-ai 团队开发了这个库，旨在帮助研究人员和开发者更好地理解和分析模型的嵌入结果。作为一个开源项目，它在 GitHub 上提供免费使用，适合各种规模的项目和团队。

Sonus-1：开启大型语言模型（LLMs）的新时代

Sonus-1是Sonus AI推出的一系列大型语言模型（LLMs），旨在推动人工智能的边界。这些模型以其高性能和多应用场景的多功能性而设计，包括Sonus-1 Mini、Sonus-1 Air、Sonus-1 Pro和Sonus-1 Pro (w/ Reasoning)等不同版本，以满足不同需求。Sonus-1 Pro (w/ Reasoning)在多个基准测试中表现突出，特别是在推理和数学问题上，展现了其超越其他专有模型的能力。Sonus AI致力于开发高性能、可负担、可靠且注重隐私的大型语言模型。

高效的文本到音频生成模型

TangoFlux是一个高效的文本到音频（TTA）生成模型，拥有515M参数，能够在单个A40 GPU上仅用3.7秒生成长达30秒的44.1kHz音频。该模型通过提出CLAP-Ranked Preference Optimization (CRPO)框架，解决了TTA模型对齐的挑战，通过迭代生成和优化偏好数据来增强TTA对齐。TangoFlux在客观和主观基准测试中均实现了最先进的性能，并且所有代码和模型均开源，以支持TTA生成的进一步研究。

多模态大型语言模型，优化图像与文本交互能力

InternVL2_5-4B-MPO-AWQ是一个多模态大型语言模型（MLLM），专注于提升模型在图像和文本交互任务中的表现。该模型基于InternVL2.5系列，并通过混合偏好优化（MPO）进一步提升性能。它能够处理包括单图像和多图像、视频数据在内的多种输入，适用于需要图像和文本交互理解的复杂任务。InternVL2_5-4B-MPO-AWQ以其卓越的多模态能力，为图像-文本到文本的任务提供了一个强大的解决方案。