产品库

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

一款面向高质量长视频生成的实验性框架，具有扩展序列长度和增强动态特性。

Mira（Mini-Sora）是一个实验性的项目，旨在探索高质量、长时视频生成领域，特别是在模仿Sora风格的视频生成方面。它在现有文本到视频（T2V）生成框架的基础上，通过以下几个关键方面实现突破：扩展序列长度、增强动态特性以及保持3D一致性。目前，Mira项目处于实验阶段，与Sora等更高级的视频生成技术相比，仍有提升空间。

视频生成评估基准测试

Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。

统一的图像生成框架，简化多任务图像生成。

OmniGen是一个创新的扩散框架，它将多种图像生成任务统一到单一模型中，无需特定任务的网络或微调。这一技术简化了图像生成流程，提高了效率，降低了开发和维护成本。

谷歌旗下领先的人工智能研究公司

Google DeepMind 是谷歌旗下的一家领先的人工智能公司，专注于开发先进的机器学习算法和系统。DeepMind 以其在深度学习和强化学习领域的开创性工作而闻名，其研究涵盖了从游戏到医疗保健等多个领域。DeepMind 的目标是通过构建智能系统来解决复杂的问题，推动科学和医学的进步。

RWKV v6 Finch 14B，开源大模型，高效处理长文本。

RWKV v6 Finch 14B是RWKV架构的第六个版本，也是该系列中最大的模型。它通过引入数据依赖性到token shift和time-mixing中，提高了处理长文本时的效率。Finch 14B模型在处理提示时，能够更好地管理其长期记忆，从而提供更广泛的应用范围。该模型是开源的，由Linux Foundation认可，并且接受社区的GPU集群时间捐赠以支持训练。

可控视频和图像生成技术

ControlNeXt是一个开源的图像和视频生成模型，它通过减少高达90%的可训练参数，实现了更快的收敛速度和卓越的效率。该项目支持多种控制信息形式，并且可以与LoRA技术结合使用，以改变风格并确保更稳定的生成效果。

探索大脑智能的AI项目

Thousand Brains Project是由Jeff Hawkins和Numenta公司发起，旨在通过理解大脑新皮层的工作原理来开发新型的人工智能系统。该项目基于Thousand Brains Theory of Intelligence，提出了与传统AI系统根本不同的大脑工作原理。项目的目标是构建一种高效且强大的智能系统，能够实现人类所具备的智能能力。Numenta公司开放了其研究资源，包括会议记录、代码开源，并建立了一个围绕其算法的大型社区。该项目得到了盖茨基金会等的资金支持，并鼓励全球研究人员参与或加入这一激动人心的项目。

文本到视频生成的创新框架

VideoTetris是一个新颖的框架，它实现了文本到视频的生成，特别适用于处理包含多个对象或对象数量动态变化的复杂视频生成场景。该框架通过空间时间组合扩散技术，精确地遵循复杂的文本语义，并通过操作和组合去噪网络的空间和时间注意力图来实现。此外，它还引入了一种新的参考帧注意力机制，以提高自回归视频生成的一致性。VideoTetris在组合文本到视频生成方面取得了令人印象深刻的定性和定量结果。

扩散世界模型中训练的强化学习代理

DIAMOND（DIffusion As a Model Of eNvironment Dreams）是一个在扩散世界模型中训练的强化学习代理，用于雅达利游戏中的视觉细节至关重要的世界建模。它通过自回归想象在Atari游戏子集上进行训练，可以快速安装并尝试预先训练的世界模型。

一个完全开源的大型语言模型，提供先进的自然语言处理能力。

MAP-NEO是一个完全开源的大型语言模型，它包括预训练数据、数据处理管道（Matrix）、预训练脚本和对齐代码。该模型从零开始训练，使用了4.5T的英文和中文token，展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色，超越了同等规模的模型。为了研究目的，我们致力于实现LLM训练过程的完全透明度，因此我们全面发布了MAP-NEO，包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。

一个开源的AI驱动搜索引擎，提供深入网络的答案。

Perplexica是一个开源的AI驱动搜索引擎，它不仅搜索网络，还理解您的问题。它使用先进的机器学习算法，如相似性搜索和嵌入，来优化结果，并提供引用来源的清晰答案。使用SearxNG保持最新和完全开源，确保您始终获得最新信息，同时不损害您的隐私。

Qwen1.5系列首个千亿参数开源模型，多语言支持，高效Transformer解码器架构。

Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。

高效的企业级人工智能模型，低成本实现高质量定制模型。

Snowflake Arctic 是一款专为企业级人工智能任务设计的大规模语言模型（LLM），它在 SQL 生成、编码以及指令遵循等基准测试中表现出色，即使与计算预算更高的开源模型相比也毫不逊色。Arctic 通过其高效的训练和推理，为 Snowflake 客户以及广大 AI 社区提供了一种成本效益极高的定制模型创建方式。此外，Arctic 采用 Apache 2.0 许可，提供无门槛的权重和代码访问，并通过开源数据配方和研究洞察，进一步推动了社区的开放性和成本效益。

Mochi视频生成器的ComfyUI包装节点

ComfyUI-MochiWrapper是一个用于Mochi视频生成器的包装节点，它允许用户通过ComfyUI界面与Mochi模型进行交互。这个项目主要优点是能够利用Mochi模型生成视频内容，并且通过ComfyUI简化了操作流程。它是基于Python开发的，并且完全开源，允许开发者自由地使用和修改。目前该项目还处于积极开发中，已经有一些基本功能，但还没有正式发布版本。

Genmo 的视频生成模型，具有高保真运动和强提示遵循性。

这是一个先进的视频生成模型，采用 AsymmDiT 架构，可免费试用。它能生成高保真视频，缩小了开源与闭源视频生成系统的差距。模型需要至少 4 个 H100 GPU 运行。

利用简单视频输入生成富有表现力的角色表演

Act-One 是 Runway Research 推出的一款创新工具，它通过简单的视频输入生成富有表现力的角色表演。这款工具代表了使用生成模型进行表情丰富的真人动作和动画内容的重大进步。Act-One 的技术突破在于，它能够将演员的表演转化为适合动画流水线的3D模型，同时保留情感和细节。与传统的面部动画流程相比，Act-One 使用的流程完全由演员的表演驱动，无需额外设备。Act-One 的出现为创造性角色设计和动画开辟了新的可能性，它能够准确翻译表演到与原始源视频比例不同的角色上，并且能够在不同的摄像机角度下保持高保真度的面部动画。此外，Act-One 还承诺负责任的开发和部署，包括内容审核和安全预防措施。

轻量级推理模型，用于生成高质量图像

Stable Diffusion 3.5是一个用于简单推理的轻量级模型，它包含了文本编码器、VAE解码器和核心MM-DiT技术。该模型旨在帮助合作伙伴组织实现SD3.5，并且可以用于生成高质量的图像。它的重要性在于其高效的推理能力和对资源的低要求，使得广泛的用户群体能够使用和享受生成图像的乐趣。该模型遵循Stability AI Community License Agreement，并且可以免费使用。

开源的去蒸馏FLUX模型

LibreFLUX是一个基于Apache 2.0许可的开源版本，提供了完整的T5上下文长度，使用注意力掩码，恢复了分类器自由引导，并去除了大部分FLUX美学微调/DPO。这意味着它比基础FLUX更不美观，但有潜力更容易地微调到任何新的分布。LibreFLUX的开发秉承开源软件的核心原则，即使用困难，比专有解决方案更慢、更笨拙，并且审美停留在21世纪初。

用于双手操作的扩散基础模型

RDT-1B是一个参数量达到1B（目前最大）的模仿学习扩散变换器，预训练在超过1M（目前最大）的多机器人情节上。给定语言指令和多达三个视图的RGB图像，RDT可以预测接下来的64个机器人动作。RDT与几乎所有现代移动操作器兼容，包括单臂到双臂、关节到末端执行器、位置到速度，甚至包括轮式运动。该模型在6K+（最大的之一）自收集的双手情节上进行了微调，并部署在ALOHA双臂机器人上。它在灵巧性、零样本泛化能力和少样本学习方面达到了最先进的性能。

行业领先的面部操作平台

FaceFusion Labs 是一个专注于面部操作的领先平台，它利用先进的技术来实现面部特征的融合和操作。该平台主要优点包括高精度的面部识别和融合能力，以及对开发者友好的API接口。FaceFusion Labs 背景信息显示，它在2024年10月15日进行了初始提交，由Henry Ruhs主导开发。产品定位为开源项目，鼓励社区贡献和协作。

高效能小型语言模型

Zamba2-7B是由Zyphra团队开发的一款小型语言模型，它在7B规模上超越了当前领先的模型，如Mistral、Google的Gemma和Meta的Llama3系列，无论是在质量还是性能上。该模型专为在设备上和消费级GPU上运行以及需要强大但紧凑高效模型的众多企业应用而设计。Zamba2-7B的发布，展示了即使在7B规模上，前沿技术仍然可以被小团队和适度预算所触及和超越。

与您的PDF文件进行对话

PDFtoChat是一个允许用户与PDF文件进行对话的平台。它通过AI技术分析PDF内容，让用户能够以提问的方式获取信息，极大地提高了处理文档的效率。该产品背景信息显示，它是由Together AI和Mixtral提供支持的，并且是开源的，源代码可在GitHub上找到。PDFtoChat的主要优点包括免费使用、易于上手、能够处理复杂的文档内容，并且支持开源社区的贡献。

AI进阶学习路径的个人学习笔记库

ml-retreat 是一个关于人工智能进阶学习的个人学习笔记库。它包含了对机器学习基础的深入理解，以及对于更细微主题的必读/必看资源。这个项目的目标是学习Ilya Sutskever推荐的30篇必读研究论文、Distilled AI的博客、多个AI/ML的视频播放列表，以及深入理解/实现Transformers、LLMs和相关主题。

小型语言模型调研、测量与洞察

SLM_Survey是一个专注于小型语言模型（SLMs）的研究项目，旨在通过调研和测量，提供对这些模型的深入了解和技术评估。该项目涵盖了基于Transformer的、仅解码器的语言模型，参数范围在100M至5B之间。通过对59个最先进的开源SLMs进行调研，分析了它们的技术创新，并在多个领域评估了它们的能力，包括常识推理、上下文学习、数学和编程。此外，还对它们的运行时成本进行了基准测试，包括推理延迟和内存占用。这些研究对于推动SLMs领域的研究具有重要价值。

高效视频生成建模的金字塔流匹配技术

Pyramid Flow 是一种高效的视频生成建模技术，它基于流匹配方法，通过自回归视频生成模型来实现。该技术主要优点是训练效率高，能够在开源数据集上以较低的GPU小时数进行训练，生成高质量的视频内容。Pyramid Flow 的背景信息包括由北京大学、快手科技和北京邮电大学共同研发，并且已经在多个平台上发布了相关的论文、代码和模型。

机器学习工程能力的AI代理评估基准

MLE-bench是由OpenAI推出的一个基准测试，旨在衡量AI代理在机器学习工程方面的表现。该基准测试汇集了75个来自Kaggle的机器学习工程相关竞赛，形成了一套多样化的挑战性任务，测试了训练模型、准备数据集和运行实验等现实世界中的机器学习工程技能。通过Kaggle公开的排行榜数据，为每项竞赛建立了人类基准。使用开源代理框架评估了多个前沿语言模型在该基准上的表现，发现表现最佳的设置——OpenAI的o1-preview配合AIDE框架——在16.9%的竞赛中至少达到了Kaggle铜牌的水平。此外，还研究了AI代理的各种资源扩展形式以及预训练污染的影响。MLE-bench的基准代码已经开源，以促进未来对AI代理机器学习工程能力的理解。

先进的通用机器人代理

GR-2是一个先进的通用机器人代理，专为多样化和可泛化的机器人操作而设计。它首先在大量互联网视频上进行预训练，以捕捉世界的动态。这种大规模预训练涉及3800万视频剪辑和超过500亿个标记，使GR-2能够在随后的策略学习中跨广泛范围的机器人任务和环境进行泛化。随后，GR-2针对视频生成和动作预测进行了微调，使用机器人轨迹。它展示了令人印象深刻的多任务学习能力，在100多个任务中平均成功率达到97.7%。此外，GR-2在新的、以前未见过的场景中表现出色，包括新的背景、环境、对象和任务。值得注意的是，GR-2随着模型大小的增加而高效扩展，突显了其持续增长和应用的潜力。

统一文本、音乐和动作生成模型

UniMuMo是一个多模态模型，能够将任意文本、音乐和动作数据作为输入条件，生成跨所有三种模态的输出。该模型通过将音乐、动作和文本转换为基于令牌的表示，通过统一的编码器-解码器转换器架构桥接这些模态。它通过微调现有的单模态预训练模型，显著降低了计算需求。UniMuMo在音乐、动作和文本模态的所有单向生成基准测试中都取得了有竞争力的结果。

逆向绘画技术，重现绘画过程

Inverse Painting 是一种基于扩散模型的方法，能够从一幅目标画作生成绘画过程的时间流逝视频。该技术通过训练学习真实艺术家的绘画过程，能够处理多种艺术风格，并生成类似人类艺术家的绘画过程视频。它结合了文本和区域理解，定义了一组绘画指令，并使用新颖的扩散基础渲染器更新画布。该技术不仅能够处理训练中有限的丙烯画风格，还能为广泛的艺术风格和流派提供合理的结果。