产品库

4D重建模型，快速生成动画对象

L4GM是一个4D大型重建模型，能够从单视图视频输入中快速生成动画对象。它采用了一种新颖的数据集，包含多视图视频，这些视频展示了Objaverse中渲染的动画对象。该数据集包含44K种不同的对象和110K个动画，从48个视角渲染，生成了12M个视频，总共包含300M帧。L4GM基于预训练的3D大型重建模型LGM构建，该模型能够从多视图图像输入中输出3D高斯椭球。L4GM输出每帧的3D高斯Splatting表示，然后将其上采样到更高的帧率以实现时间平滑。此外，L4GM还添加了时间自注意力层，以帮助学习时间上的一致性，并使用每个时间步的多视图渲染损失来训练模型。

专注于计算机视觉和机器学习领域的研究与创新的博客网站

Shangchen Zhou 是一位在计算机视觉和机器学习领域有着深厚研究背景的博士生，他的工作主要集中在视觉内容增强、编辑和生成AI（2D和3D）上。他的研究成果广泛应用于图像和视频的超分辨率、去模糊、低光照增强等领域，为提升视觉内容的质量和用户体验做出了重要贡献。

提供关于人工智能的最佳资源，学习机器学习、数据科学、自然语言处理等。

AI Online Course是一个互动学习平台，提供清晰简明的人工智能介绍，使复杂的概念易于理解。它涵盖机器学习、深度学习、计算机视觉、自动驾驶、聊天机器人等方面的知识，并强调实际应用和技术优势。

实时优化的计算机视觉库

OpenCV是一个实时优化的计算机视觉库，提供了一套功能强大的工具和硬件支持。它还支持机器学习（ML）和人工智能（AI）模型的执行。OpenCV是开源的，免费商用。

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

高性能英文语言模型，适用于多样化任务

OLMo-2-1124-13B-DPO是经过监督微调和DPO训练的13B参数大型语言模型，主要针对英文，旨在提供在聊天、数学、GSM8K和IFEval等多种任务上的卓越性能。该模型是OLMo系列的一部分，旨在推动语言模型的科学研究。模型训练基于Dolma数据集，并公开代码、检查点、日志和训练细节。

从单张图片重建逼真的3D人体模型

PSHuman是一个创新的框架，它利用多视图扩散模型和显式重构技术，从单张图片中重建出逼真的3D人体模型。这项技术的重要性在于它能够处理复杂的自遮挡问题，并且在生成的面部细节上避免了几何失真。PSHuman通过跨尺度扩散模型联合建模全局全身形状和局部面部特征，实现了细节丰富且保持身份特征的新视角生成。此外，PSHuman还通过SMPL-X等参数化模型提供的身体先验，增强了不同人体姿态下的跨视图身体形状一致性。PSHuman的主要优点包括几何细节丰富、纹理保真度高以及泛化能力强。

基于大型语言模型的主动式代理，预测用户需求并主动提供帮助。

ProactiveAgent是一个基于大型语言模型（LLM）的主动式代理项目，旨在构建一个能够预测用户需求并主动提供帮助的智能代理。该项目通过数据收集和生成管道、自动评估器和训练代理来实现这一目标。ProactiveAgent的主要优点包括环境感知、协助标注、动态数据生成和构建管道，其奖励模型在测试集上达到了0.918的F1分数，显示出良好的性能。该产品背景信息显示，它适用于编程、写作和日常生活场景，并且遵循Apache License 2.0协议。

最先进的全开放语言模型

OLMo 2是由Ai2推出的最新全开放语言模型，包括7B和13B两种规模的模型，训练数据高达5T tokens。这些模型在性能上与同等规模的全开放模型相当或更优，并且在英语学术基准测试中与开放权重模型如Llama 3.1竞争。OLMo 2的开发注重模型训练的稳定性、阶段性训练干预、最先进的后训练方法和可操作的评估框架。这些技术的应用使得OLMo 2在多个任务上表现出色，特别是在知识回忆、常识、一般和数学推理方面。

视频生成模型Sora的存档库

SoraVids是一个基于Hugging Face平台的视频生成模型Sora的存档库。它包含了87个视频和83个对应的提示，这些视频和提示在OpenAI撤销API密钥前被公开展示。这些视频均为MIME类型video/mp4，帧率为30 FPS。SoraVids的背景是OpenAI的视频生成技术，它允许用户通过文本提示生成视频内容。这个存档库的重要性在于它保存了在API密钥被撤销前生成的视频，为研究和教育提供了宝贵的资源。

基于DiT的视频生成模型，实时生成高质量视频。

LTX-Video是由Lightricks开发的首个基于DiT的视频生成模型，能够实时生成高质量的视频内容。该模型以24 FPS的速度生成768x512分辨率的视频，速度超过观看速度。模型经过大规模多样化视频数据集的训练，能够生成高分辨率且内容真实多样的视频。LTX-Video支持文本到视频(text-to-video)以及图像+文本到视频(image+text-to-video)的应用场景。

数据标注平台，助力AI项目高效管理数据标注项目。

Data Annotation Platform是一个端到端的数据标注平台，允许用户上传计算机视觉数据，选择标注类型，并下载结果，无需任何最低承诺。该平台支持多种数据标注类型，包括矩形、多边形、3D立方体、关键点、语义分割、实例分割和泛视觉分割等，服务于AI项目经理、机器学习工程师、AI初创公司和研究团队，解决他们在数据标注过程中遇到的挑战。平台以其无缝执行、成本计算器、指令生成器、免费任务、API接入和团队访问等特点，为用户提供了一个简单、高效、成本效益高的数据标注解决方案。

AI-based decoder for quantum computing error correction

AlphaQubit是由Google DeepMind和Quantum AI团队共同开发的人工智能系统，它能够以最先进的准确性识别量子计算机中的错误。这项技术结合了机器学习和量子纠错的专业知识，旨在推动可靠量子计算机的构建，这对于解决复杂问题、实现科学突破和探索新领域具有重要意义。AlphaQubit的主要优点包括高准确性和对大规模量子计算的适用性。

Qwen Turbo 1M Demo是一个由Qwen提供的Hugging Face空间。

Qwen Turbo 1M Demo是一个基于Hugging Face平台的人工智能模型演示。这个模型代表了自然语言处理技术的最新进展，特别是在中文文本理解和生成方面。它的重要性在于能够提供高效、准确的语言模型，以支持各种语言相关的应用，如机器翻译、文本摘要、问答系统等。Qwen Turbo 1M Demo以其较小的模型尺寸和快速的处理速度而受到青睐，适合需要快速部署和高效运行的场合。目前，该模型是免费试用的，具体价格和定位可能需要进一步的商业洽谈。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

现代Python数据框库，专为人工智能设计。

DataChain是一个现代的Python数据框库，专为人工智能设计。它旨在将非结构化数据组织成数据集，并在本地机器上大规模处理数据。DataChain不抽象或隐藏AI模型和API调用，而是帮助将它们集成到后现代数据堆栈中。该产品以其高效性、易用性和强大的数据处理能力为主要优点，支持多种数据存储和处理方式，包括图像、视频、文本等多种数据类型，并且能够与PyTorch和TensorFlow等深度学习框架无缝对接。DataChain是开源的，遵循Apache-2.0许可协议，免费供用户使用。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

O1复制之旅：战略进展报告第一部分

O1-Journey是由上海交通大学GAIR研究组发起的一个项目，旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式，并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程，成为处理复杂推理任务的有效方法。

业界领先的开源大型混合专家模型

Tencent-Hunyuan-Large（混元大模型）是由腾讯推出的业界领先的开源大型混合专家（MoE）模型，拥有3890亿总参数和520亿激活参数。该模型在自然语言处理、计算机视觉和科学任务等领域取得了显著进展，特别是在处理长上下文输入和提升长上下文任务处理能力方面表现出色。混元大模型的开源，旨在激发更多研究者的创新灵感，共同推动AI技术的进步和应用。

多语言大型语言模型，支持23种语言

Aya Expanse 32B是由Cohere For AI开发的多语言大型语言模型，拥有32亿参数，专注于提供高性能的多语言支持。它结合了先进的数据仲裁、多语言偏好训练、安全调整和模型合并技术，以支持23种语言，包括阿拉伯语、中文（简体和繁体）、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、土耳其语、乌克兰语和越南语。该模型的发布旨在使社区基础的研究工作更加易于获取，通过发布高性能的多语言模型权重，供全球研究人员使用。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

利用简单视频输入生成富有表现力的角色表演

Act-One 是 Runway Research 推出的一款创新工具，它通过简单的视频输入生成富有表现力的角色表演。这款工具代表了使用生成模型进行表情丰富的真人动作和动画内容的重大进步。Act-One 的技术突破在于，它能够将演员的表演转化为适合动画流水线的3D模型，同时保留情感和细节。与传统的面部动画流程相比，Act-One 使用的流程完全由演员的表演驱动，无需额外设备。Act-One 的出现为创造性角色设计和动画开辟了新的可能性，它能够准确翻译表演到与原始源视频比例不同的角色上，并且能够在不同的摄像机角度下保持高保真度的面部动画。此外，Act-One 还承诺负责任的开发和部署，包括内容审核和安全预防措施。

用于双手操作的扩散基础模型

RDT-1B是一个参数量达到1B（目前最大）的模仿学习扩散变换器，预训练在超过1M（目前最大）的多机器人情节上。给定语言指令和多达三个视图的RGB图像，RDT可以预测接下来的64个机器人动作。RDT与几乎所有现代移动操作器兼容，包括单臂到双臂、关节到末端执行器、位置到速度，甚至包括轮式运动。该模型在6K+（最大的之一）自收集的双手情节上进行了微调，并部署在ALOHA双臂机器人上。它在灵巧性、零样本泛化能力和少样本学习方面达到了最先进的性能。

视频生成评估基准测试

Movie Gen Bench是由Facebook Research发布的视频生成评估基准测试，旨在为未来在视频生成领域的研究提供公平且易于比较的标准。该基准测试包括Movie Gen Video Bench和Movie Gen Audio Bench两个部分，分别针对视频内容生成和音频生成进行评估。Movie Gen Bench的发布，对于推动视频生成技术的发展和评估具有重要意义，它能够帮助研究人员和开发者更好地理解和改进视频生成模型的性能。

AI进阶学习路径的个人学习笔记库

ml-retreat 是一个关于人工智能进阶学习的个人学习笔记库。它包含了对机器学习基础的深入理解，以及对于更细微主题的必读/必看资源。这个项目的目标是学习Ilya Sutskever推荐的30篇必读研究论文、Distilled AI的博客、多个AI/ML的视频播放列表，以及深入理解/实现Transformers、LLMs和相关主题。

先进的通用机器人代理

GR-2是一个先进的通用机器人代理，专为多样化和可泛化的机器人操作而设计。它首先在大量互联网视频上进行预训练，以捕捉世界的动态。这种大规模预训练涉及3800万视频剪辑和超过500亿个标记，使GR-2能够在随后的策略学习中跨广泛范围的机器人任务和环境进行泛化。随后，GR-2针对视频生成和动作预测进行了微调，使用机器人轨迹。它展示了令人印象深刻的多任务学习能力，在100多个任务中平均成功率达到97.7%。此外，GR-2在新的、以前未见过的场景中表现出色，包括新的背景、环境、对象和任务。值得注意的是，GR-2随着模型大小的增加而高效扩展，突显了其持续增长和应用的潜力。

统一文本、音乐和动作生成模型

UniMuMo是一个多模态模型，能够将任意文本、音乐和动作数据作为输入条件，生成跨所有三种模态的输出。该模型通过将音乐、动作和文本转换为基于令牌的表示，通过统一的编码器-解码器转换器架构桥接这些模态。它通过微调现有的单模态预训练模型，显著降低了计算需求。UniMuMo在音乐、动作和文本模态的所有单向生成基准测试中都取得了有竞争力的结果。

最先进的图像生成模型

FLUX1.1 [pro] 是 Black Forest Labs 发布的最新图像生成模型，它在速度和图像质量上都有显著提升。该模型提供六倍于前代的速度，同时改善了图像质量、提示遵循度和多样性。FLUX1.1 [pro] 还提供了更高级的定制化选项，以及更优的性价比，适合需要高效、高质量图像生成的开发者和企业。

提供AI和机器学习课程

Udacity人工智能学院提供包括深度学习、计算机视觉、自然语言处理和AI产品管理在内的AI培训和机器学习课程。这些课程旨在帮助学生掌握人工智能领域的最新技术，为未来的职业生涯打下坚实的基础。