产品库

基于流匹配的音频驱动说话人像视频生成方法

FLOAT是一种音频驱动的人像视频生成方法，它基于流匹配生成模型，将生成建模从基于像素的潜在空间转移到学习到的运动潜在空间，实现了时间上一致的运动设计。该技术引入了基于变换器的向量场预测器，并具有简单而有效的逐帧条件机制。此外，FLOAT支持语音驱动的情感增强，能够自然地融入富有表现力的运动。广泛的实验表明，FLOAT在视觉质量、运动保真度和效率方面均优于现有的音频驱动说话人像方法。

基于扩散模型的音频驱动人像和动物图像动画技术

JoyVASA是一种基于扩散模型的音频驱动人像动画技术，它通过分离动态面部表情和静态3D面部表示来生成面部动态和头部运动。这项技术不仅能够提高视频质量和唇形同步的准确性，还能扩展到动物面部动画，支持多语言，并在训练和推理效率上有所提升。JoyVASA的主要优点包括更长视频生成能力、独立于角色身份的运动序列生成以及高质量的动画渲染。

高分辨率、长时音频驱动的人像图像动画技术

Hallo2是一种基于潜在扩散生成模型的人像图像动画技术，通过音频驱动生成高分辨率、长时的视频。它通过引入多项设计改进，扩展了Hallo的功能，包括生成长时视频、4K分辨率视频，并增加了通过文本提示增强表情控制的能力。Hallo2的主要优点包括高分辨率输出、长时间的稳定性以及通过文本提示增强的控制性，这使得它在生成丰富多样的肖像动画内容方面具有显著优势。

Loopy，仅凭音频驱动肖像头像，实现逼真动态。

Loopy是一个端到端的音频驱动视频扩散模型，专门设计了跨剪辑和内部剪辑的时间模块以及音频到潜在表示模块，使模型能够利用数据中的长期运动信息来学习自然运动模式，并提高音频与肖像运动的相关性。这种方法消除了现有方法中手动指定的空间运动模板的需求，实现了在各种场景下更逼真、高质量的结果。

端到端音频驱动的人体动画框架

CyberHost是一个端到端音频驱动的人体动画框架，通过区域码本注意力机制，实现了手部完整性、身份一致性和自然运动的生成。该模型利用双U-Net架构作为基础结构，并通过运动帧策略进行时间延续，为音频驱动的人体动画建立了基线。CyberHost通过一系列以人为先导的训练策略，包括身体运动图、手部清晰度评分、姿势对齐的参考特征和局部增强监督，提高了合成结果的质量。CyberHost是首个能够在人体范围内实现零样本视频生成的音频驱动人体扩散模型。

生成逼真动态人像视频的先进技术

EchoMimic是一个先进的人像图像动画模型，能够通过音频和选定的面部特征点单独或组合驱动生成逼真的肖像视频。它通过新颖的训练策略，解决了传统方法在音频驱动时可能的不稳定性以及面部关键点驱动可能导致的不自然结果。EchoMimic在多个公共数据集和自收集数据集上进行了全面比较，并在定量和定性评估中展现出了卓越的性能。

一款支持多语言的智能会议笔记助手，可自动转录、总结并支持多种工具集成。

Spellar是一款基于人工智能的会议笔记助手，支持100多种语言的语音转录和自动总结。它通过智能语音识别和自然语言处理技术，帮助用户在会议、讲座或任何需要记录的场景中高效捕捉关键信息。其主要优点包括无缝的多平台支持、高精度的语音识别和总结能力，以及强大的隐私保护功能。该产品定位为专业人士、学生和远程团队提供高效、便捷的会议记录解决方案，支持免费下载并提供多种付费订阅选项。

WebWalker是一个用于评估大型语言模型在网页遍历能力上的基准测试框架。

WebWalker是一个由阿里巴巴集团通义实验室开发的多智能体框架，用于评估大型语言模型（LLMs）在网页遍历任务中的表现。该框架通过模拟人类浏览网页的方式，通过探索和评估范式来系统地提取高质量数据。WebWalker的主要优点在于其创新的网页遍历能力，能够深入挖掘多层级信息，弥补了传统搜索引擎在处理复杂问题时的不足。该技术对于提升语言模型在开放域问答中的表现具有重要意义，尤其是在需要多步骤信息检索的场景中。WebWalker的开发旨在推动语言模型在信息检索领域的应用和发展。

PaSa 是一个由大语言模型驱动的先进学术论文搜索代理，能够自主决策并获取准确结果。

PaSa 是由字节跳动开发的一种先进学术论文搜索代理，基于大语言模型（LLM）技术，能够自主调用搜索工具、阅读论文并筛选相关参考文献，以获取复杂学术查询的全面准确结果。该技术通过强化学习优化，使用合成数据集 AutoScholarQuery 进行训练，并在真实世界查询数据集 RealScholarQuery 上表现出色，显著优于传统搜索引擎和基于 GPT 的方法。PaSa 的主要优势在于其高召回率和精准率，能够为研究人员提供更高效的学术搜索体验。

DeepSeek-R1 是一款高性能推理模型，支持多种语言和任务，适用于研究和商业应用。

DeepSeek-R1 是 DeepSeek 团队推出的第一代推理模型，通过大规模强化学习训练，无需监督微调即可展现出卓越的推理能力。该模型在数学、代码和推理任务上表现优异，与 OpenAI-o1 模型相当。DeepSeek-R1 还提供了多种蒸馏模型，适用于不同规模和性能需求的场景。其开源特性为研究社区提供了强大的工具，支持商业使用和二次开发。

构建世界上最好的真正开放的人工智能，让用户拥有数据和AI的未来。

NEAR AI致力于打造一个用户拥有数据和AI的未来。它通过开放标准和协议，让用户能够控制自己的数据，而不是被少数公司控制。NEAR AI的愿景是通过开放的模型和协议，让用户能够真正拥有和控制自己的AI，从而推动AI技术的民主化。它目前处于早期阶段，但已经展示了巨大的潜力和未来发展的可能性。

一个用于强化学习人类反馈训练过程可视化的工具，帮助深度理解与调试。

RLLoggingBoard 是一个专注于强化学习人类反馈（RLHF）训练过程可视化的工具。它通过细粒度的指标监控，帮助研究人员和开发者直观理解训练过程，快速定位问题，并优化训练效果。该工具支持多种可视化模块，包括奖励曲线、响应排序和 token 级别指标等，旨在辅助现有的训练框架，提升训练效率和效果。它适用于任何支持保存所需指标的训练框架，具有高度的灵活性和可扩展性。

一款基于人工智能技术的对联生成工具，可快速生成对仗工整的对联。

AI对联生成器是一款利用人工智能技术开发的在线工具，能够根据用户输入的主题或关键词，快速生成对仗工整、富有文化内涵的对联。该产品结合了自然语言处理和深度学习技术，通过对大量对联文本的学习和分析，掌握了对联的创作规律和特点，从而能够为用户提供高质量的对联创作服务。其主要优点是操作简单、生成速度快、对联质量高，能够满足用户在节日、庆典、装饰等多种场景下的对联需求。该产品由Timothy Yin开发，由DeepSeek提供技术支持，目前处于v0.1.4版本，是一款免费的在线工具，旨在为用户提供便捷的对联创作体验。

OmniThink 是一种通过模拟人类思考过程来提升机器写作知识密度的框架。

OmniThink 是一种创新的机器写作框架，旨在通过模拟人类的迭代扩展和反思过程，提升生成文章的知识密度。它通过知识密度指标衡量内容的独特性和深度，并通过信息树和概念池的结构化方式组织知识，从而生成高质量的长文本。该技术的核心优势在于能够有效减少冗余信息，提升内容的深度和新颖性，适用于需要高质量长文本生成的场景。

PPTAgent是一个自动从文档生成演示文稿的创新系统。

PPTAgent是一个自动从文档生成演示文稿的创新系统。它采用两步流程，首先分析参考演示文稿中的模式，然后开发结构化大纲并生成视觉上协调的幻灯片。此外，还引入了PPTEval综合评估框架，从多个维度评估演示文稿的质量。该系统无需手动标注即可利用现有演示文稿，通过动态内容生成、智能参考学习和全面质量评估等特色功能，为用户提供高效、高质量的演示文稿生成解决方案。目前，PPTAgent在GitHub上开源，遵循MIT许可证，用户可以免费使用。

Seaweed-APT是一种支持实时单步生成1280x720 24fps视频的模型。

Seaweed-APT是一种用于视频生成的模型，通过对抗性后训练技术，实现了大规模文本到视频的单步生成。该模型能够在短时间内生成高质量的视频，具有重要的技术意义和应用价值。其主要优点是速度快、生成效果好，适用于需要快速生成视频的场景。目前尚未明确具体的价格和市场定位。

大规模视频生成模型，可创建逼真视觉效果与自然连贯动作。

Luma Ray2 是一款先进的视频生成模型，基于 Luma 新的多模态架构训练，计算能力是 Ray1 的 10 倍。它能够理解文本指令，并可接受图像和视频输入，生成具有快速连贯动作、超逼真细节和逻辑事件序列的视频，使生成的视频更接近生产就绪状态。目前提供文本到视频的生成功能，图像到视频、视频到视频和编辑功能即将推出。产品主要面向需要高质量视频生成的用户，如视频创作者、广告公司等，目前仅对付费订阅用户开放，可通过官网链接尝试使用。

在 ChatGPT 中自动化工作流程，设置定时任务，提高工作效率。

ChatGPT 定时任务是 OpenAI 推出的一项新功能，允许用户设置特定时间触发的任务，如定期获取信息、练习语言等。它使用 GPT-4o 模型，适用于 Plus、Pro 和 Team 计划用户，目前处于 beta 阶段。主要优点是自动化执行任务，无论用户是否在线，都能按时完成并通知用户，提高工作和学习效率。

DeepSeek 是一款由杭州深度求索人工智能基础技术研究有限公司开发的智能 AI 助手 APP。

DeepSeek 是一款基于 DeepSeek-V3 模型的智能 AI 助手 APP，该模型拥有超过 6000 亿参数，在全球标准中处于领先地位，能够与顶级国际模型相媲美。它具备快速响应和全面功能，可高效解答用户问题，提升生活效率。该 APP 由杭州深度求索人工智能基础技术研究有限公司开发，目前在 App Store 生产力类别中排名第 25，拥有 4.9 的高评分和 27 条评价。产品免费提供给用户使用，旨在为用户提供无缝的交互体验。

一个实时适应未见任务的自适应大型语言模型框架。

SakanaAI/self-adaptive-llms是一个名为Transformer²的自适应框架，旨在解决传统微调方法计算密集且处理多样化任务能力静态的挑战。该框架能够在推理过程中通过两步机制实时调整大型语言模型（LLMs）以适应未见任务：首先，调度系统识别任务属性；然后，使用强化学习训练的任务特定'专家'向量被动态混合，以获得针对输入提示的目标行为。主要优点包括实时任务适应性、计算效率和灵活性。该项目由SakanaAI团队开发，目前在GitHub上开源，拥有195颗星和12次分叉。

MangaNinja 是一种基于参考的线稿上色方法，可实现精确匹配和细粒度交互控制。

MangaNinja 是一种参考引导的线稿上色方法，它通过独特的设计确保精确的人物细节转录，包括用于促进参考彩色图像和目标线稿之间对应学习的块洗牌模块，以及用于实现细粒度颜色匹配的点驱动控制方案。该模型在自收集的基准测试中表现出色，超越了当前解决方案的精确上色能力。此外，其交互式点控制在处理复杂情况（如极端姿势和阴影）、跨角色上色、多参考协调等方面展现出巨大潜力，这些是现有算法难以实现的。MangaNinja 由来自香港大学、香港科技大学、通义实验室和蚂蚁集团的研究人员共同开发，相关论文已发表在 arXiv 上，代码也已开源。

强大的语言模型，拥有4560亿总参数，可处理长达400万token的上下文。

MiniMax-01是一个具有4560亿总参数的强大语言模型，其中每个token激活459亿参数。它采用混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE），通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、varlen环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万tokens，在推理时可处理长达400万tokens的上下文。在多个学术基准测试中，MiniMax-01展现了顶级模型的性能。

AI Minecraft是融合人工智能与我的世界游戏的在线平台。

AI Minecraft是一个创新的在线游戏平台，将人工智能技术与经典游戏我的世界相结合。玩家可以在一个虚拟的方块世界中自由探索、建造和生存，而AI驱动的角色和元素能够直观地响应玩家的动作，使游戏体验更加互动和引人入胜。它提供了一个无需下载、即点即玩的环境，让玩家能够快速进入游戏，享受创造和冒险的乐趣。游戏采用免费游玩模式，部分额外功能可能需要付费解锁。

Lumina 是一款专为研究而设计的人工智能搜索引擎。

Lumina 作为一款人工智能搜索引擎，专注于为研究人员提供更精准、高效的信息检索服务。它利用先进的 AI 技术，能够深入理解用户的查询意图，并从海量的学术数据库中快速筛选出最相关的内容。与传统搜索引擎相比，Lumina 在学术研究领域的相关性高出 5 倍，极大地提高了研究人员的工作效率。该产品由 Y Combinator 孵化，拥有专业的开发团队和强大的技术支持，致力于为用户提供优质的搜索体验。目前，Lumina 提供免费试用，用户可以通过其官网进行注册使用。

MinMo是一款多模态大型语言模型，用于无缝语音交互。

MinMo是阿里巴巴集团通义实验室开发的一款多模态大型语言模型，拥有约80亿参数，专注于实现无缝语音交互。它通过多个阶段的训练，包括语音到文本对齐、文本到语音对齐、语音到语音对齐和全双工交互对齐，在140万小时的多样化语音数据和广泛的语音任务上进行训练。MinMo在语音理解和生成的各种基准测试中达到了最先进的性能，同时保持了文本大型语言模型的能力，并支持全双工对话，即用户和系统之间的同时双向通信。此外，MinMo还提出了一种新颖且简单的语音解码器，在语音生成方面超越了以往的模型。MinMo的指令遵循能力得到了增强，支持根据用户指令控制语音生成，包括情感、方言和语速等细节，并模仿特定的声音。MinMo的语音到文本延迟约为100毫秒，全双工延迟理论上约为600毫秒，实际约为800毫秒。MinMo的开发旨在克服以往对齐多模态模型的主要限制，为用户提供更自然、流畅和人性化的语音交互体验。

将Common Crawl转化为精细的长期预训练数据集

Nemotron-CC是一个基于Common Crawl的6.3万亿token的数据集。它通过分类器集成、合成数据改写和减少启发式过滤器的依赖，将英文Common Crawl转化为一个6.3万亿token的长期预训练数据集，包含4.4万亿全球去重的原始token和1.9万亿合成生成的token。该数据集在准确性和数据量之间取得了更好的平衡，对于训练大型语言模型具有重要意义。

全能AI工作空间，实时语音助手搭配多模态画布，助力高效创作与思考。

Albus AI是一个由人工智能驱动的平台，旨在为知识和创意专业人士提供高效的工作空间。通过实时语音助手和多模态画布，用户可以快速处理大量信息，激发新想法，节省宝贵的时间和注意力。该平台利用大型语言模型和机器学习服务，能够连接不同思想，避免用户在多个标签和应用之间来回切换。Albus AI的出现，为创意工作者、记者、研究人员等专业人士提供了强大的辅助工具，帮助他们更好地发挥人类智慧，为社会创造价值。目前，Albus AI提供有限的早期访问价格，订阅价格为9美元。

一种从2D图像学习3D人体生成的结构化潜在扩散模型。

StructLDM是一个结构化潜在扩散模型，用于从2D图像学习3D人体生成。它能够生成多样化的视角一致的人体，并支持不同级别的可控生成和编辑，如组合生成和局部服装编辑等。该模型在无需服装类型或掩码条件的情况下，实现了服装无关的生成和编辑。项目由南洋理工大学S-Lab的Tao Hu、Fangzhou Hong和Ziwei Liu提出，相关论文发表于ECCV 2024。

提供高质量中文语料资源，助力人工智能大模型预训练。

中文互联网语料资源平台是由中国网络空间安全协会主办的专业网站，旨在为人工智能大模型的预训练提供高质量、安全合规的中文语料资源。该平台汇聚了来自企业、高校和科研单位的协同优势，依托‘共建－共享’机制，形成了包括中文互联网基础语料2.0、人民网主流价值数据集、国家版本馆明清文献语料等多个高质量语料库。这些语料库经过严格的信源筛选、格式清洗、语言过滤、数据去重、内容过滤、隐私过滤等处理步骤，确保了数据的合法性、真实性、准确性和客观性。平台的资源对于推动国家人工智能技术创新和产业发展具有重要意义，可帮助大模型更好地理解和生成中文内容，提升其知识能力与价值观对齐。

展示小型语言模型通过自我演化深度思考掌握数学推理能力的研究成果。

rStar-Math是一项研究，旨在证明小型语言模型（SLMs）能够在不依赖于更高级模型的情况下，与OpenAI的o1模型相媲美甚至超越其数学推理能力。该研究通过蒙特卡洛树搜索（MCTS）实现“深度思考”，其中数学策略SLM在基于SLM的流程奖励模型的指导下进行测试时搜索。rStar-Math引入了三种创新方法来应对训练两个SLM的挑战，通过4轮自我演化和数百万个合成解决方案，将SLMs的数学推理能力提升到最先进水平。该模型在MATH基准测试中显著提高了性能，并在AIME竞赛中表现优异。