产品库

全能的创造者和编辑器，通过扩散变换遵循指令

ACE是一个基于扩散变换的全能创造者和编辑器，它能够通过统一的条件格式Long-context Condition Unit (LCU)输入，实现多种视觉生成任务的联合训练。ACE通过高效的数据收集方法解决了训练数据缺乏的问题，并通过多模态大型语言模型生成准确的文本指令。ACE在视觉生成领域具有显著的性能优势，可以轻松构建响应任何图像创建请求的聊天系统，避免了视觉代理通常采用的繁琐流程。

Inception Labs 推出新一代扩散式大语言模型，提供极速、高效和高质量的语言生成能力。

Inception Labs 是一家专注于开发扩散式大语言模型（dLLMs）的公司。其技术灵感来源于先进的图像和视频生成系统，如 Midjourney 和 Sora。通过扩散模型，Inception Labs 提供了比传统自回归模型快 5-10 倍的速度、更高的效率和更强的生成控制能力。其模型支持并行文本生成，能够纠正错误和幻觉，适合多模态任务，并且在推理和结构化数据生成方面表现出色。公司由斯坦福、UCLA 和康奈尔大学的研究人员和工程师组成，是扩散模型领域的先驱。

UniTok是一个用于视觉生成和理解的统一视觉分词器。

UniTok是一种创新的视觉分词技术，旨在弥合视觉生成和理解之间的差距。它通过多码本量化技术，显著提升了离散分词器的表示能力，使其能够捕捉到更丰富的视觉细节和语义信息。这一技术突破了传统分词器在训练过程中的瓶颈，为视觉生成和理解任务提供了一种高效且统一的解决方案。UniTok在图像生成和理解任务中表现出色，例如在ImageNet上实现了显著的零样本准确率提升。该技术的主要优点包括高效性、灵活性以及对多模态任务的强大支持，为视觉生成和理解领域带来了新的可能性。

基于孪生多模态扩散变换器的创意布局到图像生成技术

CreatiLayout是一种创新的布局到图像生成技术，利用孪生多模态扩散变换器（Siamese Multimodal Diffusion Transformer）来实现高质量和细粒度可控的图像生成。该技术能够精确渲染复杂的属性，如颜色、纹理、形状、数量和文本，适用于需要精确布局和图像生成的应用场景。其主要优点包括高效的布局引导集成、强大的图像生成能力和大规模数据集的支持。CreatiLayout由复旦大学和字节跳动公司联合开发，旨在推动图像生成技术在创意设计领域的应用。

定制化漫画生成模型，连接多模态LLMs和扩散模型。

DiffSensei是一个结合了多模态大型语言模型（LLMs）和扩散模型的定制化漫画生成模型。它能够根据用户提供的文本提示和角色图像，生成可控制的黑白漫画面板，并具有灵活的角色适应性。这项技术的重要性在于它将自然语言处理与图像生成相结合，为漫画创作和个性化内容生成提供了新的可能性。DiffSensei模型以其高质量的图像生成、多样化的应用场景以及对资源的高效利用而受到关注。目前，该模型在GitHub上公开，可以免费下载使用，但具体的使用可能需要一定的计算资源。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。

高性能的文本到图像生成模型

Stable Diffusion 3.5 Large 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，由 Stability AI 开发。该模型在图像质量、排版、复杂提示理解和资源效率方面都有显著提升。它使用三个固定的预训练文本编码器，并通过 QK 归一化技术提高训练稳定性。此外，该模型在训练数据和策略上使用了包括合成数据和过滤后的公开可用数据。Stable Diffusion 3.5 Large 模型在遵守社区许可协议的前提下，可以免费用于研究、非商业用途，以及年收入少于100万美元的组织或个人的商业用途。

加速视频扩散模型，生成速度提升 8.5 倍。

AccVideo 是一种新颖的高效蒸馏方法，通过合成数据集加速视频扩散模型的推理速度。该模型能够在生成视频时实现 8.5 倍的速度提升，同时保持相似的性能。它使用预训练的视频扩散模型生成多条有效去噪轨迹，从而优化了数据的使用和生成过程。AccVideo 特别适用于需要高效视频生成的场景，如电影制作、游戏开发等，适合研究人员和开发者使用。

Gemini 2.5 是谷歌最智能的 AI 模型，具备推理能力。

Gemini 2.5 是谷歌推出的最先进的 AI 模型，具备高效的推理能力和编码性能，能够处理复杂问题，并在多项基准测试中表现出色。该模型引入了新的思维能力，结合增强的基础模型和后期训练，支持更复杂的任务，旨在为开发者和企业提供强大的支持。Gemini 2.5 Pro 可在 Google AI Studio 和 Gemini 应用中使用，适合需要高级推理和编码能力的用户。

实现灵活且高保真度的图像生成，同时保持身份特征。

InfiniteYou（InfU）是一个基于扩散变换器的强大框架，旨在实现灵活的图像重构，并保持用户身份。它通过引入身份特征并采用多阶段训练策略，显著提升了图像生成的质量和美学，同时改善了文本与图像的对齐。该技术对提高图像生成的相似性和美观性具有重要意义，适用于各种图像生成任务。

增强文本与视觉任务处理能力的开源模型。

Mistral-Small-3.1-24B-Base-2503 是一款具有 240 亿参数的先进开源模型，支持多语言和长上下文处理，适用于文本与视觉任务。它是 Mistral Small 3.1 的基础模型，具有较强的多模态能力，适合企业需求。

Mistral OCR 是一款强大的文档理解 OCR 产品，能够以极高的准确性从 PDF 和图像中提取文本、图像、表格和方程式。

Mistral OCR 是由 Mistral AI 开发的先进光学字符识别 API，旨在以无与伦比的准确性提取和结构化文档内容。它能够处理包含文本、图像、表格和方程式的复杂文档，输出 Markdown 格式的结果，便于与 AI 系统和检索增强生成（RAG）系统集成。其高精度、高速度和多模态处理能力使其在大规模文档处理场景中表现出色，尤其适用于科研、法律、客服和历史文献保护等领域。Mistral OCR 的定价为每美元 1000 页标准使用量，批量处理可达每美元 2000 页，还提供企业自托管选项，满足特定隐私需求。

基于Gemini 2.0的机器人模型，将AI带入物理世界，具备视觉、语言和动作能力。

Gemini Robotics是Google DeepMind推出的一种先进的人工智能模型，专为机器人应用而设计。它基于Gemini 2.0架构，通过视觉、语言和动作（VLA）的融合，使机器人能够执行复杂的现实世界任务。该技术的重要性在于它推动了机器人从实验室走向日常生活和工业应用的进程，为未来智能机器人的发展奠定了基础。Gemini Robotics的主要优点包括强大的泛化能力、交互性和灵巧性，使其能够适应不同的任务和环境。目前，该技术处于研究和开发阶段，尚未明确具体的价格和市场定位。

R1-Omni 是一个结合强化学习的全模态情绪识别模型，专注于提升多模态情绪识别的可解释性。

R1-Omni 是一个创新的多模态情绪识别模型，通过强化学习提升模型的推理能力和泛化能力。该模型基于 HumanOmni-0.5B 开发，专注于情绪识别任务，能够通过视觉和音频模态信息进行情绪分析。其主要优点包括强大的推理能力、显著提升的情绪识别性能以及在分布外数据上的出色表现。该模型适用于需要多模态理解的场景，如情感分析、智能客服等领域，具有重要的研究和应用价值。

智元发布首个通用具身基座大模型GO-1，开创性提出ViLLA架构，推动具身智能发展。

智元通用具身基座大模型GO-1是智元推出的一款革命性的人工智能模型。该模型基于创新的Vision-Language-Latent-Action（ViLLA）架构，通过多模态大模型（VLM）和混合专家（MoE）系统，实现了从视觉和语言输入到机器人动作执行的高效转换。GO-1能够利用人类视频和真实机器人数据进行学习，具备强大的泛化能力，能够在极少数据甚至零样本下快速适应新任务和环境。其主要优点包括高效的学习能力、强大的泛化性能以及对多种机器人本体的适配性。该模型的推出标志着具身智能向通用化、开放化和智能化方向迈出了重要一步，有望在商业、工业和家庭等多个领域发挥重要作用。

OpenAI Agents SDK 是一个用于构建自主智能体的开发工具包，简化多智能体工作流的编排。

OpenAI Agents SDK 是一个用于构建自主智能体的开发工具包。它基于 OpenAI 的先进模型能力，如高级推理、多模态交互和新的安全技术，为开发者提供了一种简化的方式来构建、部署和扩展可靠的智能体应用。该工具包不仅支持单智能体和多智能体工作流的编排，还集成了可观测性工具，帮助开发者追踪和优化智能体的执行流程。其主要优点包括易于配置的 LLM 模型、智能的智能体交接机制、可配置的安全检查以及强大的调试和性能优化功能。该工具包适用于需要自动化复杂任务的企业和开发者，旨在通过智能体技术提升生产力和效率。

通过扩散模型实现单目视频的相机轨迹重定向。

TrajectoryCrafter 是一种先进的相机轨迹重定向工具，利用扩散模型技术，将单目视频中的相机运动重新设计，提升视频的表现力和视觉吸引力。该技术可广泛应用于影视制作和虚拟现实等领域，具备高效、便捷和创新的特点，旨在为用户提供更多创意自由和控制能力。

SmolVLM2 是一个专注于视频内容分析和生成的轻量化语言模型。

SmolVLM2 是一种轻量级的视频语言模型，旨在通过分析视频内容生成相关的文本描述或视频亮点。该模型具有高效性、低资源消耗的特点，适合在多种设备上运行，包括移动设备和桌面客户端。其主要优点是能够快速处理视频数据并生成高质量的文本输出，为视频内容创作、视频分析和教育等领域提供了强大的技术支持。该模型由 Hugging Face 团队开发，定位为高效、轻量化的视频处理工具，目前处于实验阶段，用户可以免费试用。

Aya Vision 是 Cohere 推出的多语言多模态视觉模型，旨在提升多语言场景下的视觉和文本理解能力。

Aya Vision 是 Cohere For AI 团队开发的先进视觉模型，专注于多语言多模态任务，支持 23 种语言。该模型通过创新的算法突破，如合成标注、多语言数据扩展和多模态模型融合，显著提升了视觉和文本任务的性能。其主要优点包括高效性（在计算资源有限的情况下仍能表现出色）和广泛的多语言支持。Aya Vision 的发布旨在推动多语言多模态研究的前沿发展，并为全球研究社区提供技术支持。

Project Starlight 是一款基于 AI 的视频增强工具，可将低分辨率和损坏的视频提升为高清质量。

Project Starlight 是 Topaz Labs 推出的一款 AI 视频增强模型，专为提升低分辨率和损坏视频的质量而设计。它采用了扩散模型技术，能够实现视频的超分辨率、降噪、去模糊和锐化等功能，同时保持时间一致性，确保视频帧之间的流畅过渡。该技术是视频增强领域的重大突破，为视频修复和提升带来了前所未有的高质量效果。目前，Project Starlight 提供免费试用，并计划在未来支持 4K 导出，主要面向需要高质量视频修复和增强的用户和企业。

EgoLife是一个长期、多模态、多视角的日常生活AI助手项目，旨在推进长期上下文理解研究。

EgoLife是一个面向长期、多模态、多视角日常生活的AI助手项目。该项目通过记录六名志愿者一周的共享生活体验，生成了约50小时的视频数据，涵盖日常活动、社交互动等场景。其多模态数据（包括视频、视线、IMU数据）和多视角摄像头系统为AI研究提供了丰富的上下文信息。此外，该项目提出了EgoRAG框架，用于解决长期上下文理解任务，推动了AI在复杂环境中的应用能力。

ViDoRAG 是一个结合视觉文档检索增强生成的动态迭代推理代理框架。

ViDoRAG 是阿里巴巴自然语言处理团队开发的一种新型多模态检索增强生成框架，专为处理视觉丰富文档的复杂推理任务设计。该框架通过动态迭代推理代理和高斯混合模型（GMM）驱动的多模态检索策略，显著提高了生成模型的鲁棒性和准确性。ViDoRAG 的主要优点包括高效处理视觉和文本信息、支持多跳推理以及可扩展性强。该框架适用于需要从大规模文档中检索和生成信息的场景，例如智能问答、文档分析和内容创作。其开源特性和灵活的模块化设计使其成为研究人员和开发者在多模态生成领域的重要工具。

Migician 是一个专注于多图像定位的多模态大语言模型，能够实现自由形式的多图像精确定位。

Migician 是清华大学自然语言处理实验室开发的一种多模态大语言模型，专注于多图像定位任务。该模型通过引入创新的训练框架和大规模数据集 MGrounding-630k，显著提升了多图像场景下的精确定位能力。它不仅超越了现有的多模态大语言模型，甚至在性能上超过了更大规模的 70B 模型。Migician 的主要优点在于其能够处理复杂的多图像任务，并提供自由形式的定位指令，使其在多图像理解领域具有重要的应用前景。该模型目前在 Hugging Face 上开源，供研究人员和开发者使用。

Mochii AI 是一款由尖端模型支持的个性化人工智能生态系统，助力人类与 AI 协作的未来。

Mochii AI 旨在通过自适应记忆、自定义个性和无缝多平台集成，推动人类与人工智能的协作。它支持多种高级 AI 模型，如 OpenAI、Claude、Gemini、DALL-E 和 Stable Diffusion，能够实现智能对话、内容创作、数据分析和图像生成等功能。产品提供免费层级，无需信用卡即可使用，适合希望提升工作效率和创造力的专业人士。

Mercury Coder 是一款基于扩散模型的高性能代码生成语言模型。

Mercury Coder 是 Inception Labs 推出的首款商用级扩散大语言模型（dLLM），专为代码生成优化。该模型采用扩散模型技术，通过‘粗到细’的生成方式，显著提升生成速度和质量。其速度比传统自回归语言模型快 5-10 倍，能够在 NVIDIA H100 硬件上达到每秒 1000 多个 token 的生成速度，同时保持高质量的代码生成能力。该技术的背景是当前自回归语言模型在生成速度和推理成本上的瓶颈，而 Mercury Coder 通过算法优化突破了这一限制，为企业级应用提供了更高效、低成本的解决方案。

用于多模态上下文中的检索增强生成的基准测试代码库。

M2RAG是一个用于多模态上下文中的检索增强生成的基准测试代码库。它通过多模态检索文档来回答问题，评估多模态大语言模型（MLLMs）在利用多模态上下文知识方面的能力。该模型在图像描述、多模态问答、事实验证和图像重排等任务上进行了评估，旨在提升模型在多模态上下文学习中的有效性。M2RAG为研究人员提供了一个标准化的测试平台，有助于推动多模态语言模型的发展。

TheoremExplainAgent 是一个用于生成多模态定理解释视频的智能系统。

TheoremExplainAgent 是一款基于人工智能的模型，专注于为数学和科学定理生成详细的多模态解释视频。它通过结合文本和视觉动画，帮助用户更深入地理解复杂概念。该产品利用 Manim 动画技术生成超过 5 分钟的长视频，填补了传统文本解释的不足，尤其在揭示推理错误方面表现出色。它主要面向教育领域，旨在提升学习者对 STEM 领域定理的理解能力，目前尚未明确其价格和商业化定位。

Gemini 2.0 Flash-Lite 是高效的语言模型，专为长文本处理和多种应用场景优化。

Gemini 2.0 Flash-Lite 是 Google 推出的高效语言模型，专为长文本处理和复杂任务优化。它在推理、多模态、数学和事实性基准测试中表现出色，具备简化的价格策略，使得百万级上下文窗口更加经济实惠。Gemini 2.0 Flash-Lite 已在 Google AI Studio 和 Vertex AI 中全面开放，适合企业级生产使用。

VideoGrain 是一种零样本方法，用于实现类别级、实例级和部件级的视频编辑。

VideoGrain 是一种基于扩散模型的视频编辑技术，通过调节时空注意力机制实现多粒度视频编辑。该技术解决了传统方法中语义对齐和特征耦合的问题，能够对视频内容进行精细控制。其主要优点包括零样本编辑能力、高效的文本到区域控制以及特征分离能力。该技术适用于需要对视频进行复杂编辑的场景，如影视后期、广告制作等，能够显著提升编辑效率和质量。

Phi-4-multimodal-instruct 是微软开发的轻量级多模态基础模型，支持文本、图像和音频输入。

Phi-4-multimodal-instruct 是微软开发的多模态基础模型，支持文本、图像和音频输入，生成文本输出。该模型基于Phi-3.5和Phi-4.0的研究和数据集构建，经过监督微调、直接偏好优化和人类反馈强化学习等过程，以提高指令遵循能力和安全性。它支持多种语言的文本、图像和音频输入，具有128K的上下文长度，适用于多种多模态任务，如语音识别、语音翻译、视觉问答等。该模型在多模态能力上取得了显著提升，尤其在语音和视觉任务上表现出色。它为开发者提供了强大的多模态处理能力，可用于构建各种多模态应用。