产品库

UniTok是一个用于视觉生成和理解的统一视觉分词器。

UniTok是一种创新的视觉分词技术，旨在弥合视觉生成和理解之间的差距。它通过多码本量化技术，显著提升了离散分词器的表示能力，使其能够捕捉到更丰富的视觉细节和语义信息。这一技术突破了传统分词器在训练过程中的瓶颈，为视觉生成和理解任务提供了一种高效且统一的解决方案。UniTok在图像生成和理解任务中表现出色，例如在ImageNet上实现了显著的零样本准确率提升。该技术的主要优点包括高效性、灵活性以及对多模态任务的强大支持，为视觉生成和理解领域带来了新的可能性。

统一多模态理解和生成的单一变换器

Show-o是一个用于多模态理解和生成的单一变换器模型，它能够处理图像字幕、视觉问答、文本到图像生成、文本引导的修复和扩展以及混合模态生成。该模型由新加坡国立大学的Show Lab和字节跳动共同开发，采用最新的深度学习技术，能够理解和生成多种模态的数据，是人工智能领域的一大突破。

HunyuanVideo-I2V 是腾讯推出的基于 HunyuanVideo 的图像到视频生成框架。

HunyuanVideo-I2V 是腾讯开源的图像到视频生成模型，基于 HunyuanVideo 架构开发。该模型通过图像潜在拼接技术，将参考图像信息有效整合到视频生成过程中，支持高分辨率视频生成，并提供可定制的 LoRA 效果训练功能。该技术在视频创作领域具有重要意义，能够帮助创作者快速生成高质量的视频内容，提升创作效率。

ZeroBench 是一个针对当代大型多模态模型的高难度视觉基准测试。

ZeroBench 是一个专为评估大型多模态模型（LMMs）视觉理解能力而设计的基准测试。它通过 100 个精心设计且经过严格审查的复杂问题，以及 334 个子问题，挑战当前模型的极限。该基准测试旨在填补现有视觉基准的不足，提供更具挑战性和高质量的评估工具。ZeroBench 的主要优点是其高难度、轻量级、多样化和高质量的特点，使其能够有效区分模型的性能。此外，它还提供了详细的子问题评估，帮助研究人员更好地理解模型的推理能力。

MatAnyone 是一个支持目标指定的稳定视频抠像框架，适用于复杂背景。

MatAnyone 是一种先进的视频抠像技术，专注于通过一致的记忆传播实现稳定的视频抠像。它通过区域自适应记忆融合模块，结合目标指定的分割图，能够在复杂背景中保持语义稳定性和细节完整性。该技术的重要性在于它能够为视频编辑、特效制作和内容创作提供高质量的抠像解决方案，尤其适用于需要精确抠像的场景。MatAnyone 的主要优点是其在核心区域的语义稳定性和边界细节的精细处理能力。它由南洋理工大学和商汤科技的研究团队开发，旨在解决传统抠像方法在复杂背景下的不足。

Janus-Pro-7B 是一个新型的自回归框架，统一多模态理解和生成。

Janus-Pro-7B 是一个强大的多模态模型，能够同时处理文本和图像数据。它通过分离视觉编码路径，解决了传统模型在理解和生成任务中的冲突，提高了模型的灵活性和性能。该模型基于 DeepSeek-LLM 架构，使用 SigLIP-L 作为视觉编码器，支持 384x384 的图像输入，并在多模态任务中表现出色。其主要优点包括高效性、灵活性和强大的多模态处理能力。该模型适用于需要多模态交互的场景，例如图像生成和文本理解。

一种新颖的图像到视频采样技术，基于Hunyuan模型实现高质量视频生成。

leapfusion-hunyuan-image2video 是一种基于 Hunyuan 模型的图像到视频生成技术。它通过先进的深度学习算法，将静态图像转换为动态视频，为内容创作者提供了一种全新的创作方式。该技术的主要优点包括高效的内容生成、灵活的定制化能力以及对高质量视频输出的支持。它适用于需要快速生成视频内容的场景，如广告制作、视频特效等领域。该模型目前以开源形式发布，供开发者和研究人员免费使用，未来有望通过社区贡献进一步提升其性能。

MangaNinja 是一种基于参考的线稿上色方法，可实现精确匹配和细粒度交互控制。

MangaNinja 是一种参考引导的线稿上色方法，它通过独特的设计确保精确的人物细节转录，包括用于促进参考彩色图像和目标线稿之间对应学习的块洗牌模块，以及用于实现细粒度颜色匹配的点驱动控制方案。该模型在自收集的基准测试中表现出色，超越了当前解决方案的精确上色能力。此外，其交互式点控制在处理复杂情况（如极端姿势和阴影）、跨角色上色、多参考协调等方面展现出巨大潜力，这些是现有算法难以实现的。MangaNinja 由来自香港大学、香港科技大学、通义实验室和蚂蚁集团的研究人员共同开发，相关论文已发表在 arXiv 上，代码也已开源。

SVFR是一个用于视频人脸修复的统一框架。

SVFR（Stable Video Face Restoration）是一个用于广义视频人脸修复的统一框架。它整合了视频人脸修复（BFR）、着色和修复任务，通过利用Stable Video Diffusion（SVD）的生成和运动先验，并结合统一的人脸修复框架中的任务特定信息，有效结合了这些任务的互补优势，增强了时间连贯性并实现了卓越的修复质量。该框架引入了可学习的任务嵌入以增强任务识别，并采用新颖的统一潜在正则化（ULR）来鼓励不同子任务之间的共享特征表示学习。此外，还引入了面部先验学习和自引用细化作为辅助策略，以进一步提高修复质量和时间稳定性。SVFR在视频人脸修复领域取得了最先进的成果，并为广义视频人脸修复建立了新的范式。

多模态大型模型，处理文本、图像和视频数据

Valley是由字节跳动开发的尖端多模态大型模型，能够处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，比其他开源模型表现更优。在OpenCompass测试中，与同规模模型相比，平均得分大于等于67.40，在小于10B模型中排名第二。Valley-Eagle版本参考了Eagle，引入了一个可以灵活调整令牌数量并与原始视觉令牌并行的视觉编码器，增强了模型在极端场景下的性能。

端侧全模态理解模型，软硬协同释放无穹端侧智能

Infini-Megrez是一个由无问芯穹研发的端侧全模态理解模型，它基于Megrez-3B-Instruct扩展，具备图片、文本、音频三种模态数据的理解分析能力，并在图像理解、语言理解和语音理解三个方面均取得最优精度。该模型通过软硬协同优化，确保了各结构参数与主流硬件高度适配，推理速度领先同精度模型最大300%。它简单易用，采用最原始的LLaMA结构，开发者无需任何修改便可将模型部署于各种平台，最小化二次开发复杂度。此外，Infini-Megrez还提供了完整的WebSearch方案，使模型可以自动决策搜索调用时机，在搜索和对话中自动切换，并提供更好的总结效果。

多模态视觉任务的高效转换模型

LLaVA-OneVision是一款由字节跳动公司与多所大学合作开发的多模态大型模型（LMMs），它在单图像、多图像和视频场景中推动了开放大型多模态模型的性能边界。该模型的设计允许在不同模态/场景之间进行强大的迁移学习，展现出新的综合能力，特别是在视频理解和跨场景能力方面，通过图像到视频的任务转换进行了演示。

一万亿Token和34亿张图像的多模态数据集

MINT-1T是由Salesforce AI开源的多模态数据集，包含一万亿个文本标记和34亿张图像，规模是现有开源数据集的10倍。它不仅包含HTML文档，还包括PDF文档和ArXiv论文，丰富了数据集的多样性。MINT-1T的数据集构建涉及多种来源的数据收集、处理和过滤步骤，确保了数据的高质量和多样性。

通过对比对齐进行 Pure 和 Lightning ID 定制

PuLID 是一个专注于人脸身份定制的深度学习模型，通过对比对齐技术实现高保真度的人脸身份编辑。该模型能够减少对原始模型行为的干扰，同时提供多种应用，如风格变化、IP融合、配饰修改等。

实时一步潜在扩散模型,可用图像条件控制生成

SDXS是一种新的扩散模型,通过模型微型化和减少采样步骤,大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构,并引入了一种创新的单步DM训练技术,使用特征匹配和分数蒸馆。SDXS-512和SDXS-1024模型可在单个GPU上分别实现约100 FPS和30 FPS的推理速度,比之前模型快30至60倍。此外,该训练方法在图像条件控制方面也有潜在应用,可实现高效的图像到图像翻译。

快速智能去背景

RMBG是一个基于人工智能的图像背景去除工具,可以在几秒内自动去掉图片中的背景。该工具使用前沿的深度学习算法,无需任何人工操作就可以快速高效地实现图片背景的消除。RMBG完全免费,用户可以随意上传图片进行处理,非常方便。

多模态视觉语言模型

MouSi是一种多模态视觉语言模型，旨在解决当前大型视觉语言模型（VLMs）面临的挑战。它采用集成专家技术，将个体视觉编码器的能力进行协同，包括图像文本匹配、OCR、图像分割等。该模型引入融合网络来统一处理来自不同视觉专家的输出，并在图像编码器和预训练LLMs之间弥合差距。此外，MouSi还探索了不同的位置编码方案，以有效解决位置编码浪费和长度限制的问题。实验结果表明，具有多个专家的VLMs表现出比孤立的视觉编码器更出色的性能，并随着整合更多专家而获得显著的性能提升。

Migician 是一个专注于多图像定位的多模态大语言模型，能够实现自由形式的多图像精确定位。

Migician 是清华大学自然语言处理实验室开发的一种多模态大语言模型，专注于多图像定位任务。该模型通过引入创新的训练框架和大规模数据集 MGrounding-630k，显著提升了多图像场景下的精确定位能力。它不仅超越了现有的多模态大语言模型，甚至在性能上超过了更大规模的 70B 模型。Migician 的主要优点在于其能够处理复杂的多图像任务，并提供自由形式的定位指令，使其在多图像理解领域具有重要的应用前景。该模型目前在 Hugging Face 上开源，供研究人员和开发者使用。

Mochii AI 是一款由尖端模型支持的个性化人工智能生态系统，助力人类与 AI 协作的未来。

Mochii AI 旨在通过自适应记忆、自定义个性和无缝多平台集成，推动人类与人工智能的协作。它支持多种高级 AI 模型，如 OpenAI、Claude、Gemini、DALL-E 和 Stable Diffusion，能够实现智能对话、内容创作、数据分析和图像生成等功能。产品提供免费层级，无需信用卡即可使用，适合希望提升工作效率和创造力的专业人士。

TheoremExplainAgent 是一个用于生成多模态定理解释视频的智能系统。

TheoremExplainAgent 是一款基于人工智能的模型，专注于为数学和科学定理生成详细的多模态解释视频。它通过结合文本和视觉动画，帮助用户更深入地理解复杂概念。该产品利用 Manim 动画技术生成超过 5 分钟的长视频，填补了传统文本解释的不足，尤其在揭示推理错误方面表现出色。它主要面向教育领域，旨在提升学习者对 STEM 领域定理的理解能力，目前尚未明确其价格和商业化定位。

QwQ-Max-Preview 是 Qwen 系列的最新成果，基于 Qwen2.5-Max 构建，具备强大的推理和多领域应用能力。

QwQ-Max-Preview 是 Qwen 系列的最新成果，基于 Qwen2.5-Max 构建。它在数学、编程以及通用任务中展现了更强的能力，同时在与 Agent 相关的工作流中也有不错的表现。作为即将发布的 QwQ-Max 的预览版，这个版本还在持续优化中。其主要优点包括深度推理、数学、编程和 Agent 任务的强大能力。未来计划以 Apache 2.0 许可协议开源发布 QwQ-Max 以及 Qwen2.5-Max，旨在推动跨领域应用的创新。

Claude 3.7 Sonnet 是 Anthropic 推出的最新智能模型，支持快速响应和深度推理。

Claude 3.7 Sonnet 是 Anthropic 推出的最新混合推理模型，能够实现快速响应和深度推理的无缝切换。它在编程、前端开发等领域表现出色，并通过 API 提供对推理深度的精细控制。该模型不仅提升了代码生成和调试能力，还优化了对复杂任务的处理，适用于企业级应用。其定价与前代产品一致，输入每百万 token 收费 3 美元，输出每百万 token 收费 15 美元。

VisionAgent是一个用于生成代码以解决视觉任务的库，支持多种LLM提供商。

VisionAgent是一个强大的工具，它利用人工智能和大语言模型（LLM）来生成代码，帮助用户快速解决视觉任务。该工具的主要优点是能够自动将复杂的视觉任务转化为可执行的代码，极大地提高了开发效率。VisionAgent支持多种LLM提供商，用户可以根据自己的需求选择不同的模型。它适用于需要快速开发视觉应用的开发者和企业，能够帮助他们在短时间内实现功能强大的视觉解决方案。VisionAgent目前是免费的，旨在为用户提供高效、便捷的视觉任务处理能力。

Huginn-0125是一个35亿参数的潜变量循环深度模型，擅长推理和代码生成。

Huginn-0125是一个由马里兰大学帕克分校Tom Goldstein实验室开发的潜变量循环深度模型。该模型拥有35亿参数，经过8000亿个token的训练，在推理和代码生成方面表现出色。其核心特点是通过循环深度结构在测试时动态调整计算量，能够根据任务需求灵活增加或减少计算步骤，从而在保持性能的同时优化资源利用。该模型基于开源的Hugging Face平台发布，支持社区共享和协作，用户可以自由下载、使用和进一步开发。其开源性和灵活的架构使其成为研究和开发中的重要工具，尤其是在资源受限或需要高性能推理的场景中。

Lumina-Video 是一个用于视频生成的初步尝试项目，支持文本到视频的生成。

Lumina-Video 是 Alpha-VLLM 团队开发的一个视频生成模型，主要用于从文本生成高质量的视频内容。该模型基于深度学习技术，能够根据用户输入的文本提示生成对应的视频，具有高效性和灵活性。它在视频生成领域具有重要意义，为内容创作者提供了强大的工具，能够快速生成视频素材。目前该项目已开源，支持多种分辨率和帧率的视频生成，并提供了详细的安装和使用指南。

VideoRAG 是一个用于处理极长上下文视频的检索增强型生成框架。

VideoRAG 是一种创新的检索增强型生成框架，专门用于理解和处理极长上下文视频。它通过结合图驱动的文本知识锚定和层次化多模态上下文编码，实现了对无限制长度视频的理解。该框架能够动态构建知识图谱，保持多视频上下文的语义连贯性，并通过自适应多模态融合机制优化检索效率。VideoRAG 的主要优点包括高效的极长上下文视频处理能力、结构化的视频知识索引以及多模态检索能力，使其能够为复杂查询提供全面的回答。该框架在长视频理解领域具有重要的技术价值和应用前景。

强大的视频替换与编辑软件，利用AI技术实现自然效果。

VisoMaster是一款专注于视频替换和编辑的桌面客户端软件。它利用先进的AI技术，能够在图像和视频中实现高质量的替换，效果自然逼真。该软件操作简单，支持多种输入输出格式，并通过GPU加速提高处理效率。VisoMaster的主要优点是易于使用、高效处理以及高度定制化，适合视频创作者、影视后期制作人员以及对视频编辑有需求的普通用户。软件目前免费提供给用户，旨在帮助用户快速生成高质量的视频内容。

VideoJAM 是一种用于增强视频生成模型运动连贯性的框架。

VideoJAM 是一种创新的视频生成框架，旨在通过联合外观 - 运动表示来提升视频生成模型的运动连贯性和视觉质量。该技术通过引入内指导机制（Inner-Guidance），利用模型自身预测的运动信号动态引导视频生成，从而在生成复杂运动类型时表现出色。VideoJAM 的主要优点是能够显著提高视频生成的连贯性，同时保持高质量的视觉效果，且无需对训练数据或模型架构进行大规模修改，即可应用于任何视频生成模型。该技术在视频生成领域具有重要的应用前景，尤其是在需要高度运动连贯性的场景中。

OmniHuman-1 是一种基于单张人像和运动信号生成人类视频的多模态框架。

OmniHuman-1 是一个端到端的多模态条件人类视频生成框架，能够基于单张人像和运动信号（如音频、视频或其组合）生成人类视频。该技术通过混合训练策略克服了高质量数据稀缺的问题，支持任意宽高比的图像输入，生成逼真的人类视频。它在弱信号输入（尤其是音频）方面表现出色，适用于多种场景，如虚拟主播、视频制作等。

LLMs 无需任何培训就能看见和听见

MILS是一个由Facebook Research发布的开源项目，旨在展示大型语言模型（LLMs）在未经过任何训练的情况下，能够处理视觉和听觉任务的能力。该技术通过利用预训练的模型和优化算法，实现了对图像、音频和视频的自动描述生成。这一技术突破为多模态人工智能的发展提供了新的思路，展示了LLMs在跨模态任务中的潜力。该模型主要面向研究人员和开发者，为他们提供了一个强大的工具来探索多模态应用。目前该项目是免费开源的，旨在推动学术研究和技术发展。