产品库

基于扩散反转的多步图像超分辨率模型

InvSR是一种基于扩散反转的图像超分辨率技术，利用大型预训练扩散模型中丰富的图像先验来提高超分辨率性能。该技术通过部分噪声预测策略构建扩散模型的中间状态，作为起始采样点，并使用深度噪声预测器估计最优噪声图，从而在前向扩散过程中初始化采样，生成高分辨率结果。InvSR支持任意数量的采样步骤，从一到五步不等，即使仅使用单步采样，也展现出优于或媲美现有最先进方法的性能。

高效训练高质量文本到图像扩散模型

ml-mdm是一个Python包，用于高效训练高质量的文本到图像扩散模型。该模型利用Matryoshka扩散模型技术，能够在1024x1024像素的分辨率上训练单一像素空间模型，展现出强大的零样本泛化能力。

大规模参数扩散变换器模型

DiT-MoE是一个使用PyTorch实现的扩散变换器模型，能够扩展到160亿参数，与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术，具有重要的研究和应用价值。

OMG是一个基于深度学习的图像超分辨率工具

OMG（Once More Generalization）是一个开源的图像超分辨率工具，它利用深度学习技术来提高图像的分辨率。该项目旨在通过AI模型增强图像质量，使其在放大后仍然保持清晰和细腻。

一款具有671B参数的Mixture-of-Experts语言模型。

DeepSeek-V3是一个强大的Mixture-of-Experts (MoE) 语言模型，拥有671B的总参数量，每次激活37B参数。它采用了Multi-head Latent Attention (MLA) 和 DeepSeekMoE架构，这些架构在DeepSeek-V2中得到了充分的验证。此外，DeepSeek-V3首次采用了无辅助损失的负载均衡策略，并设置了多令牌预测训练目标，以实现更强大的性能。DeepSeek-V3在14.8万亿高质量令牌上进行了预训练，随后进行了监督式微调和强化学习阶段，以充分利用其能力。综合评估显示，DeepSeek-V3超越了其他开源模型，并达到了与领先的闭源模型相当的性能。尽管性能出色，DeepSeek-V3的完整训练仅需要2.788M H800 GPU小时，并且训练过程非常稳定。

深度推理翻译模型，通过长思考链优化神经机器翻译。

DRT-o1是一个神经机器翻译模型，它通过长思考链的方式优化翻译过程。该模型通过挖掘含有比喻或隐喻的英文句子，并采用多代理框架（包括翻译者、顾问和评估者）来合成长思考的机器翻译样本。DRT-o1-7B和DRT-o1-14B是基于Qwen2.5-7B-Instruct和Qwen2.5-14B-Instruct训练的大型语言模型。DRT-o1的主要优点在于其能够处理复杂的语言结构和深层次的语义理解，这对于提高机器翻译的准确性和自然性至关重要。

图像序列着色模型，保留细粒度身份信息

ColorFlow是一个为图像序列着色而设计的模型，特别注重在着色过程中保留角色和对象的身份信息。该模型利用上下文信息，能够根据参考图像池为黑白图像序列中的不同元素（如角色的头发和服装）准确生成颜色，并确保与参考图像的颜色一致性。ColorFlow通过三个阶段的扩散模型框架，提出了一种新颖的检索增强着色流程，无需每个身份的微调或显式身份嵌入提取，即可实现具有相关颜色参考的图像着色。ColorFlow的主要优点包括其在保留身份信息的同时，还能提供高质量的着色效果，这对于卡通或漫画系列的着色具有重要的市场价值。

图生视频大模型，专为动漫和游戏场景设计

Ruyi是图森未来发布的图生视频大模型，专为在消费级显卡上运行而设计，并提供详尽的部署说明和ComfyUI工作流，以便用户能够快速上手。Ruyi凭借在帧间一致性、动作流畅性方面的卓越表现，以及和谐自然的色彩呈现和构图，将为视觉叙事提供全新的可能性。同时，该模型还针对动漫和游戏场景进行深度学习，将成为ACG爱好者理想的创意伙伴。

可控人物图像生成模型

Leffa是一个用于可控人物图像生成的统一框架，它能够精确控制人物的外观（例如虚拟试穿）和姿态（例如姿态转移）。该模型通过在训练期间引导目标查询关注参考图像中的相应区域，减少细节扭曲，同时保持高图像质量。Leffa的主要优点包括模型无关性，可以用于提升其他扩散模型的性能。

端侧全模态理解模型，软硬协同释放无穹端侧智能

Infini-Megrez是一个由无问芯穹研发的端侧全模态理解模型，它基于Megrez-3B-Instruct扩展，具备图片、文本、音频三种模态数据的理解分析能力，并在图像理解、语言理解和语音理解三个方面均取得最优精度。该模型通过软硬协同优化，确保了各结构参数与主流硬件高度适配，推理速度领先同精度模型最大300%。它简单易用，采用最原始的LLaMA结构，开发者无需任何修改便可将模型部署于各种平台，最小化二次开发复杂度。此外，Infini-Megrez还提供了完整的WebSearch方案，使模型可以自动决策搜索调用时机，在搜索和对话中自动切换，并提供更好的总结效果。

用于识别数学推理过程中的错误

ProcessBench是一个专注于数学推理错误的识别工具。它通过分析数学问题的解决步骤来识别过程中的错误，这对于教育领域尤其是数学教育具有重要意义。该工具可以帮助学生和教师识别和纠正数学解题过程中的错误，提高解题的准确性和效率。ProcessBench基于深度学习技术，能够处理大量的数学问题数据，为数学教育提供技术支持。

快速因果视频生成器，实现即时视频生成。

CausVid是一个先进的视频生成模型，它通过将预训练的双向扩散变换器适配为因果变换器，实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟，使得视频生成能够以交互式帧率（9.4FPS）在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成，以及零样本图像到视频的生成，展现了视频生成技术的新高度。

基于扩散模型的图像和视频生成工具

HelloMeme是一个集成了空间编织注意力（Spatial Knitting Attentions）的扩散模型，用于嵌入高级别和细节丰富的条件。该模型支持图像和视频的生成，具有改善生成视频与驱动视频之间表情一致性、减少VRAM使用、优化算法等优点。HelloMeme由HelloVision团队开发，属于HelloGroup Inc.，是一个前沿的图像和视频生成技术，具有重要的商业和教育价值。

高质量身份保留的人像动画合成工具。

StableAnimator是首个端到端身份保留的视频扩散框架，能够在不进行后处理的情况下合成高质量视频。该技术通过参考图像和一系列姿势进行条件合成，确保了身份一致性。其主要优点在于无需依赖第三方工具，适合需要高质量人像动画的用户。

AI驱动的纹身设计生成器，快速创建个性化纹身设计。

Tattooer是一个利用人工智能技术，为用户提供个性化纹身设计的在线平台。用户可以通过自然语言描述他们想要的纹身，选择风格，然后AI会生成多个设计草图供用户选择和调整，直到满意为止。该产品的主要优点包括无需设计技能、即时生成、多种风格选择和高分辨率输出。它代表了纹身设计领域的技术革新，通过深度学习算法和艺术专业知识的结合，使得纹身设计过程更加高效和个性化。Tattooer的定价灵活，提供基础和专业两种计划，以满足不同用户的需求。

一款AI视觉语言模型，提供图像分析和描述服务。

InternVL是一个AI视觉语言模型，专注于图像分析和描述。它通过深度学习技术，能够理解和解释图像内容，为用户提供准确的图像描述和分析结果。InternVL的主要优点包括高准确性、快速响应和易于集成。该技术背景基于最新的人工智能研究，致力于提高图像识别的效率和准确性。目前，InternVL提供免费试用，具体价格和定位需要根据用户需求定制。

基于深度强化学习的模型微调框架

ReFT是一个开源的研究项目，旨在通过深度强化学习技术对大型语言模型进行微调，以提高其在特定任务上的表现。该项目提供了详细的代码和数据，以便研究人员和开发者能够复现论文中的结果。ReFT的主要优点包括能够利用强化学习自动调整模型参数，以及通过微调提高模型在特定任务上的性能。产品背景信息显示，ReFT基于Codellama和Galactica模型，遵循Apache2.0许可证。

视觉语言模型增强工具，结合生成式视觉编码器和深度广度融合技术。

Florence-VL是一个视觉语言模型，通过引入生成式视觉编码器和深度广度融合技术，增强了模型对视觉和语言信息的处理能力。该技术的重要性在于其能够提升机器对图像和文本的理解，进而在多模态任务中取得更好的效果。Florence-VL基于LLaVA项目进行开发，提供了预训练和微调的代码、模型检查点和演示。

利用扩散模型为黑白图片上色

Color-diffusion是一个基于扩散模型的图像着色项目，它使用LAB颜色空间对黑白图片进行上色。该项目的主要优点在于能够利用已有的灰度信息（L通道），通过训练模型来预测颜色信息（A和B通道）。这种技术在图像处理领域具有重要意义，尤其是在老照片修复和艺术创作中。Color-diffusion作为一个开源项目，其背景信息显示，它是作者为了满足好奇心和体验从头开始训练扩散模型而快速构建的。项目目前是免费的，并且有很大的改进空间。

从单张图片创建全身动态说话头像

One Shot, One Talk 是一种基于深度学习的图像生成技术，它能够从单张图片中重建出具有个性化细节的全身动态说话头像，并支持逼真的动画效果，包括生动的身体动作和自然的表情变化。这项技术的重要性在于它极大地降低了创建逼真、可动的虚拟形象的门槛，使得用户可以仅通过一张图片就能生成具有高度个性化和表现力的虚拟形象。产品背景信息显示，该技术由来自中国科学技术大学和香港理工大学的研究团队开发，结合了最新的图像到视频扩散模型和3DGS-mesh混合头像表示，通过关键的正则化技术来减少由不完美标签引起的不一致性。

PaliGemma 2是功能强大的视觉语言模型，简单易调优。

PaliGemma 2是Gemma家族中的第二代视觉语言模型，它在性能上进行了扩展，增加了视觉能力，使得模型能够看到、理解和与视觉输入交互，开启了新的可能性。PaliGemma 2基于高性能的Gemma 2模型构建，提供了多种模型尺寸（3B、10B、28B参数）和分辨率（224px、448px、896px）以优化任何任务的性能。此外，PaliGemma 2在化学公式识别、乐谱识别、空间推理和胸部X光报告生成等方面展现出领先的性能。PaliGemma 2旨在为现有PaliGemma用户提供便捷的升级路径，作为即插即用的替代品，大多数任务无需大幅修改代码即可获得性能提升。

深度学习天气预测模型

GraphCast是由Google DeepMind开发的深度学习模型，专注于全球中期天气预报。该模型通过先进的机器学习技术，能够预测天气变化，提高预报的准确性和速度。GraphCast模型在科学研究中发挥重要作用，有助于更好地理解和预测天气模式，对气象学、农业、航空等多个领域具有重要价值。

大规模基础世界模型，生成多样的3D可操作环境

Genie 2是由Google DeepMind开发的一款大规模基础世界模型，能够基于单一提示图像生成无尽的、可操作的、可玩的3D环境，用于训练和评估具身智能体。Genie 2代表了深度学习和人工智能领域的一大进步，它通过模拟虚拟世界及其行动后果，展示了在大规模生成模型中的多种紧急能力，如物体交互、复杂角色动画、物理模拟等。Genie 2的研究推动了新的创意工作流程，用于原型化交互体验，并为未来更通用的AI系统和智能体的研究提供了新的可能性。

提升户外虚拟试穿效果的模型训练代码库

BooW-VTON是一个专注于提升户外虚拟试穿效果的研究项目，通过无需掩码的伪数据训练来增强虚拟试穿技术。该技术的重要性在于它能够改善在自然环境下服装试穿的真实感和准确性，对于时尚电商和虚拟现实领域具有重要意义。产品背景信息显示，该项目是基于深度学习技术的图像生成模型，旨在解决传统虚拟试穿中服装与人体融合不自然的问题。目前该项目是免费开源的，定位于研究和开发阶段。

基于扩散模型的2D视频生成系统，实现人-物交互动画。

AnchorCrafter是一个创新的扩散模型系统，旨在生成包含目标人物和定制化对象的2D视频，通过人-物交互（HOI）的集成，实现高视觉保真度和可控交互。该系统通过HOI-外观感知增强从任意多视角识别对象外观的能力，并分离人和物的外观；HOI-运动注入则通过克服对象轨迹条件和相互遮挡管理的挑战，实现复杂的人-物交互。此外，HOI区域重新加权损失作为训练目标，增强了对对象细节的学习。该技术在保持对象外观和形状意识的同时，也维持了人物外观和运动的一致性，对于在线商务、广告和消费者参与等领域具有重要意义。

基于文本生成姿态并进一步生成图像的模型

text-to-pose是一个研究项目，旨在通过文本描述生成人物姿态，并利用这些姿态生成图像。该技术结合了自然语言处理和计算机视觉，通过改进扩散模型的控制和质量，实现了从文本到图像的生成。项目背景基于NeurIPS 2024 Workshop上发表的论文，具有创新性和前沿性。该技术的主要优点包括提高图像生成的准确性和可控性，以及在艺术创作和虚拟现实等领域的应用潜力。

实时端到端自动驾驶的截断扩散模型

DiffusionDrive是一个用于实时端到端自动驾驶的截断扩散模型，它通过减少扩散去噪步骤来加快计算速度，同时保持高准确性和多样性。该模型直接从人类示范中学习，无需复杂的预处理或后处理步骤，即可实现实时的自动驾驶决策。DiffusionDrive在NAVSIM基准测试中取得了88.1 PDMS的突破性成绩，并且能够在45 FPS的速度下运行。

高分辨率图像合成的线性扩散变换器

Sana-1.6B是一个高效的高分辨率图像合成模型，它基于线性扩散变换器技术，能够生成高质量的图像。该模型由NVIDIA实验室开发，使用DC-AE技术，具有32倍的潜在空间，能够在多个GPU上运行，提供强大的图像生成能力。Sana-1.6B以其高效的图像合成能力和高质量的输出结果而闻名，是图像合成领域的重要技术。

高效率的高分辨率图像合成框架

Sana是一个文本到图像的框架，能够高效生成高达4096×4096分辨率的图像。它以极快的速度合成高分辨率、高质量的图像，并保持强大的文本-图像对齐，可以部署在笔记本电脑GPU上。Sana的核心设计包括深度压缩自编码器、线性扩散变换器（DiT）、仅解码器的小型语言模型作为文本编码器，以及高效的训练和采样策略。Sana-0.6B与现代大型扩散模型相比，体积小20倍，测量吞吐量快100倍以上。此外，Sana-0.6B可以部署在16GB笔记本电脑GPU上，生成1024×1024分辨率图像的时间少于1秒。Sana使得低成本的内容创作成为可能。

基于扩散模型的高保真服装重建虚拟试穿技术

TryOffDiff是一种基于扩散模型的高保真服装重建技术，用于从穿着个体的单张照片中生成标准化的服装图像。这项技术与传统的虚拟试穿不同，它旨在提取规范的服装图像，这在捕捉服装形状、纹理和复杂图案方面提出了独特的挑战。TryOffDiff通过使用Stable Diffusion和基于SigLIP的视觉条件来确保高保真度和细节保留。该技术在VITON-HD数据集上的实验表明，其方法优于基于姿态转移和虚拟试穿的基线方法，并且需要较少的预处理和后处理步骤。TryOffDiff不仅能够提升电子商务产品图像的质量，还能推进生成模型的评估，并激发未来在高保真重建方面的工作。