产品库

FLUX模型的Cog推理引擎

Cog inference for flux models 是一个用于FLUX.1 [schnell] 和 FLUX.1 [dev] 模型的推理引擎，由Black Forest Labs开发。它支持编译与量化，敏感内容检查，以及img2img支持，旨在提高图像生成模型的性能和安全性。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

1.58-bit量化的先进文本到图像生成模型

1.58-bit FLUX是一种先进的文本到图像生成模型，通过使用1.58位权重（即{-1, 0, +1}中的值）来量化FLUX.1-dev模型，同时保持生成1024x1024图像的可比性能。该方法无需访问图像数据，完全依赖于FLUX.1-dev模型的自监督。此外，开发了一种定制的内核，优化了1.58位操作，实现了模型存储减少7.7倍，推理内存减少5.1倍，并改善了推理延迟。在GenEval和T2I Compbench基准测试中的广泛评估表明，1.58-bit FLUX在保持生成质量的同时显著提高了计算效率。

朱雀大模型检测，精准识别AI生成图像，助力内容真实性鉴别。

朱雀大模型检测是腾讯推出的一款AI检测工具，主要功能是检测图片是否由AI模型生成。它经过大量自然图片和生成图片的训练，涵盖摄影、艺术、绘画等内容，可检测多类主流文生图模型生成图片。该产品具有高精度检测、快速响应等优点，对于维护内容真实性、打击虚假信息传播具有重要意义。目前暂未明确其具体价格，但从功能来看，主要面向需要进行内容审核、鉴别真伪的机构和个人，如媒体、艺术机构等。

提升生成模型质量和加速推理的项目

UniFL是一个项目，旨在提升生成模型质量和加速推理速度。它通过感知反馈学习、解耦反馈学习和对抗性反馈学习三个关键组件，有效解决了当前扩散模型存在的图像质量、美学吸引力和推理速度等问题。经过实验验证和用户研究，UniFL在多个扩散模型上展现出显著的性能提升和强大的泛化能力。

70亿参数的量化文本生成模型

Llama-Lynx-70b-4bit-Quantized是由PatronusAI开发的一个大型文本生成模型，具有70亿参数，并且经过4位量化处理，以优化模型大小和推理速度。该模型基于Hugging Face的Transformers库构建，支持多种语言，特别是在对话生成和文本生成领域表现出色。它的重要性在于能够在保持较高性能的同时减少模型的存储和计算需求，使得在资源受限的环境中也能部署强大的AI模型。

PyTorch原生量化和稀疏性训练与推理库

torchao是PyTorch的一个库，专注于自定义数据类型和优化，支持量化和稀疏化权重、梯度、优化器和激活函数，用于推理和训练。它与torch.compile()和FSDP2兼容，能够为大多数PyTorch模型提供加速。torchao旨在通过量化感知训练（QAT）和后训练量化（PTQ）等技术，提高模型的推理速度和内存效率，同时尽量减小精度损失。

Phi-3 Mini 量化ONNX模型,支持多硬件平台加速推理

Phi-3 Mini是一款轻量级的最先进的开源大模型,构建于用于Phi-2的合成数据和过滤网站数据之上,致力于提供极高质量、推理密集型的数据。该模型经过了严格的增强过程,结合了监督式微调和直接偏好优化,以确保精确遵循指令和强大的安全措施。该仓库提供了Phi-3 Mini的优化ONNX版本,可通过ONNX Runtime在CPU和GPU上进行加速推理,支持服务器、Windows、Linux、Mac等多种平台,并针对每个平台提供最佳精度配置。ONNX Runtime的DirectML支持还可让开发人员在AMD、英特尔和NVIDIA GPU驱动的Windows设备上实现大规模硬件加速。

高性能的量化语言模型

PatronusAI/glider-gguf是一个基于Hugging Face平台的高性能量化语言模型，采用GGUF格式，支持多种量化版本，如BF16、Q8_0、Q5_K_M、Q4_K_M等。该模型基于phi3架构，拥有3.82B参数，主要优点包括高效的计算性能和较小的模型体积，适用于需要快速推理和低资源消耗的场景。产品背景信息显示，该模型由PatronusAI提供，适合需要进行自然语言处理和文本生成的开发者和企业使用。

这是一个基于Qwen2.5-32B模型的4位量化版本，专为高效推理和低资源部署设计。

该产品是一个基于Qwen2.5-32B的4位量化语言模型，通过GPTQ技术实现高效推理和低资源消耗。它在保持较高性能的同时，显著降低了模型的存储和计算需求，适合在资源受限的环境中使用。该模型主要面向需要高性能语言生成的应用场景，如智能客服、编程辅助、内容创作等。其开源许可和灵活的部署方式使其在商业和研究领域具有广泛的应用前景。

GGUF量化支持，优化ComfyUI原生模型性能

ComfyUI-GGUF是一个为ComfyUI原生模型提供GGUF量化支持的项目。它允许模型文件以GGUF格式存储，这种格式由llama.cpp推广。尽管常规的UNET模型（conv2d）不适用于量化，但像flux这样的transformer/DiT模型似乎受量化影响较小。这使得它们可以在低端GPU上以更低的每权重变量比特率进行运行。

网易有道开发的轻量级推理模型，可在单个GPU上部署，具备类似o1的推理能力。

Confucius-o1-14B是由网易有道团队开发的推理模型，基于Qwen2.5-14B-Instruct优化而成。它采用两阶段学习策略，能够自动生成推理链，并总结出逐步的问题解决过程。该模型主要面向教育领域，尤其适合K12数学问题的解答，能够帮助用户快速获取正确解题思路和答案。模型具备轻量化的特点，无需量化即可在单个GPU上部署，降低了使用门槛。其推理能力在内部评估中表现出色，为教育领域的AI应用提供了强大的技术支持。

一个基于Llama模型的量化版本，用于对话和幻觉检测。

PatronusAI/Llama-3-Patronus-Lynx-8B-v1.1-Instruct-Q8-GGUF是一个基于Llama模型的量化版本，专为对话和幻觉检测设计。该模型使用了GGUF格式，拥有8.03亿参数，属于大型语言模型。它的重要性在于能够提供高质量的对话生成和幻觉检测能力，同时保持模型的高效运行。该模型是基于Transformers库和GGUF技术构建的，适用于需要高性能对话系统和内容生成的应用场景。

开源代码生成与推理的大型语言模型

Qwen2.5-Coder是一系列特定于代码的大型语言模型，覆盖了从0.5亿到32亿参数的不同模型大小，以满足不同开发者的需求。该模型在代码生成、代码推理和代码修复方面有显著提升，基于强大的Qwen2.5，训练令牌扩展到5.5万亿，包括源代码、文本代码基础、合成数据等。Qwen2.5-Coder-32B是目前最先进的开源代码生成大型语言模型，其编码能力与GPT-4o相匹配。此外，该模型还支持长达128K令牌的长上下文，并采用AWQ 4-bit量化技术，以提高模型的效率和性能。

基于特定模型的量化大型语言模型，适用于自然语言处理等任务。

该模型是量化版大型语言模型，采用4位量化技术，降低存储与计算需求，适用于自然语言处理，参数量8.03B，免费且可用于非商业用途，适合资源受限环境下高性能语言应用需求者。

高效为大型语言模型提供服务

FP6-LLM是一种用于大型语言模型的全新支持方案，通过六位量化（FP6）有效地减小了模型大小，并在各种应用中始终保持模型质量。我们提出了TC-FPx，这是第一个完整的GPU内核设计方案，统一支持各种量化位宽的浮点权重。我们将TC-FPx内核集成到现有推理系统中，为量化的LLM推理提供了全新的端到端支持（称为FP6-LLM），实现了推理成本和模型质量之间更好的权衡。实验证明，FP6-LLM使得使用单个GPU进行LLaMA-70b推理成为可能，实现的规范化推理吞吐量比FP16基准高1.69倍至2.65倍。

70B参数的大型量化语言模型

PatronusAI/Llama-3-Patronus-Lynx-70B-Instruct-Q4_K_M-GGUF是一个基于70B参数的大型量化语言模型，使用了4-bit量化技术，以减少模型大小并提高推理效率。该模型属于PatronusAI系列，是基于Transformers库构建的，适用于需要高性能自然语言处理的应用场景。模型遵循cc-by-nc-4.0许可协议，意味着可以非商业性地使用和分享。

开源生成模型训练、调优与推理框架

SCEPTER是一个开源代码库,致力于生成式模型的训练、调优和推理,涵盖图像生成、迁移、编辑等一系列下游任务。它整合了社区主流实现以及阿里巴巴通逸实验室自研方法,为生成式领域的研究人员和从业者提供全面、通用的工具集。这个多功能库旨在促进创新,加速这个快速发展的领域的进步。

全自动AI矢量化，将像素转换为全彩矢量图

Vectorizer.AI是一款使用AI技术全自动将JPEG和PNG位图转换为SVG矢量图的工具。通过强大的GPU和多核CPU分析处理，将像素转换为几何形状，实现矢量图的高分辨率缩放和打印。免费使用，支持SVG、PDF、EPS、DXF、PNG等格式。

多模态大型语言模型，优化视觉识别和图像推理。

Llama-3.2-90B-Vision是Meta公司发布的一款多模态大型语言模型（LLM），专注于视觉识别、图像推理、图片描述和回答有关图片的一般问题。该模型在常见的行业基准测试中超越了许多现有的开源和封闭的多模态模型。

小米首个推理大模型MiMo开源，专为推理任务设计，性能卓越。

Xiaomi MiMo是小米公司开源的首个推理大模型，专为推理任务设计，具备卓越的数学推理和代码生成能力。该模型在数学推理（AIME 24-25）和代码竞赛（LiveCodeBench v5）公开测评集上表现出色，仅用7B的参数规模就超越了OpenAI的o1-mini和阿里Qwen的QwQ-32B-Preview等更大规模的模型。MiMo通过预训练和后训练阶段的多层面创新，包括数据挖掘、训练策略和强化学习算法等，显著提升了推理能力。该模型的开源为研究人员和开发者提供了强大的工具，推动了人工智能在推理领域的进一步发展。

利用尖端AI技术，将创意转化为高质量图像。

Flux AI 图像生成器是由Black Forest Labs开发的，基于革命性的Flux系列模型，提供尖端的文本到图像技术。该产品通过其120亿参数的模型，能够精确解读复杂的文本提示，创造出多样化、高保真的图像。Flux AI 图像生成器不仅适用于个人艺术创作，也可用于商业应用，如品牌视觉、社交媒体内容等。它提供三种不同的版本以满足不同用户的需求：Flux Pro、Flux Dev和Flux Schnell。

高分辨率图像生成模型，快速生成，少步推理

Latent Consistency Models是一种高分辨率图像生成模型，通过少步推理快速生成高保真度图像。LCMs可以从任何预训练的稳定扩散模型中提取，只需要32个A100 GPU小时的训练即可生成高质量的768×768分辨率图像。此外，LCMs还引入了一种名为Latent Consistency Fine-tuning（LCF）的新方法，可以在自定义图像数据集上进行微调，实现定制化图像生成。

Qwen2.5-Coder系列的0.5B参数代码生成模型

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5，该模型在训练中涵盖了5.5万亿的源代码、文本代码基础、合成数据等，成为当前开源代码语言模型的最新技术。该模型不仅在编程能力上与GPT-4o相匹配，还在数学和一般能力上保持了优势。Qwen2.5-Coder-0.5B-Instruct-GPTQ-Int4模型是经过GPTQ量化的4位指令调整模型，具有因果语言模型、预训练和后训练、transformers架构等特点。

Qwen2.5-Coder系列的0.5B参数代码生成模型

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专注于代码生成、代码推理和代码修复。基于Qwen2.5的强大能力，通过扩展训练令牌至5.5万亿，包括源代码、文本代码基础、合成数据等，Qwen2.5-Coder-32B已成为当前最先进的开源代码LLM，其编码能力与GPT-4o相匹配。此模型为AWQ量化的4位指令调整0.5B参数版本，具有因果语言模型、预训练和后训练、transformers架构等特点。

PygmalionAI的大规模推理引擎

Aphrodite是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术，实现了连续批处理、高效的键值管理、优化的CUDA内核等特性，支持多种量化方案，以提高推理性能。

ImagenHub:标准化条件图像生成模型的推理和评估

ImagenHub是一个一站式库,用于标准化所有条件图像生成模型的推理和评估。该项目首先定义了七个突出的任务并创建了高质量的评估数据集。其次,我们构建了一个统一的推理管道来确保公平比较。第三,我们设计了两个人工评估指标,即语义一致性和感知质量,并制定了全面的指南来评估生成的图像。我们训练专家评审员根据提出的指标来评估模型输出。该人工评估在76%的模型上实现了高的评估者间一致性。我们全面地评估了约30个模型,并观察到三个关键发现:(1)现有模型的性能普遍不令人满意,除了文本引导的图像生成和主题驱动的图像生成外,74%的模型整体得分低于0.5。(2)我们检查了已发表论文中的声明,发现83%的声明是正确的。(3)除了主题驱动的图像生成外,现有的自动评估指标都没有高于0.2的斯皮尔曼相关系数。未来,我们将继续努力评估新发布的模型,并更新排行榜以跟踪条件图像生成领域的进展。

开源代码生成大型语言模型

Qwen2.5-Coder是一系列针对代码生成优化的大型语言模型，覆盖了0.5、1.5、3、7、14、32亿参数的六种主流模型尺寸，以满足不同开发者的需求。Qwen2.5-Coder在代码生成、代码推理和代码修复方面有显著提升，基于强大的Qwen2.5，训练令牌扩展到5.5万亿，包括源代码、文本代码接地、合成数据等，成为当前最先进的开源代码LLM，其编码能力与GPT-4o相匹配。此外，Qwen2.5-Coder还提供了更全面的基础，适用于现实世界中的代码代理等应用场景。

高效能的文本到图像生成模型

Stable Diffusion 3.5 Large Turbo 是一个基于文本生成图像的多模态扩散变换器（MMDiT）模型，采用了对抗性扩散蒸馏（ADD）技术，提高了图像质量、排版、复杂提示理解和资源效率，特别注重减少推理步骤。该模型在生成图像方面表现出色，能够理解和生成复杂的文本提示，适用于多种图像生成场景。它在Hugging Face平台上发布，遵循Stability Community License，适合研究、非商业用途以及年收入少于100万美元的组织或个人免费使用。