产品库

视觉语言模型增强工具，结合生成式视觉编码器和深度广度融合技术。

Florence-VL是一个视觉语言模型，通过引入生成式视觉编码器和深度广度融合技术，增强了模型对视觉和语言信息的处理能力。该技术的重要性在于其能够提升机器对图像和文本的理解，进而在多模态任务中取得更好的效果。Florence-VL基于LLaVA项目进行开发，提供了预训练和微调的代码、模型检查点和演示。

VLM-R1 是一个稳定且通用的强化视觉语言模型，专注于视觉理解任务。

VLM-R1 是一种基于强化学习的视觉语言模型，专注于视觉理解任务，如指代表达理解（Referring Expression Comprehension, REC）。该模型通过结合 R1（Reinforcement Learning）和 SFT（Supervised Fine-Tuning）方法，展示了在领域内和领域外数据上的出色性能。VLM-R1 的主要优点包括其稳定性和泛化能力，使其能够在多种视觉语言任务中表现出色。该模型基于 Qwen2.5-VL 构建，利用了先进的深度学习技术，如闪存注意力机制（Flash Attention 2），以提高计算效率。VLM-R1 旨在为视觉语言任务提供一种高效且可靠的解决方案，适用于需要精确视觉理解的应用场景。

一款AI视觉语言模型，提供图像分析和描述服务。

InternVL是一个AI视觉语言模型，专注于图像分析和描述。它通过深度学习技术，能够理解和解释图像内容，为用户提供准确的图像描述和分析结果。InternVL的主要优点包括高准确性、快速响应和易于集成。该技术背景基于最新的人工智能研究，致力于提高图像识别的效率和准确性。目前，InternVL提供免费试用，具体价格和定位需要根据用户需求定制。

PaliGemma 2是功能强大的视觉语言模型，简单易调优。

PaliGemma 2是Gemma家族中的第二代视觉语言模型，它在性能上进行了扩展，增加了视觉能力，使得模型能够看到、理解和与视觉输入交互，开启了新的可能性。PaliGemma 2基于高性能的Gemma 2模型构建，提供了多种模型尺寸（3B、10B、28B参数）和分辨率（224px、448px、896px）以优化任何任务的性能。此外，PaliGemma 2在化学公式识别、乐谱识别、空间推理和胸部X光报告生成等方面展现出领先的性能。PaliGemma 2旨在为现有PaliGemma用户提供便捷的升级路径，作为即插即用的替代品，大多数任务无需大幅修改代码即可获得性能提升。

视觉语言模型，能够进行逐步推理

LLaVA-o1是北京大学元组团队开发的一个视觉语言模型，它能够进行自发的、系统的推理，类似于GPT-o1。该模型在六个具有挑战性的多模态基准测试中超越了其他模型，包括Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。LLaVA-o1通过逐步推理解决问题，展示了其在视觉语言模型中的独特优势。

轻量级但功能强大的多模态模型家族。

Bunny 是一系列轻量级但功能强大的多模态模型，提供多种即插即用的视图编码器和语言主干网络。通过从更广泛的数据源进行精选选择，构建更丰富的训练数据，以补偿模型尺寸的减小。Bunny-v1.0-3B 模型在性能上超越了同类大小甚至更大的 MLLMs（7B）模型，并与 13B 模型性能相当。

一款由XTuner优化的LLaVA模型，结合了图像和文本处理能力。

llava-llama-3-8b-v1_1是一个由XTuner优化的LLaVA模型，它基于meta-llama/Meta-Llama-3-8B-Instruct和CLIP-ViT-Large-patch14-336，并通过ShareGPT4V-PT和InternVL-SFT进行了微调。该模型专为图像和文本的结合处理而设计，具有强大的多模态学习能力，适用于各种下游部署和评估工具包。

基于大规模视觉-语言模型的专家混合模型

MoE-LLaVA是一种基于大规模视觉-语言模型的专家混合模型，展现出在多模态学习中出色的性能。其具有较少的参数，但表现出较高的性能，并且可以在短时间内完成训练。该模型支持Gradio Web UI和CLI推理，并提供模型库、需求和安装、训练和验证、自定义、可视化、API等功能。

一款轻量级的多模态语言模型安卓应用。

MNN-LLM 是一款高效的推理框架，旨在优化和加速大语言模型在移动设备和本地 PC 上的部署。它通过模型量化、混合存储和硬件特定优化，解决高内存消耗和计算成本的问题。MNN-LLM 在 CPU 基准测试中表现卓越，速度显著提升，适合需要隐私保护和高效推理的用户。

DreamO 是一个统一的图像定制框架。

DreamO 是一种先进的图像定制模型，旨在提高图像生成的保真度和灵活性。该框架结合了 VAE 特征编码，适用于各种输入，特别是在角色身份的保留方面表现出色。支持消费级 GPU，具有 8 位量化和 CPU 卸载功能，适应不同硬件环境。该模型的不断更新使其在解决过度饱和和面部塑料感问题上取得了一定进展，旨在为用户提供更优质的图像生成体验。

高效的视觉编码技术，提升视觉语言模型性能。

FastVLM 是一种高效的视觉编码模型，专为视觉语言模型设计。它通过创新的 FastViTHD 混合视觉编码器，减少了高分辨率图像的编码时间和输出的 token 数量，使得模型在速度和精度上表现出色。FastVLM 的主要定位是为开发者提供强大的视觉语言处理能力，适用于各种应用场景，尤其在需要快速响应的移动设备上表现优异。

基于自回归变换器生成人工制作的 3D 原始装配体。

PrimitiveAnything 是一种利用自回归变换器生成 3D 模型的技术，能够自动创建细致的 3D 原始装配体。这项技术的主要优点在于其能通过深度学习快速生成复杂的 3D 形状，从而极大地提高了设计师的工作效率。该产品适用于各类设计应用，价格为免费使用，定位于 3D 建模领域。

一个社区驱动的深度研究框架，结合语言模型与多种工具。

DeerFlow 是一个深度研究框架，旨在结合语言模型与如网页搜索、爬虫及 Python 执行等专用工具，以推动深入研究工作。该项目源于开源社区，强调贡献回馈，具备多种灵活的功能，适合各类研究需求。

一种高效的无泄漏唇同步技术。

KeySync 是一个针对高分辨率视频的无泄漏唇同步框架。它解决了传统唇同步技术中的时间一致性问题，同时通过巧妙的遮罩策略处理表情泄漏和面部遮挡。KeySync 的优越性体现在其在唇重建和跨同步方面的先进成果，适用于自动配音等实际应用场景。

一款高质量的英语自动语音识别模型，支持标点符号和时间戳预测。

parakeet-tdt-0.6b-v2 是一个 600 百万参数的自动语音识别（ASR）模型，旨在实现高质量的英语转录，具有准确的时间戳预测和自动标点符号、大小写支持。该模型基于 FastConformer 架构，能够高效地处理长达 24 分钟的音频片段，适合开发者、研究人员和各行业应用。

AnyParser是首个具有准确性和速度的文档解析LLM，可从PDF、PowerPoint和图片中精确提取文本、表格、图表和布局信息。

AnyParser通过视觉语言模型提升了文档检索准确性高达2倍。它能精确提取文本、表格、图表和布局信息，优于传统OCR工具。该产品具有隐私保护、企业集成等特点。

用于理解任意视频中的相机运动的工具。

CameraBench 是一个用于分析视频中相机运动的模型，旨在通过视频理解相机的运动模式。它的主要优点在于利用生成性视觉语言模型进行相机运动的原理分类和视频文本检索。通过与传统的结构从运动 (SfM) 和实时定位与*构建 (SLAM) 方法进行比较，该模型在捕捉场景语义方面显示出了显著的优势。该模型已开源，适合研究人员和开发者使用，且后续将推出更多改进版本。

F Lite 是一款 10B 参数的扩散模型，专注于合法和安全内容。

F Lite 是由 Freepik 和 Fal 开发的一个大型扩散模型，具有 100 亿个参数，专门训练于版权安全和适合工作环境 (SFW) 的内容。该模型基于 Freepik 的内部数据集，包含约 8000 万张合法合规的图像，标志着公开可用的模型在这一规模上首次专注于合法和安全的内容。它的技术报告提供了详细的模型信息，并且使用了 CreativeML Open RAIL-M 许可证进行分发。该模型的设计旨在推动人工智能的开放性和可用性。

Kimi-Audio 是一个开源音频基础模型，擅长音频理解与生成。

Kimi-Audio 是一个先进的开源音频基础模型，旨在处理多种音频处理任务，如语音识别和音频对话。该模型在超过 1300 万小时的多样化音频数据和文本数据上进行了大规模预训练，具有强大的音频推理和语言理解能力。它的主要优点包括优秀的性能和灵活性，适合研究人员和开发者进行音频相关的研究与开发。

一个基于深度学习的图像和视频描述模型。

Describe Anything 模型（DAM）能够处理图像或视频的特定区域，并生成详细描述。它的主要优点在于可以通过简单的标记（点、框、涂鸦或掩码）来生成高质量的本地化描述，极大地提升了计算机视觉领域的图像理解能力。该模型由 NVIDIA 和多所大学联合开发，适合用于研究、开发和实际应用中。

开放源代码的 8B 参数文本到图像扩散模型。

Flex.2 是当前最灵活的文本到图像扩散模型，具备内置的重绘和通用控制功能。它是一个开源项目，由社区支持，旨在推动人工智能的民主化。Flex.2 具备 8 亿参数，支持 512 个令牌长度输入，并符合 OSI 的 Apache 2.0 许可证。此模型可以在许多创意项目中提供强大的支持。用户可以通过反馈不断改善模型，推动技术进步。

轻量级嵌套架构，用于语音反欺诈。

Nes2Net 是一个为基础模型驱动的语音反欺诈任务设计的轻量级嵌套架构，具有较低的错误率，适用于音频深度假造检测。该模型在多个数据集上表现优异，预训练模型和代码已在 GitHub 上发布，便于研究人员和开发者使用。适合音频处理和安全领域，主要定位于提高语音识别和反欺诈的效率和准确性。

利用强化学习提升扩散大语言模型的推理能力。

该模型通过强化学习和高质量推理轨迹的掩蔽自监督微调，实现了对扩散大语言模型的推理能力的提升。此技术的重要性在于它能够优化模型的推理过程，减少计算成本，同时保证学习动态的稳定性。适合希望在写作和推理任务中提升效率的用户。

开源视频生成模型，支持多种生成任务。

Wan2.1-FLF2V-14B 是一个开源的大规模视频生成模型，旨在推动视频生成领域的进步。该模型在多项基准测试中表现优异，支持消费者级 GPU，能够高效生成 480P 和 720P 的视频。它在文本到视频、图像到视频等多个任务中表现出色，具有强大的视觉文本生成能力，适用于各种实际应用场景。

用于视频生成的下一帧预测模型。

FramePack 是一个创新的视频生成模型，旨在通过压缩输入帧的上下文来提高视频生成的质量和效率。其主要优点在于解决了视频生成中的漂移问题，通过双向采样方法保持视频质量，适合需要生成长视频的用户。该技术背景来源于对现有模型的深入研究和实验，以改进视频生成的稳定性和连贯性。

一个集成视觉理解和生成的多模态生成模型。

Liquid 是一个自回归生成模型，通过将图像分解为离散代码并与文本标记共享特征空间，促进视觉理解和文本生成的无缝集成。此模型的主要优点在于无需外部预训练的视觉嵌入，减少了对资源的依赖，同时通过规模法则发现了理解与生成任务之间的相互促进效应。

强大的语言模型，支持多种自然语言处理任务。

GLM-4-32B 是一个高性能的生成语言模型，旨在处理多种自然语言任务。它通过深度学习技术训练而成，能够生成连贯的文本和回答复杂问题。该模型适用于学术研究、商业应用和开发者，价格合理，定位精准，是自然语言处理领域的领先产品。

Pusa 是一个新颖的视频扩散模型，支持多种视频生成任务。

Pusa 通过帧级噪声控制引入视频扩散建模的创新方法，能够实现高质量的视频生成，适用于多种视频生成任务（文本到视频、图像到视频等）。该模型以其卓越的运动保真度和高效的训练过程，提供了一个开源的解决方案，方便用户进行视频生成任务。

一款通过生成模型提升图像生成一致性的工具。

UNO 是一个基于扩散变换器的多图像条件生成模型，通过引入渐进式跨模态对齐和通用旋转位置嵌入，实现高一致性的图像生成。其主要优点在于增强了对单一或多个主题生成的可控性，适用于各种创意图像生成任务。

一种通过视觉上下文学习的通用图像生成框架。

VisualCloze 是一个通过视觉上下文学习的通用图像生成框架，旨在解决传统任务特定模型在多样化需求下的低效率问题。该框架不仅支持多种内部任务，还能泛化到未见过的任务，通过可视化示例帮助模型理解任务。这种方法利用了先进的图像填充模型的强生成先验，为图像生成提供了强有力的支持。