产品库

提高文本到图像模型中空间一致性的解决方案

SPRIGHT是一个专注于空间关系的大规模视觉语言数据集和模型。它通过重新描述600万张图像构建了SPRIGHT数据集，显著增加了描述中的空间短语。该模型在444张包含大量物体的图像上进行微调训练，从而优化生成具有空间关系的图像。SPRIGHT在多个基准测试中实现了空间一致性的最新水平，同时提高了图像质量评分。

AnyParser是首个具有准确性和速度的文档解析LLM，可从PDF、PowerPoint和图片中精确提取文本、表格、图表和布局信息。

AnyParser通过视觉语言模型提升了文档检索准确性高达2倍。它能精确提取文本、表格、图表和布局信息，优于传统OCR工具。该产品具有隐私保护、企业集成等特点。

8亿参数的多语言视觉语言模型，支持OCR、图像描述、视觉推理等功能

CohereForAI的Aya Vision 8B是一个8亿参数的多语言视觉语言模型，专为多种视觉语言任务优化，支持OCR、图像描述、视觉推理、总结、问答等功能。该模型基于C4AI Command R7B语言模型，结合SigLIP2视觉编码器，支持23种语言，具有16K上下文长度。其主要优点包括多语言支持、强大的视觉理解能力以及广泛的适用场景。该模型以开源权重形式发布，旨在推动全球研究社区的发展。根据CC-BY-NC许可协议，用户需遵守C4AI的可接受使用政策。

CogView4-6B 是一个强大的文本到图像生成模型，专注于高质量图像生成。

CogView4-6B 是由清华大学知识工程组开发的文本到图像生成模型。它基于深度学习技术，能够根据用户输入的文本描述生成高质量的图像。该模型在多个基准测试中表现优异，尤其是在中文文本生成图像方面具有显著优势。其主要优点包括高分辨率图像生成、支持多种语言输入以及高效的推理速度。该模型适用于创意设计、图像生成等领域，能够帮助用户快速将文字描述转化为视觉内容。

CogView4 是一个支持中文和英文的高分辨率文本到图像生成模型。

CogView4 是由清华大学开发的先进文本到图像生成模型，基于扩散模型技术，能够根据文本描述生成高质量图像。它支持中文和英文输入，并且可以生成高分辨率图像。CogView4 的主要优点是其强大的多语言支持和高质量的图像生成能力，适合需要高效生成图像的用户。该模型在 ECCV 2024 上展示，具有重要的研究和应用价值。

SigLIP2 是谷歌推出的一种多语言视觉语言编码器，用于零样本图像分类。

SigLIP2 是谷歌开发的多语言视觉语言编码器，具有改进的语义理解、定位和密集特征。它支持零样本图像分类，能够通过文本描述直接对图像进行分类，无需额外训练。该模型在多语言场景下表现出色，适用于多种视觉语言任务。其主要优点包括高效的语言图像对齐能力、支持多种分辨率和动态分辨率调整，以及强大的跨语言泛化能力。SigLIP2 的推出为多语言视觉任务提供了新的解决方案，尤其适合需要快速部署和多语言支持的场景。

VLM-R1 是一个稳定且通用的强化视觉语言模型，专注于视觉理解任务。

VLM-R1 是一种基于强化学习的视觉语言模型，专注于视觉理解任务，如指代表达理解（Referring Expression Comprehension, REC）。该模型通过结合 R1（Reinforcement Learning）和 SFT（Supervised Fine-Tuning）方法，展示了在领域内和领域外数据上的出色性能。VLM-R1 的主要优点包括其稳定性和泛化能力，使其能够在多种视觉语言任务中表现出色。该模型基于 Qwen2.5-VL 构建，利用了先进的深度学习技术，如闪存注意力机制（Flash Attention 2），以提高计算效率。VLM-R1 旨在为视觉语言任务提供一种高效且可靠的解决方案，适用于需要精确视觉理解的应用场景。

DiffSplat 是一个从文本提示和单视图图像生成 3D 高斯点云的生成框架。

DiffSplat 是一种创新的 3D 生成技术，能够从文本提示和单视图图像快速生成 3D 高斯点云。该技术通过利用大规模预训练的文本到图像扩散模型，实现了高效的 3D 内容生成。它解决了传统 3D 生成方法中数据集有限和无法有效利用 2D 预训练模型的问题，同时保持了 3D 一致性。DiffSplat 的主要优点包括高效的生成速度（1~2 秒内完成）、高质量的 3D 输出以及对多种输入条件的支持。该模型在学术研究和工业应用中具有广泛前景，尤其是在需要快速生成高质量 3D 模型的场景中。

低成本强化视觉语言模型的泛化能力，仅需不到3美元。

R1-V是一个专注于强化视觉语言模型（VLM）泛化能力的项目。它通过可验证奖励的强化学习（RLVR）技术，显著提升了VLM在视觉计数任务中的泛化能力，尤其是在分布外（OOD）测试中表现出色。该技术的重要性在于，它能够在极低的成本下（仅需2.62美元的训练成本），实现对大规模模型的高效优化，为视觉语言模型的实用化提供了新的思路。项目背景基于对现有VLM训练方法的改进，目标是通过创新的训练策略，提升模型在复杂视觉任务中的表现。R1-V的开源性质也使其成为研究者和开发者探索和应用先进VLM技术的重要资源。

基于Diffusion的文本到图像生成模型，专注于时尚模特摄影风格图像生成

Fashion-Hut-Modeling-LoRA是一个基于Diffusion技术的文本到图像生成模型，主要用于生成时尚模特的高质量图像。该模型通过特定的训练参数和数据集，能够根据文本提示生成具有特定风格和细节的时尚摄影图像。它在时尚设计、广告制作等领域具有重要应用价值，能够帮助设计师和广告商快速生成创意概念图。模型目前仍在训练阶段，可能存在一些生成效果不佳的情况，但已经展示了强大的潜力。该模型的训练数据集包含14张高分辨率图像，使用了AdamW优化器和constant学习率调度器等参数，训练过程注重图像的细节和质量。

一款基于Midjourney风格的文本到图像生成模型，专注于高分辨率和写实风格的图像创作。

Flux-Midjourney-Mix2-LoRA 是一款基于深度学习的文本到图像生成模型，旨在通过自然语言描述生成高质量的图像。该模型基于Diffusion架构，结合了LoRA技术，能够实现高效的微调和风格化图像生成。其主要优点包括高分辨率输出、多样化的风格支持以及对复杂场景的出色表现能力。该模型适用于需要高质量图像生成的用户，如设计师、艺术家和内容创作者，能够帮助他们快速实现创意构思。

一个强大的OCR包，使用最先进的视觉语言模型提取图像中的文本。

ollama-ocr是一个基于ollama的光学字符识别（OCR）模型，能够从图像中提取文本。它利用先进的视觉语言模型，如LLaVA、Llama 3.2 Vision和MiniCPM-V 2.6，提供高精度的文本识别。该模型对于需要从图片中获取文本信息的场景非常有用，如文档扫描、图像内容分析等。它开源免费，易于集成到各种项目中。

开源的视觉语言模型，可在多种设备上运行。

Moondream AI是一个开源的视觉语言模型，具有强大的多模态处理能力。它支持多种量化格式，如fp16、int8、int4，能够在服务器、PC、移动设备等多种目标设备上进行GPU和CPU优化推理。其主要优点包括快速、高效、易于部署，且采用Apache 2.0许可证，允许用户自由使用和修改。Moondream AI的定位是为开发者提供一个灵活、高效的人工智能解决方案，适用于需要视觉和语言处理能力的各种应用场景。

NeuralSVG：从文本提示生成矢量图形的隐式表示方法。

NeuralSVG是一种用于从文本提示生成矢量图形的隐式神经表示方法。它受到神经辐射场（NeRFs）的启发，将整个场景编码到一个小的多层感知器（MLP）网络的权重中，并使用分数蒸馏采样（SDS）进行优化。该方法通过引入基于dropout的正则化技术，鼓励生成的SVG具有分层结构，使每个形状在整体场景中具有独立的意义。此外，其神经表示还提供了推理时控制的优势，允许用户根据提供的输入动态调整生成的SVG，如颜色、宽高比等，且只需一个学习到的表示。通过广泛的定性和定量评估，NeuralSVG在生成结构化和灵活的SVG方面优于现有方法。该模型由特拉维夫大学和MIT CSAIL的研究人员共同开发，目前代码尚未公开。

文本到图像扩散模型的美学质量提升工具

VMix是一种用于提升文本到图像扩散模型美学质量的技术，通过创新的条件控制方法——价值混合交叉注意力，系统性地增强图像的美学表现。VMix作为一个即插即用的美学适配器，能够在保持视觉概念通用性的同时提升生成图像的质量。VMix的关键洞见是通过设计一种优越的条件控制方法来增强现有扩散模型的美学表现，同时保持图像与文本的对齐。VMix足够灵活，可以应用于社区模型，以实现更好的视觉性能，无需重新训练。

无需训练的迭代框架，用于长篇故事可视化

Story-Adapter是一个无需训练的迭代框架，专为长篇故事可视化设计。它通过迭代范式和全局参考交叉注意力模块，优化图像生成过程，保持故事中语义的连贯性，同时减少计算成本。该技术的重要性在于它能够在长篇故事中生成高质量、细节丰富的图像，解决了传统文本到图像模型在长故事可视化中的挑战，如语义一致性和计算可行性。

自适应条件选择，提升文本到图像生成控制力

DynamicControl是一个用于提升文本到图像扩散模型控制力的框架。它通过动态组合多样的控制信号，支持自适应选择不同数量和类型的条件，以更可靠和详细地合成图像。该框架首先使用双循环控制器，利用预训练的条件生成模型和判别模型，为所有输入条件生成初始真实分数排序。然后，通过多模态大型语言模型（MLLM）构建高效条件评估器，优化条件排序。DynamicControl联合优化MLLM和扩散模型，利用MLLM的推理能力促进多条件文本到图像任务，最终排序的条件输入到并行多控制适配器，学习动态视觉条件的特征图并整合它们以调节ControlNet，增强对生成图像的控制。

CogAgent-9B-20241220是基于视觉语言模型的GUI代理模型。

CogAgent-9B-20241220模型基于GLM-4V-9B双语开源VLM基础模型，通过数据收集和优化、多阶段训练以及策略改进，在GUI感知、推理预测准确性、动作空间完整性和任务泛化性方面取得了显著进步。该模型支持双语（中文和英文）交互，并能处理屏幕截图和语言输入。此版本已应用于ZhipuAI的GLM-PC产品中，旨在帮助研究人员和开发者推进基于视觉语言模型的GUI代理的研究和应用。

利用视觉语言模型将PDF解析为Markdown。

vision-parse是一个利用视觉语言模型（Vision LLMs）将PDF文档解析为格式化良好的Markdown内容的工具。它支持多种模型，包括OpenAI、LLama和Gemini等，能够智能识别和提取文本及表格，并保持文档的层级结构、样式和缩进。该工具的主要优点包括高精度的内容提取、格式保持、支持多模型以及本地模型托管，适用于需要高效文档处理的用户。

开源的端到端视觉语言模型（VLM）基础的GUI代理

CogAgent是一个基于视觉语言模型（VLM）的GUI代理，它通过屏幕截图和自然语言实现双语（中文和英文）交云。CogAgent在GUI感知、推理预测准确性、操作空间完整性和任务泛化方面取得了显著进步。该模型已经在ZhipuAI的GLM-PC产品中得到应用，旨在帮助研究人员和开发者推进基于视觉语言模型的GUI代理的研究和应用。

用于文本到图像扩散模型的照明绘图工具

LuminaBrush是一个交互式工具，旨在绘制图像上的照明效果。该工具采用两阶段方法：一阶段将图像转换为“均匀照明”的外观，另一阶段根据用户涂鸦生成照明效果。这种分解方法简化了学习过程，避免了单一阶段可能需要考虑的外部约束（如光传输一致性等）。LuminaBrush利用从高质量野外图像中提取的“均匀照明”外观来构建训练最终交互式照明绘图模型的配对数据。此外，该工具还可以独立使用“均匀照明阶段”来“去照明”图像。

先进的大型混合专家视觉语言模型

DeepSeek-VL2是一系列先进的大型混合专家（MoE）视觉语言模型，相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解、视觉定位等多项任务中展现出卓越的能力。DeepSeek-VL2由三种变体组成：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分别拥有1.0B、2.8B和4.5B激活参数。DeepSeek-VL2在激活参数相似或更少的情况下，与现有的开源密集型和基于MoE的模型相比，达到了竞争性或最先进的性能。

视觉语言模型的最新进展，集成微信AI的新技术

POINTS-Yi-1.5-9B-Chat是一个视觉语言模型，它集成了最新的视觉语言模型技术和微信AI提出的新技术。该模型在预训练数据集过滤、模型汤（Model Soup）技术等方面有显著创新，能够显著减少预训练数据集的大小并提高模型性能。它在多个基准测试中表现优异，是视觉语言模型领域的一个重要进展。

视觉语言模型的最新进展

POINTS-Qwen-2-5-7B-Chat是一个集成了视觉语言模型最新进展和新技巧的模型，由微信AI的研究人员提出。它通过预训练数据集筛选、模型汤等技术，显著提升了模型性能。这个模型在多个基准测试中表现优异，是视觉语言模型领域的一个重要进步。

领先视觉语言模型，支持双语及高质量控制，免费。

WePOINTS 系列最新更新，参数量大性能强，有多项创新技术，在 OpenCompass 排行榜表现优异。

先进的多模态理解模型，融合视觉与语言能力。

DeepSeek-VL2是一系列大型Mixture-of-Experts视觉语言模型，相较于前代DeepSeek-VL有显著提升。该模型系列在视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位等任务上展现出卓越的能力。DeepSeek-VL2包含三个变体：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small和DeepSeek-VL2，分别拥有1.0B、2.8B和4.5B激活参数。DeepSeek-VL2在激活参数相似或更少的情况下，与现有的开源密集和MoE基础模型相比，达到了竞争性或最先进的性能。

基于文本生成图像的AI模型

fofr/flux-condensation是一个基于文本生成图像的AI模型，使用Diffusers库和LoRAs技术，能够根据用户提供的文本提示生成相应的图像。该模型在Replicate上训练，具有非商业性质的flux-1-dev许可证。它代表了文本到图像生成技术的最新进展，能够为设计师、艺术家和内容创作者提供强大的视觉表现工具。

高效率、高分辨率的文本到图像生成框架

Sana是一个由NVIDIA开发的文本到图像的生成框架，能够高效生成高达4096×4096分辨率的图像。Sana以其快速的速度和强大的文本图像对齐能力，可以在笔记本电脑GPU上部署，代表了图像生成技术的一个重要进步。该模型基于线性扩散变换器，使用预训练的文本编码器和空间压缩的潜在特征编码器，能够根据文本提示生成和修改图像。Sana的开源代码可在GitHub上找到，其研究和应用前景广阔，尤其在艺术创作、教育工具和模型研究等方面。

高分辨率、高效率的文本到图像生成框架

Sana是一个由NVIDIA开发的文本到图像生成框架，能够高效生成高达4096×4096分辨率的图像。Sana以其快速的速度和强大的文本图像对齐能力，使得在笔记本电脑GPU上也能部署。它是一个基于线性扩散变换器(text-to-image generative model)的模型，拥有1648M参数，专门用于生成1024px基础的多尺度高宽图像。Sana模型的主要优点包括高分辨率图像生成、快速的合成速度以及强大的文本图像对齐能力。Sana模型的背景信息显示，它是基于开源代码开发的，可以在GitHub上找到源代码，同时它也遵循特定的许可证（CC BY-NC-SA 4.0 License）。