产品库

自适应扩散模型，生成多语言字体效果

FontStudio是一个创新的字体效果生成模型，它利用自适应扩散技术，能够在不规则的字体形状画布上生成连贯一致的视觉内容。这项技术突破了传统矩形画布的限制，为多语言字体设计提供了新的解决方案。FontStudio系统在用户偏好研究中显示出明显的优势，甚至在与Adobe Firefly等顶尖商业产品比较时，也获得了78%的美学胜出率。

训练无监督一致性文本到图像生成

ConsiStory是一个无需训练就能实现在预训练的文本到图像模型中生成一致性主体的方法。它不需要微调或个性化,因此比先前最优方法快20倍。我们通过引入以主体为驱动的共享注意力模块和基于对应关系的特征注入来增强模型,以促进图像之间的主体一致性。另外,我们开发了在保持主体一致性的同时鼓励布局多样性的策略。ConsiStory可以自然地扩展到多主体场景,甚至可以实现对常见对象的无需训练的个性化。

提高文本到图像模型中空间一致性的解决方案

SPRIGHT是一个专注于空间关系的大规模视觉语言数据集和模型。它通过重新描述600万张图像构建了SPRIGHT数据集，显著增加了描述中的空间短语。该模型在444张包含大量物体的图像上进行微调训练，从而优化生成具有空间关系的图像。SPRIGHT在多个基准测试中实现了空间一致性的最新水平，同时提高了图像质量评分。

深入研究大型语言模型的内部一致性和自我反馈

ICSFSurvey是一个关于大型语言模型内部一致性和自我反馈的调查研究。它提供了对LLMs自我评估和自我更新机制的统一视角，包括理论框架、系统分类、评估方法、未来研究方向等。

利用LLM提高T2I图像生成一致性

OPT2I是一个T2I优化框架，利用大型语言模型（LLM）提高提示-图像一致性。通过迭代生成修订后的提示，优化生成过程。能显著提高一致性得分，同时保持FID并增加生成数据与真实数据召回率。

视频生成模型的一致性初始化方法

FreeInit是一个简单有效的方法,用于提高视频生成模型的时间一致性。它不需要额外的训练,也不引入可学习的参数,可以很容易地在任意视频生成模型的推理时集成使用。

稳定扩散VAE的一致性解码器

Consistency Decoder是一种用于稳定扩散VAE的改进解码器，提供更稳定的图像生成。它具有2.49GB的模型大小，支持从原始图像进行编码和使用GAN解码以及一致性解码。该产品定位于为图像生成提供更好的解码效果。

提高文本到图像合成质量的一致性蒸馏技术

TCD是一种用于文本到图像合成的一致性蒸馏技术，它通过轨迹一致性函数（TCF）和策略性随机采样（SSS）来减少合成过程中的错误。TCD在低NFE（噪声自由能量）时显著提高图像质量，并在高NFE时保持比教师模型更详细的结果。TCD不需要额外的判别器或LPIPS监督，即可在低NFE和高NFE时均保持优越的生成质量。

使用扩散模型实现时间一致性的人像动画

TCAN是一种基于扩散模型的新型人像动画框架，它能够保持时间一致性并很好地泛化到未见过的领域。该框架通过特有的模块，如外观-姿态自适应层(APPA层)、时间控制网络和姿态驱动的温度图，来确保生成的视频既保持源图像的外观，又遵循驱动视频的姿态，同时保持背景的一致性。

为扩散模型提供一致性分辨率适配

ResAdapter是一个为扩散模型（如Stable Diffusion）设计的分辨率适配器，它能够在保持风格域一致性的同时，生成任意分辨率和宽高比的图像。与处理静态分辨率图像的多分辨率生成方法不同，ResAdapter直接生成动态分辨率的图像，提高了推理效率并减少了额外的推理时间。

3D一致性的视频生成框架

CamCo是一个创新的图像到视频生成框架，它能够生成具有3D一致性的高质量视频。该框架通过Plücker坐标引入相机信息，并提出了一种符合几何一致性的双线约束注意力模块。此外，CamCo在通过运动结构算法估计相机姿态的真实世界视频上进行了微调，以更好地合成物体运动。

下一代 AI 模型，实现一致性和可控的媒体生成。

Runway Gen-4 是一款先进的 AI 模型，专注于媒体生成和世界一致性。它能够在多个场景中精准生成一致的角色、地点和物体，为创作者提供前所未有的创作自由，适合电影制作、广告及产品摄影等多种应用场景。该产品不需要进行细致的调优或额外训练，简化了创作流程，提升了视频制作的质量和效率。

快速可控的图像生成与潜在一致性模型

PIXART LCM是一个文本到图像合成框架，将潜在一致性模型（LCM）和ControlNet集成到先进的PIXART-α模型中。PIXART LCM以其能够通过高效的训练过程生成1024px分辨率的高质量图像而闻名。在PIXART-δ中集成LCM显著加快了推理速度，使得仅需2-4步即可生成高质量图像。特别值得注意的是，PIXART-δ实现了在0.5秒内生成1024x1024像素图像的突破，比PIXART-α改进了7倍。此外，PIXART-δ经过精心设计，可在单日内在32GB V100GPU上进行高效训练。具有8位推理能力的PIXART-δ可以在8GB GPU内存约束下合成1024px图像，极大地增强了其可用性和可访问性。此外，引入类似于ControlNet的模块可以对文本到图像扩散模型进行精细控制。我们引入了一种新颖的ControlNet-Transformer架构，专门为Transformers量身定制，实现了显式可控性和高质量图像生成。作为一种最先进的开源图像生成模型，PIXART-δ为稳定扩散模型家族提供了一个有前途的选择，为文本到图像合成做出了重大贡献。

生成具有身份一致性和表情丰富性的3D人头模型

ID-to-3D是一种创新的方法，它能够从一张随意拍摄的野外图片中生成具有身份和文本引导的3D人头模型，具有分离的表情。该方法基于组合性，使用特定任务的2D扩散模型作为优化的先验。通过扩展基础模型并添加轻量级的表情感知和身份感知架构，创建了2D先验，用于几何和纹理生成，并通过微调仅0.2%的可用训练参数。结合强大的面部身份嵌入和神经表示，该方法不仅能够准确重建面部特征，还能重建配饰和头发，并可提供适用于游戏和远程呈现的渲染就绪资产。

一致的文本到视频编辑的光流引导注意力

FLATTEN是一种用于文本到视频编辑的光流引导注意力插件。它通过在扩散模型的U-Net中引入光流来解决文本到视频编辑中的一致性问题。FLATTEN通过强制在不同帧上的相同光流路径上的补丁在注意模块中相互关注，从而提高了编辑视频的视觉一致性。此外，FLATTEN是无需训练的，可以无缝集成到任何基于扩散的文本到视频编辑方法中，并提高其视觉一致性。实验结果表明，我们提出的方法在现有的文本到视频编辑基准上取得了最新的性能。特别是，我们的方法在保持编辑视频的视觉一致性方面表现出色。

StoryDiffusion 能够通过生成一致的图像和视频来创造魔法故事。

StoryDiffusion 是一个开源的图像和视频生成模型，它通过一致自注意力机制和运动预测器，能够生成连贯的长序列图像和视频。这个模型的主要优点在于它能够生成具有角色一致性的图像，并且可以扩展到视频生成，为用户提供了一个创造长视频的新方法。该模型对AI驱动的图像和视频生成领域有积极的影响，并且鼓励用户负责任地使用该工具。

最新的视觉语言模型，支持多语言和多模态理解

Qwen2-VL-72B是Qwen-VL模型的最新迭代，代表了近一年的创新成果。该模型在视觉理解基准测试中取得了最新的性能，包括MathVista、DocVQA、RealWorldQA、MTVQA等。它能够理解超过20分钟的视频，并可以集成到手机、机器人等设备中，进行基于视觉环境和文本指令的自动操作。除了英语和中文，Qwen2-VL现在还支持图像中不同语言文本的理解，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。模型架构更新包括Naive Dynamic Resolution和Multimodal Rotary Position Embedding (M-ROPE)，增强了其多模态处理能力。

革命性的AI模型，排名第一的人工智能分析工具。

Red Panda AI，也称为Recraft V3，是一个在人工智能分析领域排名第一的革命性AI模型。它超越了FLUX1.1、Midjourney和OpenAI等其他模型，在设计理解和视觉输出质量方面表现出色。Red Panda AI以其设计为中心的架构，提供了无与伦比的设计原则理解、视觉层次和构图能力。它能够智能地适应不同平台和用例，保持一致的品牌身份。产品的主要优点包括设计语言理解、风格一致性控制、上下文感知、专业设计质量、快速迭代和多格式掌握。

现代国际化平台，快速实现产品多语言支持。

Quetzal是一个现代国际化平台，旨在帮助用户快速将产品翻译成多种语言，以获得全球新客户。该平台提供工具，支持20多种语言，与Next.js和React兼容，并且拥有快速设置流程，仅需约10分钟。Quetzal利用人工智能技术，结合应用程序的上下文，在几分钟内实现最佳翻译效果。它还提供了一个仪表板，让用户可以在一个地方查看和管理所有的字符串。产品背景信息显示，Quetzal由Quetzal Labs, Inc.在奥克兰精心打造，并且提供了一个慷慨的免费计划，直到用户添加第二种语言。

内容一致的多场景视频生成

VideoDrafter 是一个内容一致的多场景视频生成框架。它利用大型语言模型（LLM）将输入提示转换为包含多场景脚本的综合脚本，脚本包括描述事件、前景 / 背景实体以及相机运动的提示。VideoDrafter 识别脚本中的共同实体，并要求 LLM 对每个实体进行详细描述。然后，将每个实体的描述输入到文本到图像模型中，以生成每个实体的参考图像。最后，通过考虑参考图像、事件描述和相机运动，通过扩散过程生成多场景视频，扩散模型将参考图像作为条件和对齐进行处理，以增强多场景视频的内容一致性。

人工智能在线设计字体

字体家AI神笔是一个利用人工智能技术实现在线设计字体的网站产品。用户可以通过该网站上传手写样例,AI系统会分析手写风格特点,自动生成出一套独特的字体。该产品具有定制化、智能化、高效率等特点,可以帮助用户快速获取独一无二的字体设计。

快速、多语言支持的OCR工具包

RapidOCR是一个基于ONNXRuntime、OpenVINO和PaddlePaddle的OCR多语言工具包。它将PaddleOCR模型转换为ONNX格式，支持Python/C++/Java/C#等多平台部署，具有快速、轻量级、智能的特点，并解决了PaddleOCR内存泄露的问题。

Qwen1.5系列首个千亿参数开源模型，多语言支持，高效Transformer解码器架构。

Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。

多语言视觉文本渲染的强有力美学基线

Glyph-ByT5-v2 是微软亚洲研究院推出的一个用于准确多语言视觉文本渲染的模型。它不仅支持10种不同语言的准确视觉文本渲染，而且在美学质量上也有显著提升。该模型通过创建高质量的多语言字形文本和平面设计数据集，构建多语言视觉段落基准，并利用最新的步态感知偏好学习方法来提高视觉美学质量。

大型语言模型，支持多语言和编程语言文本生成。

Nemotron-4-340B-Base是由NVIDIA开发的大型语言模型，拥有3400亿参数，支持4096个token的上下文长度，适用于生成合成数据，帮助研究人员和开发者构建自己的大型语言模型。模型经过9万亿token的预训练，涵盖50多种自然语言和40多种编程语言。NVIDIA开放模型许可允许商业使用和派生模型的创建与分发，不声明对使用模型或派生模型生成的任何输出拥有所有权。

大型语言模型，支持多语言和代码数据

Mistral-Nemo-Instruct-2407是由Mistral AI和NVIDIA联合训练的大型语言模型（LLM），是Mistral-Nemo-Base-2407的指导微调版本。该模型在多语言和代码数据上进行了训练，显著优于大小相似或更小的现有模型。其主要特点包括：支持多语言和代码数据训练、128k上下文窗口、可替代Mistral 7B。模型架构包括40层、5120维、128头维、1436隐藏维、32个头、8个kv头（GQA）、2^17词汇量（约128k）、旋转嵌入（theta=1M）。该模型在多种基准测试中表现出色，如HellaSwag（0-shot）、Winogrande（0-shot）、OpenBookQA（0-shot）等。

PaliGemma 2是一个强大的视觉-语言模型，支持多种视觉语言任务。

PaliGemma 2是一个由Google开发的视觉-语言模型，继承了Gemma 2模型的能力，能够处理图像和文本输入并生成文本输出。该模型在多种视觉语言任务上表现出色，如图像描述、视觉问答等。其主要优点包括强大的多语言支持、高效的训练架构和广泛的适用性。该模型适用于需要处理视觉和文本数据的各种应用场景，如社交媒体内容生成、智能客服等。

StreamingT2V: 一致、动态、可扩展的长视频文本生成

StreamingT2V 是一种先进的自回归技术，可以创建具有丰富动态运动的长视频，没有任何停滞。它确保视频中的时间一致性，与描述性文本紧密对齐，并保持高帧级图像质量。

8亿参数的多语言视觉语言模型，支持OCR、图像描述、视觉推理等功能

CohereForAI的Aya Vision 8B是一个8亿参数的多语言视觉语言模型，专为多种视觉语言任务优化，支持OCR、图像描述、视觉推理、总结、问答等功能。该模型基于C4AI Command R7B语言模型，结合SigLIP2视觉编码器，支持23种语言，具有16K上下文长度。其主要优点包括多语言支持、强大的视觉理解能力以及广泛的适用场景。该模型以开源权重形式发布，旨在推动全球研究社区的发展。根据CC-BY-NC许可协议，用户需遵守C4AI的可接受使用政策。

多语言晚交互检索模型，支持嵌入和重排

Jina ColBERT v2是一个先进的晚交互检索模型，基于ColBERT架构构建，支持89种语言，并提供优越的检索性能、用户可控的输出维度和长达8192个token的文本处理能力。它在信息检索领域具有革命性的意义，通过晚交互评分近似于交叉编码器中的联合查询-文档注意力，同时保持了接近传统密集检索模型的推理效率。