产品库

无需调优的全景多视图图像生成

PanoFree是一种创新的全景多视图图像生成技术，它通过迭代变形和上色解决了一致性和累积误差问题，无需额外的调优。该技术在实验中显示出显著的误差减少，提高了全局一致性，并在不增加额外调优的情况下提升了图像质量。与现有方法相比，PanoFree在时间和GPU内存使用上效率更高，同时保持了结果的多样性。

一键生成 360° 全景图像

Skybox AI 是一款由 Blockade Labs 开发的图像生成工具。它可以一键生成 360° 全景图像，帮助用户快速创建逼真的全景图像。Skybox AI 具有简单易用的界面，用户只需上传图像，点击生成按钮即可获得高质量的 360° 全景图像。它适用于各种场景，包括室内、室外、风景等。Skybox AI 还提供了多种风格和效果供用户选择，如真实主义、梦幻、卡通等。

多粒度视觉指令调优的创新MLLM

MG-LLaVA是一个增强模型视觉处理能力的机器学习语言模型（MLLM），通过整合多粒度视觉流程，包括低分辨率、高分辨率和以对象为中心的特征。提出了一个额外的高分辨率视觉编码器来捕捉细节，并通过Conv-Gate融合网络与基础视觉特征融合。此外，通过离线检测器识别的边界框整合对象级特征，以进一步细化模型的对象识别能力。MG-LLaVA仅在公开可用的多模态数据上通过指令调优进行训练，展现出卓越的感知技能。

大规模多模态推理与指令调优平台

MAmmoTH-VL是一个大规模多模态推理平台，它通过指令调优技术，显著提升了多模态大型语言模型（MLLMs）在多模态任务中的表现。该平台使用开放模型创建了一个包含1200万指令-响应对的数据集，覆盖了多样化的、推理密集型的任务，并提供了详细且忠实的理由。MAmmoTH-VL在MathVerse、MMMU-Pro和MuirBench等基准测试中取得了最先进的性能，展现了其在教育和研究领域的重要性。

视频指令调优与合成数据研究

LLaVA-Video是一个专注于视频指令调优的大型多模态模型（LMMs），通过创建高质量的合成数据集LLaVA-Video-178K来解决从网络获取大量高质量原始数据的难题。该数据集包括详细的视频描述、开放式问答和多项选择问答等任务，旨在提高视频语言模型的理解和推理能力。LLaVA-Video模型在多个视频基准测试中表现出色，证明了其数据集的有效性。

AI数据库调优工具，优化PostgreSQL和MySQL性能

OtterTune是一款AI工具，自动化数据库调优和解决配置问题，优化PostgreSQL和MySQL性能，降低成本。它可以找到95%的数据库优化机会，提高P99性能2倍以上，吞吐量增加25%以上，成本减半。

多视图一致性图像生成的便捷解决方案

MV-Adapter是一种基于适配器的多视图图像生成解决方案，它能够在不改变原有网络结构或特征空间的前提下，增强预训练的文本到图像（T2I）模型及其衍生模型。通过更新更少的参数，MV-Adapter实现了高效的训练并保留了预训练模型中嵌入的先验知识，降低了过拟合风险。该技术通过创新的设计，如复制的自注意力层和并行注意力架构，使得适配器能够继承预训练模型的强大先验，以建模新的3D知识。此外，MV-Adapter还提供了统一的条件编码器，无缝整合相机参数和几何信息，支持基于文本和图像的3D生成以及纹理映射等应用。MV-Adapter在Stable Diffusion XL（SDXL）上实现了768分辨率的多视图生成，并展示了其适应性和多功能性，能够扩展到任意视图生成，开启更广泛的应用可能性。

首个面向中英文用户的指令调优语言模型

Gemma-2-27B-Chinese-Chat是基于google/gemma-2-27b-it的首个指令调优语言模型，专为中英文用户设计，拥有角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调，显著提升了在中英文对话、角色扮演和数学计算等方面的性能。

探索多模态扩散变换器中的注意力控制，实现无需调优的多提示长视频生成

DiTCtrl是一种基于多模态扩散变换器（MM-DiT）架构的视频生成模型，它专注于无需额外训练即可生成具有多个连续提示的连贯场景视频。该模型通过分析MM-DiT的注意力机制，实现了在不同提示间精确的语义控制和注意力共享，从而生成具有平滑过渡和一致对象运动的视频。DiTCtrl的主要优点包括无需训练、能够处理多提示视频生成任务，并能展示电影风格的过渡效果。此外，DiTCtrl还提供了一个新基准MPVBench，专门用于评估多提示视频生成的性能。

开源生成模型训练、调优与推理框架

SCEPTER是一个开源代码库,致力于生成式模型的训练、调优和推理,涵盖图像生成、迁移、编辑等一系列下游任务。它整合了社区主流实现以及阿里巴巴通逸实验室自研方法,为生成式领域的研究人员和从业者提供全面、通用的工具集。这个多功能库旨在促进创新,加速这个快速发展的领域的进步。

基于多视图生成重建先验的拖拽式3D编辑工具

MVDrag3D是一个创新的3D编辑框架，它通过利用多视图生成和重建先验来实现灵活且具有创造性的拖拽式3D编辑。该技术的核心是使用多视图扩散模型作为强大的生成先验，以在多个渲染视图中执行一致的拖拽编辑，随后通过重建模型重建编辑对象的3D高斯。MVDrag3D通过视图特定的变形网络调整高斯的位置以实现良好的视图对齐，并提出多视图评分函数以从多个视图中提取生成先验，进一步增强视图一致性和视觉质量。这项技术对于3D建模和设计领域具有重要意义，因为它支持更多样化的编辑效果，并适用于多种对象类别和3D表示。

下一代生成式AI环境

CopernicAI是一个下一代生成式AI环境，利用最新的深度学习技术生成高质量的360度全景图像。它采用2+1D方法生成环境，结合2D图像和1D深度信息，为用户提供沉浸式的视觉体验。CopernicAI提供多种生成方式，包括生成360度全景图像、小行星图等，用户可以通过输入文字来生成不同风格和场景的图像。CopernicAI适用于各种应用场景，包括虚拟旅游、游戏开发、艺术创作等。产品定价详细信息请访问官方网站。

数学视觉指令调优模型

MAVIS是一个针对多模态大型语言模型（MLLMs）的数学视觉指令调优模型，主要通过改进视觉编码数学图表、图表-语言对齐和数学推理技能来增强MLLMs在视觉数学问题解决方面的能力。该模型包括两个新策划的数据集、一个数学视觉编码器和数学MLLM，通过三阶段训练范式在MathVerse基准测试中取得领先性能。

利用像素空间拉普拉斯扩散模型生成高质量图像

Edify Image是NVIDIA推出的一款图像生成模型，它能够生成具有像素级精确度的逼真图像内容。该模型采用级联像素空间扩散模型，并通过新颖的拉普拉斯扩散过程进行训练，该过程能够在不同频率带以不同的速率衰减图像信号。Edify Image支持多种应用，包括文本到图像合成、4K上采样、ControlNets、360° HDR全景图生成和图像定制微调。它代表了图像生成技术的最新进展，具有广泛的应用前景和重要的商业价值。

高分辨率3D内容生成的多视图高斯模型

LGM是一个用于从文本提示或单视图图像生成高分辨率3D模型的新框架。它的关键见解是:(1) 3D表示:我们提出了多视图高斯特征作为一个高效 yet 强大的表示,然后可以将其融合在一起进行不同iable 渲染。(2) 3D主干:我们呈现了一个不对称U-Net作为一个高通量的主干操作多视图图像,这可以通过利用多视图扩散模型从文本或单视图图像输入中产生。大量的实验表明了我们方法的高保真度和效率。值得注意的是,我们在将训练分辨率提高到512的同时保持生成3D对象的快速速度,从而实现了高分辨率的3D内容生成。

多模态图像生成模型

Instruct-Imagen是一个多模态图像生成模型，通过引入多模态指令，实现对异构图像生成任务的处理，并在未知任务中实现泛化。该模型利用自然语言整合不同的模态（如文本、边缘、风格、主题等），标准化丰富的生成意图。通过在预训练文本到图像扩散模型上进行两阶段框架的微调，采用检索增强训练和多样的图像生成任务微调，使得该模型在各种图像生成数据集上的人工评估结果表明，其在领域内与先前的任务特定模型相匹配或超越，并展现出对未知和更复杂任务的有希望的泛化能力。

小型多模态模型，支持图像和文本生成

Fuyu-8B是由Adept AI训练的多模态文本和图像转换模型。它具有简化的架构和训练过程，易于理解、扩展和部署。它专为数字代理设计，可以支持任意图像分辨率，回答关于图表和图形的问题，回答基于UI的问题，并对屏幕图像进行细粒度定位。它的响应速度很快，可以在100毫秒内处理大型图像。尽管针对我们的用例进行了优化，但它在标准图像理解基准测试中表现良好，如视觉问答和自然图像字幕。请注意，我们发布的模型是一个基础模型，我们希望您根据具体的用例进行微调，例如冗长的字幕或多模态聊天。在我们的经验中，该模型对于少样本学习和各种用例的微调都表现良好。

无需训练即可定制化生成个性化人像图像

MagicFace是一种无需训练即可实现个性化人像合成的技术，它能够根据给定的多个概念生成高保真度的人像图像。这项技术通过精确地将参考概念特征在像素级别集成到生成区域中，实现了多概念的个性化定制。MagicFace引入了粗到细的生成流程，包括语义布局构建和概念特征注入两个阶段，通过Reference-aware Self-Attention (RSA)和Region-grouped Blend Attention (RBA)机制实现。该技术不仅在人像合成和多概念人像定制方面表现出色，还可用于纹理转移，增强其多功能性和实用性。

一个可以解释和生成梦境场景的ComfyUI插件

ComfyUI-Dream-Interpreter是一个ComfyUI插件,可以让用户输入自己的梦境描述,插件会解释这个梦境的潜在含义,并生成一个全景梦境场景图像。生成的不仅是静态图像,还是一个支持三维交互的Canvas,用户可以仿佛身临其境般探索自己的梦境世界。这个插件将梦境描述、解释和生成相结合,为用户提供一种独特的梦境体验。

多模态文本到图像生成模型

EMMA是一个基于最前沿的文本到图像扩散模型ELLA构建的新型图像生成模型，能够接受多模态提示，通过创新的多模态特征连接器设计，有效整合文本和补充模态信息。该模型通过冻结原始T2I扩散模型的所有参数，并仅调整一些额外层，揭示了预训练的T2I扩散模型可以秘密接受多模态提示的有趣特性。EMMA易于适应不同的现有框架，是生成个性化和上下文感知图像甚至视频的灵活有效工具。

一种将 2D 文字转换为全景 3D 场景的生成管道，为野外环境的全景场景的创建提供了数分钟的便利。

该管道利用 2D 扩散模型的生成能力和提示自修复来创建全景图像，作为初始的 “平面”（2D）场景表示。随后，通过雕刻技术将该图像提升为 3D 高斯函数，以实现实时探索。为了产生一致的 3D 几何结构，该管道通过将单目视角的深度构造为全局优化的点云来构建空间一致的结构。该点云作为 3D 高斯函数的初始状态，以帮助解决由单目输入导致的隐蔽问题。通过对合成和输入相机视图施加语义和几何约束，该管道引导高斯函数的优化，以重建未见区域。总的来说，该方法为 360 度视野提供了全局一致的 3D 场景，为现有技术提供了增强的免费体验。

DiffSplat 是一个从文本提示和单视图图像生成 3D 高斯点云的生成框架。

DiffSplat 是一种创新的 3D 生成技术，能够从文本提示和单视图图像快速生成 3D 高斯点云。该技术通过利用大规模预训练的文本到图像扩散模型，实现了高效的 3D 内容生成。它解决了传统 3D 生成方法中数据集有限和无法有效利用 2D 预训练模型的问题，同时保持了 3D 一致性。DiffSplat 的主要优点包括高效的生成速度（1~2 秒内完成）、高质量的 3D 输出以及对多种输入条件的支持。该模型在学术研究和工业应用中具有广泛前景，尤其是在需要快速生成高质量 3D 模型的场景中。

SCEdit是一个高效和可控制的图像扩散生成框架

SCEdit是一个由阿里巴巴提出的高效的生成模型精调框架。该框架增强了下游文本到图像生成任务的精调能力,并实现了对特定生成场景的快速适配,相比LoRA可以节省30%-50%的训练内存成本。此外,它可以直接扩展到可控图像生成任务,只需要ControlNet条件生成所需参数量的7.9%,并可以节省30%的内存使用。它支持各种条件生成任务,包括边缘图、深度图、分割图、姿态、色彩图以及图像补全等。

从手机拍摄的平移视频中生成全景视频

VidPanos 是一个创新的视频处理技术，它能够将用户随意拍摄的平移视频转换成全景视频。这项技术通过空间时间外推的方式，生成与原视频长度相同的全景视频。VidPanos 利用生成视频模型，解决了在移动物体存在时，静态全景图无法捕捉场景动态的问题。它能够处理包括人、车辆、流水以及静态背景在内的各种野外场景，展现出强大的实用性和创新性。

利用尖端AI技术，将创意转化为高质量图像。

Flux AI 图像生成器是由Black Forest Labs开发的，基于革命性的Flux系列模型，提供尖端的文本到图像技术。该产品通过其120亿参数的模型，能够精确解读复杂的文本提示，创造出多样化、高保真的图像。Flux AI 图像生成器不仅适用于个人艺术创作，也可用于商业应用，如品牌视觉、社交媒体内容等。它提供三种不同的版本以满足不同用户的需求：Flux Pro、Flux Dev和Flux Schnell。

多模态自回归模型，擅长文本生成图像

Lumina-mGPT是一个多模态自回归模型家族，能够执行各种视觉和语言任务，特别是在从文本描述生成灵活的逼真图像方面表现突出。该模型基于xllmx模块实现，支持以LLM为中心的多模态任务，适用于深度探索和快速熟悉模型能力。

4D场景创建工具，使用多视图视频扩散模型

CAT4D是一个利用多视图视频扩散模型从单目视频中生成4D场景的技术。它能够将输入的单目视频转换成多视角视频，并重建动态的3D场景。这项技术的重要性在于它能够从单一视角的视频资料中提取并重建出三维空间和时间的完整信息，为虚拟现实、增强现实以及三维建模等领域提供了强大的技术支持。产品背景信息显示，CAT4D由Google DeepMind、Columbia University和UC San Diego的研究人员共同开发，是一个前沿的科研成果转化为实际应用的案例。

一个支持多种AI艺术生成平台的创意工具，让艺术创作更简单。

多平台AI艺术生成器是一个集成了多个AI艺术生成平台的在线工具，如MidJourney、DALL-E 3、Leonardo等，为用户提供了丰富的艺术创作选项。它通过简单的操作流程，允许用户选择不同的AI平台和模型，设置分辨率，输入提示语，并生成艺术作品。该产品的主要优点在于其便捷性、创意性和多样性，它不仅适用于专业设计师寻找灵感，也适合普通用户进行个性化艺术创作。目前，该产品的具体价格和定位信息未在页面上提供。

基于文本生成图像的多模态扩散变换器模型

Stable Diffusion 3.5 Medium是一个基于文本到图像的生成模型，由Stability AI开发，具有改进的图像质量、排版、复杂提示理解和资源效率。该模型使用了三个固定的预训练文本编码器，通过QK-规范化提高训练稳定性，并在前12个变换层中引入双注意力块。它在多分辨率图像生成、一致性和各种文本到图像任务的适应性方面表现出色。

朱雀大模型检测，精准识别AI生成图像，助力内容真实性鉴别。

朱雀大模型检测是腾讯推出的一款AI检测工具，主要功能是检测图片是否由AI模型生成。它经过大量自然图片和生成图片的训练，涵盖摄影、艺术、绘画等内容，可检测多类主流文生图模型生成图片。该产品具有高精度检测、快速响应等优点，对于维护内容真实性、打击虚假信息传播具有重要意义。目前暂未明确其具体价格，但从功能来看，主要面向需要进行内容审核、鉴别真伪的机构和个人，如媒体、艺术机构等。