产品库

面部恢复的多功能模型

PGDiff是一个多功能的面部恢复框架，适用于广泛的面部恢复任务，包括盲恢复、上色、修补、基于参考的恢复、旧照片恢复等。它使用指导扩散模型，通过部分指导来实现面部恢复。PGDiff的优势在于它的多功能性和适用性，可以应用于多种面部恢复任务。

盲图像恢复技术，利用即时生成参考图像恢复破损图像

InstantIR是一种基于扩散模型的盲图像恢复方法，能够在测试时处理未知退化问题，提高模型的泛化能力。该技术通过动态调整生成条件，在推理过程中生成参考图像，从而提供稳健的生成条件。InstantIR的主要优点包括：能够恢复极端退化的图像细节，提供逼真的纹理，并且通过文本描述调节生成参考，实现创造性的图像恢复。该技术由北京大学、InstantX团队和香港中文大学的研究人员共同开发，得到了HuggingFace和fal.ai的赞助支持。

AI 助手，集成多功能 AI 工具

Sider 是一款 AI 助手，集成了 ChatGPT 3.5/4、Gemini 和 Claude 等多功能 AI 工具，能够帮助用户进行聊天、写作、阅读、翻译、解释、图像测试等操作。用户可在任何网页上使用 Sider，提供强大的 AI 支持。

智能对话助手，多功能大模型

Luca面壁露卡是一款基于面壁智能的新一代大语言模型，能够与用户进行互动对话，帮助用户了解世界知识、激发创作灵感、理解图片内容、处理数理逻辑、编写程序代码，帮助用户更好地获取信息、做出规划、解决问题。该产品具有高效、智能、多功能等优势，定价合理，适用于各种场景。

多功能大规模扩散模型，支持双向图像合成与理解。

OneDiffusion是一个多功能、大规模的扩散模型，它能够无缝支持双向图像合成和理解，覆盖多种任务。该模型预计将在12月初发布代码和检查点。OneDiffusion的重要性在于其能够处理图像合成和理解任务，这在人工智能领域是一个重要的进步，尤其是在图像生成和识别方面。产品背景信息显示，这是一个由多位研究人员共同开发的项目，其研究成果已在arXiv上发表。

多模型聊天界面，轻松添加模型开始对话。

openrouter 是一个创新的多模型聊天界面，允许用户在浏览器中轻松与不同的语言模型进行交互。它通过简单的界面使得聊天变得更加直观和有趣，适合各种用户需求，包括角色扮演、编程辅助等。该产品存储数据在本地，确保用户的隐私和数据安全。由于它是一个网页应用，用户无需安装任何软件，即可随时随地访问，提升了使用的便捷性和灵活性。

AI驱动的开发者多功能工具API

SharpAPI是一款AI驱动的开发者多功能工具API，旨在为程序员提供一系列工具和功能。它提供了一套全面的功能，以简化开发流程并提高生产力。

使用生成扩散先验进行盲图像恢复

DiffBIR 是一种基于生成扩散先验的盲图像恢复模型。它通过两个阶段的处理来去除图像的退化，并细化图像的细节。DiffBIR 的优势在于提供高质量的图像恢复结果，并且具有灵活的参数设置，可以在保真度和质量之间进行权衡。该模型的使用是免费的。

多功能智能大模型

讯飞星火认知大模型是科大讯飞推出的新一代认知智能大模型，拥有跨领域的知识和语言理解能力，能够基于自然对话方式理解与执行任务。它具有语言理解、知识问答、逻辑推理、数学题解答、代码理解与编写等多种能力。该产品定位于为用户提供全面的语言理解与执行任务的解决方案。

一款多功能聊天机器人

M1-Chat是一款功能强大的多功能聊天机器人。它可以与用户进行对话，并提供多种实用功能，包括翻译、天气查询、提醒事项、日历管理等。M1-Chat还具有智能推荐功能，可以根据用户的兴趣和需求提供个性化的推荐内容。M1-Chat的定价灵活，提供多种套餐供用户选择。它适用于个人用户、商业用户和教育用户，能够满足不同用户的需求。

Scira AI 是一个多功能的 AI 平台，提供多种 API 接口，支持多种应用场景。

Scira AI 是一个强大的 AI 平台，通过集成多种 API 接口，为用户提供广泛的应用支持。它支持多种数据处理和分析功能，能够满足不同用户在不同场景下的需求。该平台的主要优点是灵活性高、功能丰富，能够快速部署和使用。它适用于需要多种 AI 功能支持的用户和企业，价格和具体定位可能因用户需求而异。

基于扩散模型的肖像图像动画技术

Hallo是一个由复旦大学开发的肖像图像动画技术，它利用扩散模型生成逼真且动态的肖像动画。与传统依赖参数模型的中间面部表示不同，Hallo采用端到端的扩散范式，并引入了一个分层的音频驱动视觉合成模块，以增强音频输入和视觉输出之间的对齐精度，包括嘴唇、表情和姿态运动。该技术提供了对表情和姿态多样性的自适应控制，能够更有效地实现个性化定制，适用于不同身份的人。

多功能文本生成工具

文心大模型包含文本生成、文生图、智能对话等技能，可用于文化传媒、艺术创作、教育科研、金融保险、医疗健康等多个应用场景。该产品具有高效、智能、多样化等优势，定价灵活，适用于个人用户和企业用户。

集成空间编织注意力，提升扩散模型的高保真条件

HelloMeme是一个集成了空间编织注意力的扩散模型，旨在将高保真和丰富的条件嵌入到图像生成过程中。该技术通过提取驱动视频中的每一帧特征，并将其作为输入到HMControlModule，从而生成视频。通过进一步优化Animatediff模块，提高了生成视频的连续性和保真度。此外，HelloMeme还支持通过ARKit面部混合形状控制生成的面部表情，以及基于SD1.5的Lora或Checkpoint，实现了框架的热插拔适配器，不会影响T2I模型的泛化能力。

基于感知损失的扩散模型

该论文介绍了一种基于感知损失的扩散模型，通过将感知损失直接纳入扩散训练中来提高样本质量。对于有条件生成，该方法仅改善样本质量而不会影响条件输入，因此不会牺牲样本多样性。对于无条件生成，这种方法也能提高样本质量。论文详细介绍了方法的原理和实验结果。

多功能中文英文对话模型

Gemma-2-9B-Chinese-Chat是一款基于google/gemma-2-9b-it的指令调整型语言模型，专为中英文用户设计，具备角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调，显著提升了对中文问题的响应准确性，减少了中英文混合使用的问题，并在角色扮演、工具使用和数学计算方面表现出色。

使用预训练扩散模型制作视觉错觉

Visual Anagrams是一种简单的、零样本方法，用于生成多视角视觉错觉。我们展示了理论和实践证明，我们的方法支持广泛的变换，包括旋转、翻转、颜色反转、倾斜、拼图重排和随机排列等。我们的方法使用预训练扩散模型来估计图像的不同视角或变换中的噪声，并将其对齐并平均。然后使用这个平均噪声估计来进行扩散步骤。使用Visual Anagrams，您可以制作出多种多视角视觉错觉。

神经网络扩散模型实现

Neural Network Diffusion是由新加坡国立大学高性能计算与人工智能实验室开发的神经网络扩散模型。该模型利用扩散过程生成高质量的图像，适用于图像生成和修复等任务。

基于扩散模型的音频驱动人像和动物图像动画技术

JoyVASA是一种基于扩散模型的音频驱动人像动画技术，它通过分离动态面部表情和静态3D面部表示来生成面部动态和头部运动。这项技术不仅能够提高视频质量和唇形同步的准确性，还能扩展到动物面部动画，支持多语言，并在训练和推理效率上有所提升。JoyVASA的主要优点包括更长视频生成能力、独立于角色身份的运动序列生成以及高质量的动画渲染。

生成大型属性图的扩散模型

GraphMaker是一个用于生成大型属性图的扩散模型。它可以同时生成节点属性和图结构，也可以先生成节点属性再生成图结构。支持的数据集包括cora、citeseer、amazon_photo和amazon_computer。您可以使用训练好的模型来生成图。

升级扩散模型插件通用兼容性

X-Adapter是一个通用升级工具，可以使预训练的插件模块（例如ControlNet、LoRA）直接与升级的文本到图像扩散模型（例如SD-XL）配合使用，无需进一步重新训练。通过训练额外的网络来控制冻结的升级模型，X-Adapter保留旧模型的连接器，并添加可训练的映射层以连接不同版本模型的解码器进行特征重映射。重映射的特征将作为升级模型的引导。为了增强X-Adapter的引导能力，我们采用空文本训练策略。在训练后，我们还引入了两阶段去噪策略，以调整X-Adapter和升级模型的初始潜变量。X-Adapter展示了与各种插件的通用兼容性，并使不同版本的插件能够共同工作，从而扩展了扩散社区的功能。我们进行了大量实验证明，X-Adapter可能在升级的基础扩散模型中有更广泛的应用。

RWKV架构的可扩展扩散模型

Diffusion-RWKV是一种基于RWKV架构的扩散模型,旨在提高扩散模型的可扩展性。它针对图像生成任务进行了相应的优化和改进,可以生成高质量的图像。该模型支持无条件和类条件训练,具有较好的性能和可扩展性。

一张图生成多视角扩散基础模型

Zero123++是一个单图生成多视角一致性扩散基础模型。它可以从单个输入图像生成多视角图像，具有稳定的扩散VAE。您可以使用它来生成具有灰色背景的不透明图像。您还可以使用它来运行深度ControlNet。模型和源代码均可在官方网站上获得。

改进扩散模型采样质量的免费方法

FreeU是一种方法，可以在不增加成本的情况下显著提高扩散模型的采样质量：无需训练，无需引入额外参数，无需增加内存或采样时间。该方法通过重新加权U-Net的跳跃连接和主干特征图的贡献，结合U-Net架构的两个组成部分的优势，从而提高生成质量。通过在图像和视频生成任务上进行实验，我们证明了FreeU可以轻松集成到现有的扩散模型中，例如Stable Diffusion、DreamBooth、ModelScope、Rerender和ReVersion，只需几行代码即可改善生成质量。

基于扩散模型实现的图片编辑方案

DragonDiffusion 是一种基于扩散模型的精细化图片编辑方案，支持对象移动、对象调整大小、对象外观替换和内容拖拽等多种编辑模式。通过特征对应损失将编辑信号转化为梯度，修改扩散模型的中间表示。特征对应损失考虑了语义和几何对齐的多个尺度，并添加了跨分支自注意力机制以保持原始图像和编辑结果的一致性。

DA-CLIP的通用图像恢复

DA-CLIP是一种降级感知的视觉语言模型，可用作图像恢复的通用框架。它通过训练一个额外的控制器，使固定的CLIP图像编码器能够预测高质量的特征嵌入，并将其整合到图像恢复网络中，从而学习高保真度的图像重建。控制器本身还会输出与输入的真实损坏匹配的降级特征，为不同的降级类型提供自然的分类器。DA-CLIP还使用混合降级数据集进行训练，提高了特定降级和统一图像恢复任务的性能。

视频生成的时空扩散模型

Lumiere是一个文本到视频扩散模型，旨在合成展现真实、多样和连贯运动的视频，解决视频合成中的关键挑战。我们引入了一种空时U-Net架构，可以一次性生成整个视频的时间持续，通过模型的单次传递。这与现有的视频模型形成对比，后者合成远距离的关键帧，然后进行时间超分辨率处理，这种方法本质上使得全局时间一致性难以实现。通过部署空间和（重要的是）时间的下采样和上采样，并利用预训练的文本到图像扩散模型，我们的模型学会直接生成多个时空尺度下的全帧率、低分辨率视频。我们展示了最先进的文本到视频生成结果，并展示了我们的设计轻松促进了各种内容创作任务和视频编辑应用，包括图像到视频、视频修补和风格化生成。

加速高分辨率扩散模型推理

DistriFusion是一个训练不需要的算法,可以利用多个GPU来加速扩散模型推理,而不会牺牲图像质量。DistriFusion可以根据使用的设备数量减少延迟,同时保持视觉保真度。

使用扩散模型实现时域一致的人体图像动画

MagicAnimate是一款基于扩散模型的先进框架，用于人体图像动画。它能够从单张图像和动态视频生成动画视频，具有时域一致性，能够保持参考图像的特征，并显著提升动画的保真度。MagicAnimate支持使用来自各种来源的动作序列进行图像动画，包括跨身份的动画和未见过的领域，如油画和电影角色。它还与DALLE3等T2I扩散模型无缝集成，可以根据文本生成的图像赋予动态动作。MagicAnimate由新加坡国立大学Show Lab和Bytedance字节跳动共同开发。