产品库

Stable Diffusion推理优化java实现

sd4j是一个使用ONNX Runtime的Stable Diffusion推理Java实现,以C#实现进行了优化移植,带有重复生成图像的图形界面,并支持负面文本输入。 旨在演示如何在Java中使用ONNX Runtime,以及获得良好性能的ONNX Runtime的最佳实践。 我们将使其与ONNX Runtime的最新版本保持同步,并随着通过ONNX Runtime Java API提供的性能相关ONNX Runtime功能的出现进行适当更新。 所有代码都可能会发生变化,因为这是一个代码示例,任何API都不应该被视为稳定的。

Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速

Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。

Animagine XL 4.0 是一款专注于动漫风格的Stable Diffusion XL模型，专为生成高质量动漫图像而设计。

Animagine XL 4.0 是一款基于Stable Diffusion XL 1.0微调的动漫主题生成模型。它使用了840万张多样化的动漫风格图像进行训练，训练时长达到2650小时。该模型专注于通过文本提示生成和修改动漫主题图像，支持多种特殊标签，可控制图像生成的不同方面。其主要优点包括高质量的图像生成、丰富的动漫风格细节以及对特定角色和风格的精准还原。该模型由Cagliostro Research Lab开发，采用CreativeML Open RAIL++-M许可证，允许商业使用和修改。

基于Kokoro和ONNX运行时的文本到语音（TTS）项目。

kokoro-onnx是一个基于Kokoro模型和ONNX运行时的文本到语音（TTS）项目。它支持英语，并计划支持法语、日语、韩语和中文。该模型在macOS M1上具有接近实时的快速性能，并提供多种声音选择，包括耳语。模型轻量级，约为300MB（量化后约为80MB）。该项目在GitHub上开源，采用MIT许可证，方便开发者集成和使用。

基于音频条件的潜在扩散模型的唇部同步框架

LatentSync 是由字节跳动开发的一款基于音频条件的潜在扩散模型的唇部同步框架。它能够直接利用 Stable Diffusion 的强大能力，无需任何中间运动表示，即可建模复杂的音视频关联。该框架通过提出的时间表示对齐（TREPA）技术，有效提升了生成视频帧的时间一致性，同时保持了唇部同步的准确性。该技术在视频制作、虚拟主播、动画制作等领域具有重要应用价值，能够显著提高制作效率，降低人工成本，为用户带来更加逼真、自然的视听体验。LatentSync 的开源特性也使其能够被广泛应用于学术研究和工业实践，推动相关技术的发展和创新。

AI驱动的桌面应用，提供惊人的图像转换效果。

Imagenie是一个注重隐私的桌面应用程序，它将先进的AI图像处理技术带到您的指尖。从令人惊叹的图像放大到精确的背景移除，Imagenie旨在帮助从业余爱好者到专业人士的每个人轻松转换他们的图像。该产品使用现代技术栈开发，采用Tauri 2和Vue 3，提供超轻量级桌面应用。基于ONNX Runtime构建，优化了闪电般的处理速度。它以直观的用户体验设计，将强大的工具集成在一个用户友好的界面中。

基于扩散模型的高保真服装重建虚拟试穿技术

TryOffDiff是一种基于扩散模型的高保真服装重建技术，用于从穿着个体的单张照片中生成标准化的服装图像。这项技术与传统的虚拟试穿不同，它旨在提取规范的服装图像，这在捕捉服装形状、纹理和复杂图案方面提出了独特的挑战。TryOffDiff通过使用Stable Diffusion和基于SigLIP的视觉条件来确保高保真度和细节保留。该技术在VITON-HD数据集上的实验表明，其方法优于基于姿态转移和虚拟试穿的基线方法，并且需要较少的预处理和后处理步骤。TryOffDiff不仅能够提升电子商务产品图像的质量，还能推进生成模型的评估，并激发未来在高保真重建方面的工作。

基于Stable Diffusion 3.5 Large模型的IP适配器

SD3.5-Large-IP-Adapter是一个基于Stable Diffusion 3.5 Large模型的IP适配器，由InstantX Team研发。该模型能够将图像处理工作类比于文本处理，具有强大的图像生成能力，并且可以通过适配器技术进一步提升图像生成的质量和效果。该技术的重要性在于其能够推动图像生成技术的发展，特别是在创意工作和艺术创作领域。产品背景信息显示，该模型是由Hugging Face和fal.ai赞助的项目，并且遵循stabilityai-ai-community的许可协议。

利用AI生成印度风格的图像

BharatDiffusion是一个基于AI的图像生成模型，专门针对印度的多样化景观、文化和遗产进行微调，能够生成反映印度丰富文化和特色的高质量图像。该模型使用Stable Diffusion技术处理所有图像生成，确保内容与印度的多样性和活力相呼应。

Photoshop与SD/SDForge/ComfyUI之间的通信插件

sd-ppp是一个允许用户在Adobe Photoshop和各种Stable Diffusion界面（如SD/SDForge/ComfyUI）之间进行通信的插件。它支持多层操作，包括文本层和图像层，能够处理多个文档和多个Photoshop实例，并允许用户在文档的特定区域工作。该插件对于设计师和艺术家来说是一个强大的工具，因为它可以简化工作流程，提高创作效率，并允许他们利用Stable Diffusion的强大功能来增强他们的设计和艺术作品。

基于DIT模型自注意力能力的单概念迁移研究

Comfyui_Object_Migration是一个实验性项目，专注于Stable Diffusion (SD)模型。该项目通过使用DIT模型的自注意力能力，实现了在单次生成的图像中，同一对象或角色保持高度一致性。项目通过简化预处理逻辑，开发出了一种高效的迁移方法，能够引导模型关注所需内容，提供惊人的一致性。目前已开发出适用于服装的迁移模型，能够实现卡通服装到现实风格或现实服装到卡通风格的迁移，并通过权重控制激发设计创造力。

高效分离图像前景与背景的模型

RMBG-2.0是由BRIA AI开发的背景移除模型，旨在有效分离图像中的前景和背景。该模型在包括通用库存图像、电子商务、游戏和广告内容的精选数据集上进行了训练，适合商业用例，能够大规模驱动企业内容创作。其准确性、效率和多功能性可与领先的开源模型相媲美。RMBG-2.0是作为源代码可用的模型，用于非商业用途。

基于文本生成高质量图像的AI模型

SD3.5-LoRA-Linear-Red-Light是一个基于文本到图像生成的AI模型，通过使用LoRA（Low-Rank Adaptation）技术，该模型能够根据用户提供的文本提示生成高质量的图像。这种技术的重要性在于它能够以较低的计算成本实现模型的微调，同时保持生成图像的多样性和质量。该模型基于Stable Diffusion 3.5 Large模型，并在此基础上进行了优化和调整，以适应特定的图像生成需求。

基于Stable Diffusion的LoRA模型，生成逼真动漫风格图像

RealAnime - Detailed V1 是一个基于Stable Diffusion的LoRA模型，专门用于生成逼真的动漫风格图像。该模型通过深度学习技术，能够理解并生成高质量的动漫人物图像，满足动漫爱好者和专业插画师的需求。它的重要性在于能够大幅度提高动漫风格图像的生成效率和质量，为动漫产业提供强大的技术支持。目前，该模型在Tensor.Art平台上提供，用户可以通过在线方式使用，无需下载安装，方便快捷。价格方面，用户可以通过购买Buffet计划来解锁下载权益，享受更灵活的使用方式。

高效CPU本地离线LaTeX识别工具

MixTeX是一个创新的多模态LaTeX识别小程序，由团队独立开发，能够在本地离线环境中执行高效的基于CPU的推理。无论是LaTeX公式、表格还是混合文本，MixTeX都能轻松识别，支持中英文处理。得益于强大的技术支持和优化设计，MixTeX无需GPU资源即可高效运行，适合任何Windows电脑，极大地方便了用户体验。

基于控制网络的图像生成模型

FLUX.1-dev-Controlnet-Canny-alpha是一个基于控制网络的图像生成模型，属于Stable Diffusion系列。它使用先进的Diffusers技术，通过文本到图像的转换为用户提供高质量的图像生成服务。此模型特别适用于需要精确控制图像细节和风格的场景。

基于FLUX.1-dev模型的LoRA文本到图像生成技术。

flux-RealismLora是由XLabs AI团队发布的基于FLUX.1-dev模型的LoRA技术，用于生成逼真的图像。该技术通过文本提示生成图像，支持多种风格，如动画风格、幻想风格和自然电影风格。XLabs AI提供了训练脚本和配置文件，以方便用户进行模型训练和使用。

AI图像生成与优化工具

Amuse 2.0 Beta是一款由AMD推出的桌面客户端软件，专为AMD Ryzen™ AI 300系列处理器和Radeon™ RX 7000系列显卡用户设计，提供AI图像生成和优化体验。它结合了Stable Diffusion模型和AMD XDNA™超级分辨率技术，无需复杂安装和配置，即可实现高质量的AI图像生成。

多平台Stable Diffusion的一键安装包 支持Mac

Stability Matrix 是一个用户友好的桌面客户端，旨在简化 Stable Diffusion 的图像生成过程。它通过一键安装和无缝的模型集成，帮助用户轻松管理和生成图像，无需深入的技术知识。该工具支持多种操作系统，并能有效管理模型资源，降低用户的学习曲线。Stability Matrix 提供稳定性和灵活性，特别适合图像创作者、设计师及数字艺术家使用。

轻量级OCR模型，推理速度快

OnnxOCR是基于PaddleOCR重构的轻量级OCR模型，它脱离了PaddlePaddle深度学习训练框架，实现了快速的推理速度。该模型支持超过80种语言的推理，并在转换为ONNX模型后，推理速度比使用PaddlePaddle框架快5倍。OnnxOCR独立于深度学习训练框架，可以直接部署，适用于计算能力有限但需要保持准确性的场景，并且可以在ARM和x86架构的计算机上部署。

在线AI图像生成和模型托管平台

Tensor.Art是一个免费的在线图像生成器和模型托管平台，提供多种AI工具和功能，支持用户通过文本描述生成图像，以及自定义和微调AI模型。平台背景强大，拥有先进的Stable Diffusion技术，支持多种节点和工作流的复杂组合，适用于从初学者到专业设计师的不同需求。

简化SdxlWebUi的安装和使用，让图像生成更便捷。

EasySdxlWebUi是一个开源项目，旨在简化SdxlWebUi的安装和使用过程，使得用户可以更加方便地利用Stable Diffusion web UI和forge等工具进行图像生成。项目支持多种扩展功能，允许用户通过web界面进行参数设置和图像生成，同时也支持自定义和自动化安装，适合需要快速上手和高效生成图像的用户。

在浏览器中直接运行先进的机器学习模型。

transformers.js 是一个JavaScript库，旨在为网页提供先进的机器学习能力。它允许用户在浏览器中直接运行预训练的Transformers模型，无需服务器支持。该库使用ONNX Runtime作为后端，支持将PyTorch、TensorFlow或JAX模型转换为ONNX格式。transformers.js 与 Hugging Face 的 transformers Python 库功能等价，提供相似的API，使得开发者能够轻松地将现有代码迁移到网页端。

创建不同姿势的给定角色图像

cog-consistent-character 是一个基于 AI 的图像生成模型，允许用户创建给定角色在不同姿势下的图像。它利用了 Stable Diffusion 技术，通过 ComfyUI 提供了一个用户友好的界面，使得即使是没有编程背景的用户也能轻松生成高质量的图像。

Phi-3 Mini 量化ONNX模型,支持多硬件平台加速推理

Phi-3 Mini是一款轻量级的最先进的开源大模型,构建于用于Phi-2的合成数据和过滤网站数据之上,致力于提供极高质量、推理密集型的数据。该模型经过了严格的增强过程,结合了监督式微调和直接偏好优化,以确保精确遵循指令和强大的安全措施。该仓库提供了Phi-3 Mini的优化ONNX版本,可通过ONNX Runtime在CPU和GPU上进行加速推理,支持服务器、Windows、Linux、Mac等多种平台,并针对每个平台提供最佳精度配置。ONNX Runtime的DirectML支持还可让开发人员在AMD、英特尔和NVIDIA GPU驱动的Windows设备上实现大规模硬件加速。

基于SDXL的ControlNet Tile模型，适用于Stable Diffusion SDXL ControlNet的高分辨率图像修复。

这是一个基于SDXL的ControlNet Tile模型,使用Hugging Face Diffusers训练集,适用于Stable Diffusion SDXL ControlNet。它最初是为我自己的逼真模型训练,用于终极放大过程以提高图像细节。使用合适的工作流程,它可以为高细节、高分辨率的图像修复提供良好的结果。由于大多数开源没有SDXL Tile模型,我决定分享这个模型。该模型支持高分辨率修复、风格迁移和图像修复等功能,可以为你提供高质量的图像处理体验。

用于Stable Diffusion 1.5的图像组合适配器

该适配器为Stable Diffusion 1.5设计,用于将一般图像组合注入到模型中,同时大部分忽略风格和内容。例如一个人摆手的肖像会生成一个完全不同的人在摆手的图像。该适配器的优势是允许控制更加灵活,不像Control Nets那样会严格匹配控制图像。产品由POM with BANODOCO构思,ostris训练并发布。

一个强大的安卓Stable Diffusion客户端

diffusion-client是一个用于安卓的Stable Diffusion客户端。它提供了强大的图像生成能力,包括文本到图像、图像到图像、图像修复等功能。该APP支持多种模型,内置控制网调节生成效果。另外,该APP具有历史记录管理、标签提取等高级功能,同时支持扩展插件,可链接到Civitai等模型。

Stability AI 推出图像提升增强工具：Creative Upscaler 可以将图像升级到 4k 分辨率，并创造以前没有的新细节和赋予图像新生命。

Creative Upscaler是一个基于AI的图片生成器,可以让任何人快速轻松地创建高质量的艺术作品。它整合了多种前沿的机器学习算法,如Stable Diffusion、DALL-E 2、VQGAN+CLIP等,支持生成各种风格的图像。用户只需要提供文字描述,Creative Upscaler就可以自动生成图片。同时,它还有创造性的图像上样器功能,可以把低分辨率图片转换成高清大图。Creative Upscaler完全免费使用,拥有庞大活跃的社区,是探索AI艺术的最佳选择。

Stable Diffusion WebUI Forge是基于Stable Diffusion WebUI的图像生成平台

Stable Diffusion WebUI Forge基于Stable Diffusion WebUI和Gradio开发,旨在优化资源管理、加速推理。相比原版WebUI在1024px分辨率下的SDXL推理,Forge可提升30-75%的速度,最大分辨率提升2-3倍,最大batch size提升4-6倍。Forge保持了原版WebUI的所有功能,同时新增了DDPM、DPM++、LCM等采样器,实现了Free U、SVD、Zero123等算法。使用Forge的UNet Patcher,开发者可以用极少的代码实现算法。Forge还优化了控制网络的使用,实现真正的零内存占用调用。