产品库

Stable Diffusion推理优化java实现

sd4j是一个使用ONNX Runtime的Stable Diffusion推理Java实现,以C#实现进行了优化移植,带有重复生成图像的图形界面,并支持负面文本输入。 旨在演示如何在Java中使用ONNX Runtime,以及获得良好性能的ONNX Runtime的最佳实践。 我们将使其与ONNX Runtime的最新版本保持同步,并随着通过ONNX Runtime Java API提供的性能相关ONNX Runtime功能的出现进行适当更新。 所有代码都可能会发生变化,因为这是一个代码示例,任何API都不应该被视为稳定的。

Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速

Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。

基于Kokoro和ONNX运行时的文本到语音（TTS）项目。

kokoro-onnx是一个基于Kokoro模型和ONNX运行时的文本到语音（TTS）项目。它支持英语，并计划支持法语、日语、韩语和中文。该模型在macOS M1上具有接近实时的快速性能，并提供多种声音选择，包括耳语。模型轻量级，约为300MB（量化后约为80MB）。该项目在GitHub上开源，采用MIT许可证，方便开发者集成和使用。

Stable Diffusion WebUI Forge是基于Stable Diffusion WebUI的图像生成平台

Stable Diffusion WebUI Forge基于Stable Diffusion WebUI和Gradio开发,旨在优化资源管理、加速推理。相比原版WebUI在1024px分辨率下的SDXL推理,Forge可提升30-75%的速度,最大分辨率提升2-3倍,最大batch size提升4-6倍。Forge保持了原版WebUI的所有功能,同时新增了DDPM、DPM++、LCM等采样器,实现了Free U、SVD、Zero123等算法。使用Forge的UNet Patcher,开发者可以用极少的代码实现算法。Forge还优化了控制网络的使用,实现真正的零内存占用调用。

TensorRT加速的Stable Diffusion扩展

Stable-Diffusion-WebUI-TensorRT是一个用于Stable Diffusion的TensorRT加速扩展，可在NVIDIA RTX GPU上实现最佳性能。该扩展需要安装并生成优化的引擎才能使用。支持Stable Diffusion 1.5和2.1版本。安装步骤请参考官方网址。使用时，可以生成默认引擎，选择TRT模型，加速生成图像。可以根据需要生成多个优化引擎。详细的使用说明和常见问题请参考官方文档。

Phi-3 Mini 量化ONNX模型,支持多硬件平台加速推理

Phi-3 Mini是一款轻量级的最先进的开源大模型,构建于用于Phi-2的合成数据和过滤网站数据之上,致力于提供极高质量、推理密集型的数据。该模型经过了严格的增强过程,结合了监督式微调和直接偏好优化,以确保精确遵循指令和强大的安全措施。该仓库提供了Phi-3 Mini的优化ONNX版本,可通过ONNX Runtime在CPU和GPU上进行加速推理,支持服务器、Windows、Linux、Mac等多种平台,并针对每个平台提供最佳精度配置。ONNX Runtime的DirectML支持还可让开发人员在AMD、英特尔和NVIDIA GPU驱动的Windows设备上实现大规模硬件加速。

一个强大的安卓Stable Diffusion客户端

diffusion-client是一个用于安卓的Stable Diffusion客户端。它提供了强大的图像生成能力,包括文本到图像、图像到图像、图像修复等功能。该APP支持多种模型,内置控制网调节生成效果。另外,该APP具有历史记录管理、标签提取等高级功能,同时支持扩展插件,可链接到Civitai等模型。

实时让肖像动起来！支持onnx/tensorrt

FasterLivePortrait是一个基于深度学习的实时肖像动画化项目。它通过使用TensorRT在RTX 3090 GPU上实现30+ FPS的实时运行速度，包括预处理和后处理，而不仅仅是模型推理速度。该项目还实现了将LivePortrait模型转换为Onnx模型，并在RTX 3090上使用onnxruntime-gpu实现约70ms/帧的推理速度，支持跨平台部署。此外，该项目还支持原生gradio app，速度提升数倍，并支持多张人脸的同时推理。代码结构经过重构，不再依赖PyTorch，所有模型使用onnx或tensorrt进行推理。

免费Stable Diffusion AI图像生成器

Stable Diffusion 是一个深度学习模型，可从文本描述生成图像。通过输入描述性文本，可以生成高质量的逼真图像。用户可以免费在线使用 Stable Diffusion，生成各种类型的艺术图像。

基于Stable Diffusion XL的图像生成模型

Mann-E Art是由Mann-E公司开发的一款基于Stable Diffusion XL的图像生成模型，专注于生成接近midjourney艺术风格的图像。该模型在训练过程中使用了约1000个midjourney输出以及团队收集的照片，擅长生成照片、艺术作品和数字绘画，但在像素艺术或矢量插画方面可能表现一般。

基于Stable Diffusion的图像生成Web界面

Stable Diffusion web UI是一个基于Stable Diffusion模型的Web界面，使用Gradio库实现，提供了多种图像生成功能，包括txt2img和img2img模式，一键安装和运行脚本，以及高级的图像处理选项，如Outpainting、Inpainting、Color Sketch等。它支持多种硬件平台，包括NVidia、AMD、Intel和Ascend NPUs，并提供了详细的安装和运行指南。

基于Stable Diffusion的LoRA模型，生成逼真动漫风格图像

RealAnime - Detailed V1 是一个基于Stable Diffusion的LoRA模型，专门用于生成逼真的动漫风格图像。该模型通过深度学习技术，能够理解并生成高质量的动漫人物图像，满足动漫爱好者和专业插画师的需求。它的重要性在于能够大幅度提高动漫风格图像的生成效率和质量，为动漫产业提供强大的技术支持。目前，该模型在Tensor.Art平台上提供，用户可以通过在线方式使用，无需下载安装，方便快捷。价格方面，用户可以通过购买Buffet计划来解锁下载权益，享受更灵活的使用方式。

用于Stable Diffusion 1.5的图像组合适配器

该适配器为Stable Diffusion 1.5设计,用于将一般图像组合注入到模型中,同时大部分忽略风格和内容。例如一个人摆手的肖像会生成一个完全不同的人在摆手的图像。该适配器的优势是允许控制更加灵活,不像Control Nets那样会严格匹配控制图像。产品由POM with BANODOCO构思,ostris训练并发布。

基于Stable Diffusion 3.5 Large模型的IP适配器

SD3.5-Large-IP-Adapter是一个基于Stable Diffusion 3.5 Large模型的IP适配器，由InstantX Team研发。该模型能够将图像处理工作类比于文本处理，具有强大的图像生成能力，并且可以通过适配器技术进一步提升图像生成的质量和效果。该技术的重要性在于其能够推动图像生成技术的发展，特别是在创意工作和艺术创作领域。产品背景信息显示，该模型是由Hugging Face和fal.ai赞助的项目，并且遵循stabilityai-ai-community的许可协议。

Stable Diffusion 3.5 Large的三款ControlNets模型

ControlNets for Stable Diffusion 3.5 Large是Stability AI推出的三款图像控制模型，包括Blur、Canny和Depth。这些模型能够提供精确和便捷的图像生成控制，适用于从室内设计到角色创建等多种应用场景。它们在用户偏好的ELO比较研究中排名第一，显示出其在同类模型中的优越性。这些模型在Stability AI社区许可下免费提供给商业和非商业用途，对于年收入不超过100万美元的组织和个人，使用完全免费，并且产出的媒体所有权归用户所有。

AI文本转GIF模型，与Stable Diffusion XL配套使用

Hotshot-XL是一个AI文本转GIF模型，训练用于与Stable Diffusion XL配套使用。Hotshot-XL可以使用任何经过微调的SDXL模型生成GIF。这意味着您可以使用任何现有或新经过微调的SDXL模型制作GIF。如果您想制作个性化主题的GIF，您可以加载自己的基于SDXL的LORAs，而无需担心对Hotshot-XL进行微调。这非常棒，因为通常很容易找到适合训练数据的图像，而找到视频则更困难。它还希望适用于每个人现有的LORA使用/工作流程。Hotshot-XL与SDXL ControlNet兼容，可以按照您想要的组合/布局制作GIF。Hotshot-XL经过训练，可以以8FPS生成1秒的GIF。Hotshot-XL经过训练，适用于各种宽高比。对于基本的Hotshot-XL模型，我们建议您使用与512x512图像进行微调的SDXL模型以获得最佳效果。您可以在此处找到我们为512x512分辨率进行微调的SDXL模型。

Civitai是一个AI艺术搜索引擎, 帮助你发现最佳的Stable Diffusion模型和图像

Civitai是一个专门为Stable Diffusion用户打造的AI艺术搜索引擎。它拥有海量标签化的模型和图像,支持按模型、艺术家、类别等进行搜索和浏览。Civitai会根据流行度和相关度对结果进行智能排序,帮你快速找到所需的模型和图片资源。它是使用Stable Diffusion的最佳搜索工具。

多平台Stable Diffusion的一键安装包 支持Mac

Stability Matrix 是一个用户友好的桌面客户端，旨在简化 Stable Diffusion 的图像生成过程。它通过一键安装和无缝的模型集成，帮助用户轻松管理和生成图像，无需深入的技术知识。该工具支持多种操作系统，并能有效管理模型资源，降低用户的学习曲线。Stability Matrix 提供稳定性和灵活性，特别适合图像创作者、设计师及数字艺术家使用。

托管在 NVIDIA NGC（NVIDIA GPU Cloud 针对深度学习和科学计算优化的基于GPU加速的云平台）上的一个免费实例

Stable Diffusion XL(SDXL)是一个生成对抗网络模型,能够用更短的提示生成富有表现力的图像,并在图像中插入文字。它基于 Stability AI 开发的 Stable Diffusion 模型进行了改进,使图像生成更加高质量和可控,支持用自然语言进行本地化图像编辑。该模型可用于各种创意设计工作,如概念艺术、平面设计、视频特效等领域。

基于SDXL的ControlNet Tile模型，适用于Stable Diffusion SDXL ControlNet的高分辨率图像修复。

这是一个基于SDXL的ControlNet Tile模型,使用Hugging Face Diffusers训练集,适用于Stable Diffusion SDXL ControlNet。它最初是为我自己的逼真模型训练,用于终极放大过程以提高图像细节。使用合适的工作流程,它可以为高细节、高分辨率的图像修复提供良好的结果。由于大多数开源没有SDXL Tile模型,我决定分享这个模型。该模型支持高分辨率修复、风格迁移和图像修复等功能,可以为你提供高质量的图像处理体验。

Animagine XL 4.0 是一款专注于动漫风格的Stable Diffusion XL模型，专为生成高质量动漫图像而设计。

Animagine XL 4.0 是一款基于Stable Diffusion XL 1.0微调的动漫主题生成模型。它使用了840万张多样化的动漫风格图像进行训练，训练时长达到2650小时。该模型专注于通过文本提示生成和修改动漫主题图像，支持多种特殊标签，可控制图像生成的不同方面。其主要优点包括高质量的图像生成、丰富的动漫风格细节以及对特定角色和风格的精准还原。该模型由Cagliostro Research Lab开发，采用CreativeML Open RAIL++-M许可证，允许商业使用和修改。

Stability AI推出高效低阈值文生图AI模型

Stable Cascade是一个基于Würstchen架构的文本到图像生成模型,相比其他模型使用更小的潜在空间进行训练和推理,因此在训练和推理速度上都有显著提升。该模型可以在消费级硬件上运行,降低了使用门槛。Stable Cascade在人类评估中表现突出,无论是在提示对齐还是图像质量上都超过了其他模型。总体而言,这是一个高效、易用、性能强劲的文生图AI模型。

Krita中的AI图像生成插件，无需调整即可修复和扩展画布。

krita-ai-diffusion是一个开源的Krita插件，旨在简化AI图像生成过程。它允许用户在Krita中通过AI技术修复图像中的选定区域、扩展画布以及从头开始创建新图像。插件支持文本提示，并提供强大的自定义选项，适合高级用户。它利用了Stable Diffusion技术，并与ComfyUI后端结合，提供了本地化、无需调整的图像生成体验。

本地运行稳定的 Diffusion 模型的最简单方式

Diffusion Bee 是在 Intel/M1 Mac 上本地运行稳定的 Diffusion 模型的最简单方式，提供一键安装程序，无需依赖或技术知识。 Diffusion Bee 在您的计算机上本地运行，不会将任何数据发送到云端（除非您选择上传图像）。 主要功能： - 图像转换 - 图像修复 - 图像生成历史记录 - 图像放大 - 多种图像尺寸 - 针对 M1/M2 芯片进行优化 - 支持负向提示和高级提示选项 - 控制网络 Diffusion Bee 是基于 Stable Diffusion 的 GUI 封装，所以所有 Stable Diffusion 的条款适用于输出结果。 欲了解更多信息，请访问文档。 系统要求： - 配有 Intel 或 M1/M2 芯片的 Mac - 对于 Intel 芯片：MacOS 12.3.1 或更高版本 - 对于 M1/M2 芯片：MacOS 11.0.0 或更高版本 许可证：Stable Diffusion 发布在 CreativeML OpenRAIL M 许可下。

Digma runtime linter for identifying risky code and bottlenecks

Digma runtime linter lets developers quickly identify risky code, potential errors and bottlenecks in complex codebases. It integrates into IntelliJ IDE to continuously highlight issues, regressions, and problems as you code. With real-time insights, you can spot issues early and make necessary improvements. Digma also helps untangle legacy systems and provides critical analytics on usage errors and performance baselines. It enhances the GitOps cycle, making code review and pull request feedback easier for teams. Digma collects code runtime data using OpenTelemetry and offers a free version for developers to experiment with in a local environment.

新一代文本到图像生成AI模型

Stable Diffusion 3是stability公司推出的新一代文本到图像生成AI模型,相比早期版本在多主体提示、图像质量和拼写能力等方面都有了极大提升。该模型采用了diffusion transformer架构和flow matching技术,参数量范围从800M到8B不等,提供了从个人用户到企业客户多种部署方案。主要功能包括:高质量图片生成、支持多主体、拼写错误纠正等。典型应用场景有:数字艺术创作、图片编辑、游戏和电影制作等。相比早期版本,该AI助手具有更强大的理解和创作能力,是新一代安全、开放、普惠的生成式AI典范。

支持多种语音识别和语音合成功能的开源项目

sherpa-onnx 是一个基于下一代 Kaldi 的语音识别和语音合成项目，使用onnxruntime进行推理，支持多种语音相关功能，包括语音转文字(ASR)、文字转语音(TTS)、说话人识别、说话人验证、语言识别、关键词检测等。它支持多种平台和操作系统，包括嵌入式系统、Android、iOS、Raspberry Pi、RISC-V、服务器等。

开源双语文生图生成模型

Taiyi-Diffusion-XL是一个开源的基于Stable Diffusion训练的双语文生图生成模型,支持英文和中文的文本到图像生成,相比之前的中文文生图模型有了显著提升。它可以根据文本描述生成照片般逼真的图像,支持多种图像风格,具有较高的生成质量和多样性。该模型采用创新的训练方式,扩展了词表、位置编码以支持长文本和中文,并在大规模双语数据集上进行训练,确保了其强大的中英文生成能力。

AI驱动的桌面应用，提供惊人的图像转换效果。

Imagenie是一个注重隐私的桌面应用程序，它将先进的AI图像处理技术带到您的指尖。从令人惊叹的图像放大到精确的背景移除，Imagenie旨在帮助从业余爱好者到专业人士的每个人轻松转换他们的图像。该产品使用现代技术栈开发，采用Tauri 2和Vue 3，提供超轻量级桌面应用。基于ONNX Runtime构建，优化了闪电般的处理速度。它以直观的用户体验设计，将强大的工具集成在一个用户友好的界面中。

在浏览器中直接运行先进的机器学习模型。

transformers.js 是一个JavaScript库，旨在为网页提供先进的机器学习能力。它允许用户在浏览器中直接运行预训练的Transformers模型，无需服务器支持。该库使用ONNX Runtime作为后端，支持将PyTorch、TensorFlow或JAX模型转换为ONNX格式。transformers.js 与 Hugging Face 的 transformers Python 库功能等价，提供相似的API，使得开发者能够轻松地将现有代码迁移到网页端。