产品库

实时让肖像动起来！支持onnx/tensorrt

FasterLivePortrait是一个基于深度学习的实时肖像动画化项目。它通过使用TensorRT在RTX 3090 GPU上实现30+ FPS的实时运行速度，包括预处理和后处理，而不仅仅是模型推理速度。该项目还实现了将LivePortrait模型转换为Onnx模型，并在RTX 3090上使用onnxruntime-gpu实现约70ms/帧的推理速度，支持跨平台部署。此外，该项目还支持原生gradio app，速度提升数倍，并支持多张人脸的同时推理。代码结构经过重构，不再依赖PyTorch，所有模型使用onnx或tensorrt进行推理。

TensorRT加速的Stable Diffusion扩展

Stable-Diffusion-WebUI-TensorRT是一个用于Stable Diffusion的TensorRT加速扩展，可在NVIDIA RTX GPU上实现最佳性能。该扩展需要安装并生成优化的引擎才能使用。支持Stable Diffusion 1.5和2.1版本。安装步骤请参考官方网址。使用时，可以生成默认引擎，选择TRT模型，加速生成图像。可以根据需要生成多个优化引擎。详细的使用说明和常见问题请参考官方文档。

基于深度学习的AI软件，将任何人脸照片生成达芬奇风格的肖像

DaVinciFace是一款基于深度学习的软件，使用生成对抗网络（GAN）技术，能够从任何人脸照片中生成达芬奇风格的肖像。具有超过5亿个训练参数的生成神经网络，仅需不到2分钟即可生成达芬奇风格的肖像。该软件可应用于艺术创作、娱乐等场景。免费生成的肖像带有logo，商业用途需要购买无logo的高分辨率版本。

基于Gradio的实时人像动画Web界面

AdvancedLivePortrait-WebUI是一个基于Gradio框架开发的Web界面，用于实时人像动画编辑。该技术允许用户通过上传图片来编辑人物的面部表情，实现了高效的肖像动画制作。它基于LivePortrait算法，利用深度学习技术进行面部特征的捕捉和动画制作，具有操作简便、效果逼真的优点。产品背景信息显示，它是由jhj0517开发的开源项目，适用于需要进行人像动画制作的专业人士和爱好者。目前该项目是免费的，并且开源，用户可以自由使用和修改。

这是一个使用深度学习为文字描述生成动画视频的模型

AnimateLCM是一个使用深度学习生成动画视频的模型。它可以仅使用极少的采样步骤就生成高保真的动画视频。与直接在原始视频数据集上进行一致性学习不同,AnimateLCM采用了解耦的一致性学习策略,将图像生成先验知识和运动生成先验知识的萃取进行解耦,从而提高了训练效率并增强了生成的视觉质量。此外,AnimateLCM还可以与Stable Diffusion社区的插件模块配合使用,实现各种可控生成功能。AnimateLCM已经在基于图像的视频生成和基于布局的视频生成中验证了其性能。

让静态照片中的面孔动起来的深度学习技术

Deep Nostalgia™是一项令人惊叹的技术，可以为家庭照片中的面孔添加动画。通过这项技术，您可以以前所未有的方式体验您的家族历史！Deep Nostalgia™使用深度学习技术，将预先准备好的动作序列应用于您静态照片中的面孔，创造出高质量、逼真的视频片段。这项功能能够让您的祖先微笑、眨眼、转头，真正为您的照片赋予生命！

实时预览的高级人脸动画工具

ComfyUI-AdvancedLivePortrait是一个用于实时预览和编辑人脸表情的高级工具。它允许用户在视频中跟踪和编辑人脸，将表情插入到视频中，甚至从样本照片中提取表情。这个项目通过使用ComfyUI-Manager自动安装，简化了安装过程。它结合了图像处理和机器学习技术，为用户提供了一个强大的工具，用于创建动态和互动的媒体内容。

深度学习、表示学习、细粒度分类

xinsir (qi) 是一个关于深度学习、表示学习和细粒度分类的产品。它提供了强大的功能和技术，具有主要优点和背景信息。该产品具有多个模型可供选择。

高级API，简化TensorFlow深度学习

TFLearn是一个基于TensorFlow的深度学习库，提供了一个高级API，用于实现深度神经网络。它具有易于使用和理解的高级API，快速的原型设计功能，全面的TensorFlow透明性，并支持最新的深度学习技术。TFLearn支持卷积网络、LSTM、双向RNN、批量归一化、PReLU、残差网络、生成网络等模型。可以用于图像分类、序列生成等任务。

深度学习天气预测模型

GraphCast是由Google DeepMind开发的深度学习模型，专注于全球中期天气预报。该模型通过先进的机器学习技术，能够预测天气变化，提高预报的准确性和速度。GraphCast模型在科学研究中发挥重要作用，有助于更好地理解和预测天气模式，对气象学、农业、航空等多个领域具有重要价值。

零样本风格化情侣肖像创作

Omni-Zero-Couples是一个使用diffusers管道的零样本风格化情侣肖像创作模型。它利用深度学习技术，无需预先定义的风格样本，即可生成具有特定艺术风格的情侣肖像。这种技术在艺术创作、个性化礼物制作和数字娱乐领域具有广泛的应用前景。

深度学习API，简单、灵活、强大

Keras是一个为人类设计的API，遵循最佳实践，简化认知负荷，提供一致而简单的API，最大限度地减少常见用例所需的用户操作次数，并提供清晰而可操作的错误信息。Keras旨在为任何希望推出基于机器学习的应用程序的开发人员提供不公平的优势。Keras专注于调试速度、代码优雅性和简洁性、可维护性和可部署性。使用Keras，您的代码库更小，更易读，更易于迭代。您的模型在XLA编译和Autograph优化的加持下运行更快，并且更容易在每个平台（服务器、移动设备、浏览器、嵌入式设备）上部署。

深入理解深度学习的原理与应用

《Understanding Deep Learning》是一本深入探讨深度学习原理和应用的书籍。它提供了丰富的数学背景知识、监督学习、神经网络的构建与训练等深度学习领域的全面内容。书中提供的Python笔记本练习帮助读者通过实践来加深理解。此外，还有为教师提供的资源，包括图像、幻灯片和教辅材料。

将您喜欢的图像转换为惊艳的深度动画

LeiaPix Converter是一个将任何喜欢的图像转换为令人惊叹的深度动画的工具。它通过使用AI技术，为图像添加深度效果，使图像栩栩如生。您可以选择动画长度、动画样式、运动量和焦点位置来自定义深度动画。LeiaPix Converter可用于各种场景，如社交媒体分享、电子邮件、博客和网站设计等。LeiaPix Converter免费试用，付费版提供更多高级编辑功能。

AI实时对话，超低延迟

WhisperFusion是一款基于WhisperLive和WhisperSpeech功能的产品，通过在实时语音转文字流程中集成Mistral大型语言模型（LLM）来实现与AI的无缝对话。Whisper和LLM均经过TensorRT引擎优化，以最大程度提升性能和实时处理能力。WhisperSpeech则使用torch.compile来优化。产品定位于提供超低延迟的AI实时对话体验。

统一的深度学习训练框架

AXLearn是Apple基于JAX和XLA构建的深度学习库,采用面向对象的方式解决软件工程在大规模深度学习模型开发中的挑战。它的配置系统允许用户从可重用的构建块中组合模型,并与其他库(如Flax和Hugging Face transformers)集成。AXLearn旨在扩展训练规模,支持数百亿参数的模型在数千个加速器上高效训练,适合在公有云上部署。它还采用全局计算范式,允许用户描述全局虚拟计算机上的计算,而不是单个加速器。AXLearn支持广泛的应用,包括自然语言处理、计算机视觉和语音识别,并包含用于训练最先进模型的基线配置。

一种基于扩散变换器网络的高动态、逼真肖像图像动画技术。

Hallo3是一种用于肖像图像动画的技术，它利用预训练的基于变换器的视频生成模型，能够生成高度动态和逼真的视频，有效解决了非正面视角、动态对象渲染和沉浸式背景生成等挑战。该技术由复旦大学和百度公司的研究人员共同开发，具有强大的泛化能力，为肖像动画领域带来了新的突破。

数学作为黑箱的深度学习模型

MathBlackBox是一个深度学习模型，旨在探索数学问题解决的黑箱方法。它使用VLLM或其他OpenAI兼容的方法，通过Huggingface工具包和OpenAI进行推理，支持在Slurm环境下运行，并能够处理多种数据集。该项目目前处于早期阶段，需要充分测试后才能部署到实际产品中。

3D头像重建与实时动画生成技术

GAGAvatar是一种基于高斯模型的3D头像重建与动画生成技术，它能够在单张图片的基础上快速生成3D头像，并实现实时的面部表情动画。这项技术的主要优点包括高保真度的3D模型生成、快速的渲染速度以及对未见身份的泛化能力。GAGAvatar通过创新的双提升方法捕捉身份和面部细节，利用全局图像特征和3D可变形模型来控制表情，为数字头像的研究和应用提供了新的基准。

从零开始学习深度学习，实现GPT模型

zero_to_gpt是一个旨在帮助用户从零基础学习深度学习，并最终实现训练自己的GPT模型的教程。随着人工智能技术走出实验室并广泛应用于各行各业，社会对于能够理解并应用AI技术的人才需求日益增长。本教程结合理论与实践，通过解决实际问题（如天气预测、语言翻译等）来深入讲解深度学习的理论基础，如梯度下降和反向传播。课程内容从基础的神经网络架构和训练方法开始，逐步深入到复杂主题，如变换器、GPU编程和分布式训练。

深度学习领域的经典教材中文翻译

《深度学习》是一本由Simon J.D. Prince所著的深度学习领域的经典教材，MIT Press于2023年12月5日出版。本书涵盖了深度学习领域的许多关键概念，适合初学者和有经验的开发者阅读。本仓库提供了该书的中文翻译，翻译基于原书的最新版本，使用ChatGPT进行机翻并进行人工审核，确保翻译的准确性。

深度学习模型训练脚本集

x-flux是由XLabs AI团队发布的深度学习模型训练脚本集，包括LoRA和ControlNet模型。这些模型使用DeepSpeed进行训练，支持512x512和1024x1024图片尺寸，并且提供了相应的训练配置文件和示例。x-flux模型训练旨在提高图像生成的质量和效率，对于AI图像生成领域具有重要意义。

开源分布式深度学习工具

The Microsoft Cognitive Toolkit（CNTK）是一个开源的商业级分布式深度学习工具。它通过有向图描述神经网络的计算步骤，支持常见的模型类型，并实现了自动微分和并行计算。CNTK支持64位Linux和Windows操作系统，可以作为Python、C或C++程序的库使用，也可以通过其自身的模型描述语言BrainScript作为独立的机器学习工具使用。

基于TensorRT框架的大规模语言模型推理加速库

SwiftInfer是一个基于Nvidia TensorRT框架的大规模语言模型(LLM)推理加速库,通过GPU加速,极大提升LLM在生产环境中的推理性能。该项目针对流式语言模型提出的Attention Sink机制进行了实现,支持无限长度的文本生成。代码简洁,运行方便,支持主流的大规模语言模型。

深度学习文档解析API

Cradl AI是一个专为开发者和具有高级数据捕获需求的企业设计的文档解析API。利用深度学习的强大能力，快速构建、训练和部署先进的文档解析模型，无需具备机器学习经验。提供灵活的定价和部署选项，适用于各种场景。

RAIN是一种实时动画无限视频流技术。

RAIN是一种实时动画无限视频流技术，能够在消费级设备上实现高质量、低延迟的实时动画。它通过高效计算不同噪声水平和长时间间隔的帧标记注意力，同时去噪比以往流式方法更多的帧标记，从而在保持视频流连贯性的同时，以更快的速度和更短的延迟生成视频帧。RAIN仅引入少量额外的1D注意力块，对系统负担较小。该技术有望在游戏渲染、直播和虚拟现实等领域与CG结合，利用AI的泛化能力渲染无数新场景和对象，并提供更互动的参与方式。

一种用于生成图像的深度学习模型。

SD3-Controlnet-Canny 是一种基于深度学习的图像生成模型，它能够根据用户提供的文本提示生成具有特定风格的图像。该模型利用控制网络技术，可以更精确地控制生成图像的细节和风格，从而提高图像生成的质量和多样性。

将静态肖像和输入音频转化为生动的动画对话视频

AniTalker是一个创新的框架，它能够从单一的肖像生成逼真的对话面部动画。它通过两个自监督学习策略增强了动作表现力，同时通过度量学习开发了一个身份编码器，有效减少了对标记数据的需求。AniTalker不仅能够创建详细且逼真的面部动作，还强调了其在现实世界应用中制作动态头像的潜力。

基于深度强化学习的模型微调框架

ReFT是一个开源的研究项目，旨在通过深度强化学习技术对大型语言模型进行微调，以提高其在特定任务上的表现。该项目提供了详细的代码和数据，以便研究人员和开发者能够复现论文中的结果。ReFT的主要优点包括能够利用强化学习自动调整模型参数，以及通过微调提高模型在特定任务上的性能。产品背景信息显示，ReFT基于Codellama和Galactica模型，遵循Apache2.0许可证。

通过监控器让肖像动起来！

Live_Portrait_Monitor 是一个开源项目，旨在通过监控器或网络摄像头实现肖像动画化。该项目基于LivePortrait研究论文，使用深度学习技术，通过拼接和重定向控制来高效地实现肖像动画。作者正积极更新和改进此项目，仅供研究使用。