产品库

深度学习、表示学习、细粒度分类

xinsir (qi) 是一个关于深度学习、表示学习和细粒度分类的产品。它提供了强大的功能和技术，具有主要优点和背景信息。该产品具有多个模型可供选择。

提升图文预训练的细粒度理解

SPARC是一种用于图文对预训练的简单方法，旨在从图像-文本对中预训练更细粒度的多模态表示。它利用稀疏相似度度量和对图像块和语言标记进行分组，通过对比细粒度的序列损失和全局图像与文本嵌入之间的对比损失，学习同时编码全局和局部信息的表示。SPARC在粗粒度信息的图像级任务和细粒度信息的区域级任务上均表现出改进，包括分类、检索、目标检测和分割。此外，SPARC提高了模型的可信度和图像描述能力。

为AI驱动的应用程序提供细粒度权限管理，确保安全性和合规性。

Permit.io AI Access Control 是一款专注于AI应用安全与权限管理的解决方案。它通过细粒度的权限控制，确保AI交互的每个阶段（从输入到输出）都符合安全策略，防止未经授权的输入、数据泄露和有害输出。该产品采用框架无关的技术，支持多种AI框架，并提供灵活的集成方式，可逐步扩展到任何AI技术栈中。Permit.io 的定位是为企业提供AI驱动应用的安全保障，帮助企业在享受AI带来的便利的同时，满足合规性要求。

探索不同AI系统学习到的表示是否趋于一致。

Platonic Representation Hypothesis（柏拉图表示假设）是一个关于不同AI系统如何学习和表示现实世界的理论。该理论认为，尽管不同AI系统可能以不同的方式学习（例如图像、文本等），但它们的内部表示最终会趋于一致。这种观点基于所有数据（图像、文本、声音等）都是某种底层现实的投影这一直觉。该理论还探讨了如何衡量表示的一致性，以及导致一致性的因素，如任务和数据压力，以及模型容量的增加。此外，还讨论了这种一致性可能带来的意义和限制。

从合成数据中学习视觉表示模型

该代码仓库包含从合成图像数据(主要是图片)进行学习的研究,包括StableRep、Scaling和SynCLR三个项目。这些项目研究了如何利用文本到图像模型生成的合成图像数据进行视觉表示模型的训练,并取得了非常好的效果。

提高大学生自学效率和质量的智能学习助手

夸克App推出的AI学习助手基于自研大模型，通过智能化的解题思路和讲解方式，提升大学生自学效率和质量。采用夸克宝宝的虚拟形象进行题目讲解，提供“考点分析”“详解步骤”“答案总结”等详细内容。并通过夸克网盘实现学习资料备份和使用，以及夸克扫描王提取核心复习内容。覆盖英语等学科的选择题、填空题、阅读题等常考题型，后续将加入数学等学科。

细粒度对象切割工具，用于精确编辑图像。

finegrain-object-cutter 是一个基于Hugging Face Spaces平台的图像编辑工具，它利用先进的机器学习技术来实现对图像中对象的细粒度切割。该工具的主要优点在于其高精度和易用性，用户可以通过简单的操作来实现复杂的图像编辑任务。它特别适合需要对图像进行精细处理的设计师和开发者，可以广泛应用于图像编辑、增强现实、虚拟现实等领域。

深度学习API，简单、灵活、强大

Keras是一个为人类设计的API，遵循最佳实践，简化认知负荷，提供一致而简单的API，最大限度地减少常见用例所需的用户操作次数，并提供清晰而可操作的错误信息。Keras旨在为任何希望推出基于机器学习的应用程序的开发人员提供不公平的优势。Keras专注于调试速度、代码优雅性和简洁性、可维护性和可部署性。使用Keras，您的代码库更小，更易读，更易于迭代。您的模型在XLA编译和Autograph优化的加持下运行更快，并且更容易在每个平台（服务器、移动设备、浏览器、嵌入式设备）上部署。

高级API，简化TensorFlow深度学习

TFLearn是一个基于TensorFlow的深度学习库，提供了一个高级API，用于实现深度神经网络。它具有易于使用和理解的高级API，快速的原型设计功能，全面的TensorFlow透明性，并支持最新的深度学习技术。TFLearn支持卷积网络、LSTM、双向RNN、批量归一化、PReLU、残差网络、生成网络等模型。可以用于图像分类、序列生成等任务。

深度学习天气预测模型

GraphCast是由Google DeepMind开发的深度学习模型，专注于全球中期天气预报。该模型通过先进的机器学习技术，能够预测天气变化，提高预报的准确性和速度。GraphCast模型在科学研究中发挥重要作用，有助于更好地理解和预测天气模式，对气象学、农业、航空等多个领域具有重要价值。

深入理解深度学习的原理与应用

《Understanding Deep Learning》是一本深入探讨深度学习原理和应用的书籍。它提供了丰富的数学背景知识、监督学习、神经网络的构建与训练等深度学习领域的全面内容。书中提供的Python笔记本练习帮助读者通过实践来加深理解。此外，还有为教师提供的资源，包括图像、幻灯片和教辅材料。

UIED用户体验学习平台是由UIED设计团队创建的专注于AIGC技术领域的学习平台。

UIED用户体验学习平台是由UIED设计团队创建的专注于AIGC技术领域的学习平台。该平台旨在为希望深入了解AIGC和AI技术的设计师提供全面的教程、案例分析和实战项目。通过UIED，设计师可以学习AIGC工具的操作方法、探索AI在设计中的应用案例，并利用这些技术优化设计流程，提升创作质量。

统一的深度学习训练框架

AXLearn是Apple基于JAX和XLA构建的深度学习库,采用面向对象的方式解决软件工程在大规模深度学习模型开发中的挑战。它的配置系统允许用户从可重用的构建块中组合模型,并与其他库(如Flax和Hugging Face transformers)集成。AXLearn旨在扩展训练规模,支持数百亿参数的模型在数千个加速器上高效训练,适合在公有云上部署。它还采用全局计算范式,允许用户描述全局虚拟计算机上的计算,而不是单个加速器。AXLearn支持广泛的应用,包括自然语言处理、计算机视觉和语音识别,并包含用于训练最先进模型的基线配置。

从零开始学习深度学习，实现GPT模型

zero_to_gpt是一个旨在帮助用户从零基础学习深度学习，并最终实现训练自己的GPT模型的教程。随着人工智能技术走出实验室并广泛应用于各行各业，社会对于能够理解并应用AI技术的人才需求日益增长。本教程结合理论与实践，通过解决实际问题（如天气预测、语言翻译等）来深入讲解深度学习的理论基础，如梯度下降和反向传播。课程内容从基础的神经网络架构和训练方法开始，逐步深入到复杂主题，如变换器、GPU编程和分布式训练。

开源分布式深度学习工具

The Microsoft Cognitive Toolkit（CNTK）是一个开源的商业级分布式深度学习工具。它通过有向图描述神经网络的计算步骤，支持常见的模型类型，并实现了自动微分和并行计算。CNTK支持64位Linux和Windows操作系统，可以作为Python、C或C++程序的库使用，也可以通过其自身的模型描述语言BrainScript作为独立的机器学习工具使用。

深度学习领域的经典教材中文翻译

《深度学习》是一本由Simon J.D. Prince所著的深度学习领域的经典教材，MIT Press于2023年12月5日出版。本书涵盖了深度学习领域的许多关键概念，适合初学者和有经验的开发者阅读。本仓库提供了该书的中文翻译，翻译基于原书的最新版本，使用ChatGPT进行机翻并进行人工审核，确保翻译的准确性。

数学作为黑箱的深度学习模型

MathBlackBox是一个深度学习模型，旨在探索数学问题解决的黑箱方法。它使用VLLM或其他OpenAI兼容的方法，通过Huggingface工具包和OpenAI进行推理，支持在Slurm环境下运行，并能够处理多种数据集。该项目目前处于早期阶段，需要充分测试后才能部署到实际产品中。

深度学习模型训练脚本集

x-flux是由XLabs AI团队发布的深度学习模型训练脚本集，包括LoRA和ControlNet模型。这些模型使用DeepSpeed进行训练，支持512x512和1024x1024图片尺寸，并且提供了相应的训练配置文件和示例。x-flux模型训练旨在提高图像生成的质量和效率，对于AI图像生成领域具有重要意义。

基于双向状态空间模型的高效视觉表示学习框架

Vision Mamba是一个高效的视觉表示学习框架,使用双向Mamba模块构建,可以克服计算和内存限制,进行高分辨率图像的Transformer风格理解。它不依赖自注意力机制,通过位置嵌入和双向状态空间模型压缩视觉表示,实现更高性能,计算和内存效率也更好。该框架在 ImageNet分类、COCO目标检测和ADE20k语义分割任务上,性能优于经典的视觉Transformers,如DeiT,但计算和内存效率提高2.8倍和86.8%。

人工智能入门教程网站，提供全面的机器学习与深度学习知识。

该网站由作者从 2015 年开始学习机器学习和深度学习,整理并编写的一系列实战教程。涵盖监督学习、无监督学习、深度学习等多个领域,既有理论推导,又有代码实现,旨在帮助初学者全面掌握人工智能的基础知识和实践技能。网站拥有独立域名,内容持续更新,欢迎大家关注和学习。

MangaNinja 是一种基于参考的线稿上色方法，可实现精确匹配和细粒度交互控制。

MangaNinja 是一种参考引导的线稿上色方法，它通过独特的设计确保精确的人物细节转录，包括用于促进参考彩色图像和目标线稿之间对应学习的块洗牌模块，以及用于实现细粒度颜色匹配的点驱动控制方案。该模型在自收集的基准测试中表现出色，超越了当前解决方案的精确上色能力。此外，其交互式点控制在处理复杂情况（如极端姿势和阴影）、跨角色上色、多参考协调等方面展现出巨大潜力，这些是现有算法难以实现的。MangaNinja 由来自香港大学、香港科技大学、通义实验室和蚂蚁集团的研究人员共同开发，相关论文已发表在 arXiv 上，代码也已开源。

基于《Factorio》游戏的大语言模型测试与学习环境

Factorio Learning Environment（FLE）是基于《Factorio》游戏构建的新型框架，用于评估大型语言模型（LLMs）在长期规划、程序合成和资源优化方面的能力。随着LLMs逐渐饱和现有基准测试，FLE提供了新的开放式评估方式。它的重要性在于能让研究人员更全面、深入地了解LLMs的优势与不足。主要优点是提供了开放式且难度呈指数级增长的挑战，拥有结构化任务和开放式任务两种评估协议。该项目由Jack Hopkins等人开发，以开源形式发布，免费使用，定位是推动AI研究人员对复杂、开放式领域中智能体能力的研究。

DeepGEMM是一个用于高效FP8矩阵乘法的CUDA库，支持细粒度缩放和多种优化技术。

DeepGEMM是一个专注于高效FP8矩阵乘法的CUDA库。它通过细粒度缩放和多种优化技术，如Hopper TMA特性、持久化线程专业化、全JIT设计等，显著提升了矩阵运算的性能。该库主要面向深度学习和高性能计算领域，适用于需要高效矩阵运算的场景。它支持NVIDIA Hopper架构的Tensor Core，并且在多种矩阵形状下展现出卓越的性能。DeepGEMM的设计简洁，核心代码仅约300行，易于学习和使用，同时性能与专家优化的库相当或更好。开源免费的特性使其成为研究人员和开发者进行深度学习优化和开发的理想选择。

基于深度强化学习的模型微调框架

ReFT是一个开源的研究项目，旨在通过深度强化学习技术对大型语言模型进行微调，以提高其在特定任务上的表现。该项目提供了详细的代码和数据，以便研究人员和开发者能够复现论文中的结果。ReFT的主要优点包括能够利用强化学习自动调整模型参数，以及通过微调提高模型在特定任务上的性能。产品背景信息显示，ReFT基于Codellama和Galactica模型，遵循Apache2.0许可证。

深度学习文档解析API

Cradl AI是一个专为开发者和具有高级数据捕获需求的企业设计的文档解析API。利用深度学习的强大能力，快速构建、训练和部署先进的文档解析模型，无需具备机器学习经验。提供灵活的定价和部署选项，适用于各种场景。

一种用于生成图像的深度学习模型。

SD3-Controlnet-Canny 是一种基于深度学习的图像生成模型，它能够根据用户提供的文本提示生成具有特定风格的图像。该模型利用控制网络技术，可以更精确地控制生成图像的细节和风格，从而提高图像生成的质量和多样性。

图像序列着色模型，保留细粒度身份信息

ColorFlow是一个为图像序列着色而设计的模型，特别注重在着色过程中保留角色和对象的身份信息。该模型利用上下文信息，能够根据参考图像池为黑白图像序列中的不同元素（如角色的头发和服装）准确生成颜色，并确保与参考图像的颜色一致性。ColorFlow通过三个阶段的扩散模型框架，提出了一种新颖的检索增强着色流程，无需每个身份的微调或显式身份嵌入提取，即可实现具有相关颜色参考的图像着色。ColorFlow的主要优点包括其在保留身份信息的同时，还能提供高质量的着色效果，这对于卡通或漫画系列的着色具有重要的市场价值。

音频处理和生成的深度学习库

AudioCraft 是一个用于音频处理和生成的 PyTorch 库。它包含了两个最先进的人工智能生成模型：AudioGen 和 MusicGen，可以生成高质量的音频。AudioCraft 还提供了 EnCodec 音频压缩 / 分词器和 Multi Band Diffusion 解码器等功能。该库适用于音频生成的深度学习研究。

一站式深度学习解决方案

深度学习助手是一款集模型训练、数据处理和结果分析于一体的深度学习平台。它提供丰富的神经网络模型，可以帮助用户快速构建和训练自己的深度学习模型。同时，它还具备数据预处理功能，方便用户对数据进行清洗和转换。除此之外，深度学习助手还提供了强大的结果分析工具，帮助用户深入理解和优化模型效果。定价灵活合理，适用于个人开发者和企业用户。

学习联合视觉表示通过对齐前投影

Video-LLaVA 是一个用于学习联合视觉表示的模型，通过对齐前投影进行训练。它可以将视频和图像表示进行对齐，从而实现更好的视觉理解。该模型具有高效的学习和推理速度，适用于视频处理和视觉任务。