产品库

一款先进的视觉推理模型，能分析图片和视频内容。

QVQ-Max 是 Qwen 团队推出的视觉推理模型，能够理解和分析图像及视频内容，提供解决方案。它不仅限于文本输入，更能够处理复杂的视觉信息。适合需要多模态信息处理的用户，如教育、工作和生活场景。该产品是基于深度学习和计算机视觉技术开发，适用于学生、职场人士和创意工作者。此版本为首发，后续将持续优化。

NVIDIA深度学习教学套件，助力教育者融入GPU课程。

NVIDIA DLI Teaching Kits是由NVIDIA深度学习研究所（DLI）提供的一套教学资源，旨在帮助大学教育者将GPU技术融入到他们的课程中。这些教学套件与领先的大学教师共同开发，提供完整的课程设计和易于使用的资源，使教育者能够将学术理论与现实世界的应用相结合，培养下一代创新者的关键计算技能。大多数教学套件现在也作为现成的Canvas LMS课程提供。

多模态语言模型的视觉推理工具

Visual Sketchpad 是一种为多模态大型语言模型（LLMs）提供视觉草图板和绘图工具的框架。它允许模型在进行规划和推理时，根据自己绘制的视觉工件进行操作。与以往使用文本作为推理步骤的方法不同，Visual Sketchpad 使模型能够使用线条、框、标记等更接近人类绘图方式的元素进行绘图，从而更好地促进推理。此外，它还可以在绘图过程中使用专家视觉模型，例如使用目标检测模型绘制边界框，或使用分割模型绘制掩码，以进一步提高视觉感知和推理能力。

深入理解深度学习的原理与应用

《Understanding Deep Learning》是一本深入探讨深度学习原理和应用的书籍。它提供了丰富的数学背景知识、监督学习、神经网络的构建与训练等深度学习领域的全面内容。书中提供的Python笔记本练习帮助读者通过实践来加深理解。此外，还有为教师提供的资源，包括图像、幻灯片和教辅材料。

多模态大型语言模型，优化视觉识别和图像推理。

Llama-3.2-90B-Vision是Meta公司发布的一款多模态大型语言模型（LLM），专注于视觉识别、图像推理、图片描述和回答有关图片的一般问题。该模型在常见的行业基准测试中超越了许多现有的开源和封闭的多模态模型。

视觉语言模型，能够进行逐步推理

LLaVA-o1是北京大学元组团队开发的一个视觉语言模型，它能够进行自发的、系统的推理，类似于GPT-o1。该模型在六个具有挑战性的多模态基准测试中超越了其他模型，包括Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。LLaVA-o1通过逐步推理解决问题，展示了其在视觉语言模型中的独特优势。

创新的多模态链式思维框架，提升视觉推理能力

Cantor是一个多模态链式思维(CoT)框架，它通过感知决策架构，将视觉上下文获取与逻辑推理相结合，解决复杂的视觉推理任务。Cantor首先作为一个决策生成器，整合视觉输入来分析图像和问题，确保与实际情境更紧密的对齐。此外，Cantor利用大型语言模型(MLLMs)的高级认知功能，作为多面专家，推导出更高层次的信息，增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验，证明了所提出框架的有效性，无需微调或真实理由，就显著提高了多模态CoT性能。

大型语言模型是视觉推理协调器

Cola是一种使用语言模型（LM）来聚合2个或更多视觉-语言模型（VLM）输出的方法。我们的模型组装方法被称为Cola（COordinative LAnguage model or visual reasoning）。Cola在LM微调（称为Cola-FT）时效果最好。Cola在零样本或少样本上下文学习（称为Cola-Zero）时也很有效。除了性能提升外，Cola还对VLM的错误更具鲁棒性。我们展示了Cola可以应用于各种VLM（包括大型多模态模型如InstructBLIP）和7个数据集（VQA v2、OK-VQA、A-OKVQA、e-SNLI-VE、VSR、CLEVR、GQA），并且它始终提高了性能。

基于强化学习技术的视觉思考模型，理科测试行业领先

Kimi视觉思考模型k1是基于强化学习技术打造的AI模型，原生支持端到端图像理解和思维链技术，并将能力扩展到数学之外的更多基础科学领域。在数学、物理、化学等基础科学学科的基准能力测试中，k1模型的表现超过了全球标杆模型。k1模型的发布标志着AI在视觉理解和思考能力上的新突破，尤其在处理图像信息和基础科学问题上展现出色的表现。

展示小型语言模型通过自我演化深度思考掌握数学推理能力的研究成果。

rStar-Math是一项研究，旨在证明小型语言模型（SLMs）能够在不依赖于更高级模型的情况下，与OpenAI的o1模型相媲美甚至超越其数学推理能力。该研究通过蒙特卡洛树搜索（MCTS）实现“深度思考”，其中数学策略SLM在基于SLM的流程奖励模型的指导下进行测试时搜索。rStar-Math引入了三种创新方法来应对训练两个SLM的挑战，通过4轮自我演化和数百万个合成解决方案，将SLMs的数学推理能力提升到最先进水平。该模型在MATH基准测试中显著提高了性能，并在AIME竞赛中表现优异。

从合成数据中学习视觉表示模型

该代码仓库包含从合成图像数据(主要是图片)进行学习的研究,包括StableRep、Scaling和SynCLR三个项目。这些项目研究了如何利用文本到图像模型生成的合成图像数据进行视觉表示模型的训练,并取得了非常好的效果。

业界首个超大规模混合 Mamba 推理模型，强推理能力。

混元T1 是腾讯推出的超大规模推理模型，基于强化学习技术，通过大量后训练显著提升推理能力。它在长文处理和上下文捕捉上表现突出，同时优化了计算资源的消耗，具备高效的推理能力。适用于各类推理任务，尤其在数学、逻辑推理等领域表现优异。该产品以深度学习为基础，结合实际反馈不断优化，适合科研、教育等多个领域的应用。

深度学习领域的经典教材中文翻译

《深度学习》是一本由Simon J.D. Prince所著的深度学习领域的经典教材，MIT Press于2023年12月5日出版。本书涵盖了深度学习领域的许多关键概念，适合初学者和有经验的开发者阅读。本仓库提供了该书的中文翻译，翻译基于原书的最新版本，使用ChatGPT进行机翻并进行人工审核，确保翻译的准确性。

从零开始学习深度学习，实现GPT模型

zero_to_gpt是一个旨在帮助用户从零基础学习深度学习，并最终实现训练自己的GPT模型的教程。随着人工智能技术走出实验室并广泛应用于各行各业，社会对于能够理解并应用AI技术的人才需求日益增长。本教程结合理论与实践，通过解决实际问题（如天气预测、语言翻译等）来深入讲解深度学习的理论基础，如梯度下降和反向传播。课程内容从基础的神经网络架构和训练方法开始，逐步深入到复杂主题，如变换器、GPU编程和分布式训练。

Claude 3.7 Sonnet 是 Anthropic 推出的最新智能模型，支持快速响应和深度推理。

Claude 3.7 Sonnet 是 Anthropic 推出的最新混合推理模型，能够实现快速响应和深度推理的无缝切换。它在编程、前端开发等领域表现出色，并通过 API 提供对推理深度的精细控制。该模型不仅提升了代码生成和调试能力，还优化了对复杂任务的处理，适用于企业级应用。其定价与前代产品一致，输入每百万 token 收费 3 美元，输出每百万 token 收费 15 美元。

智谱深度推理模型，擅长数理逻辑和代码推理

GLM-Zero-Preview是智谱首个基于扩展强化学习技术训练的推理模型，专注于增强AI推理能力，擅长处理数理逻辑、代码和需要深度推理的复杂问题。与基座模型相比，在不显著降低通用任务能力的情况下，专家任务能力大幅提升。在AIME 2024、MATH500和LiveCodeBench评测中，效果与OpenAI o1-preview相当。产品背景信息显示，智谱华章科技有限公司致力于通过强化学习技术，提升模型的深度推理能力，未来将推出正式版GLM-Zero，扩展深度思考的能力到更多技术领域。

视觉推理能力增强的实验性研究模型

QVQ-72B-Preview是由Qwen团队开发的实验性研究模型，专注于增强视觉推理能力。该模型在多学科理解和推理方面展现出强大的能力，特别是在数学推理任务上取得了显著的进步。尽管在视觉推理方面取得了进步，但QVQ并不完全取代Qwen2-VL-72B的能力，在多步视觉推理中可能会逐渐失去对图像内容的关注，导致幻觉。此外，QVQ在基本识别任务上并没有显示出比Qwen2-VL-72B更显著的改进。

Unity深度学习推理库

Sentis是一个Unity中的神经网络推理库。您可以使用Sentis将训练好的神经网络模型导入Unity,然后在Unity支持的任何平台上本地实时运行它们。您可以在GPU或CPU上运行模型。使用Sentis需要一些使用机器学习模型的经验,例如在TensorFlow或PyTorch等框架中。

基于双向状态空间模型的高效视觉表示学习框架

Vision Mamba是一个高效的视觉表示学习框架,使用双向Mamba模块构建,可以克服计算和内存限制,进行高分辨率图像的Transformer风格理解。它不依赖自注意力机制,通过位置嵌入和双向状态空间模型压缩视觉表示,实现更高性能,计算和内存效率也更好。该框架在 ImageNet分类、COCO目标检测和ADE20k语义分割任务上,性能优于经典的视觉Transformers,如DeiT,但计算和内存效率提高2.8倍和86.8%。

深度学习、表示学习、细粒度分类

xinsir (qi) 是一个关于深度学习、表示学习和细粒度分类的产品。它提供了强大的功能和技术，具有主要优点和背景信息。该产品具有多个模型可供选择。

利用强化学习提升扩散大语言模型的推理能力。

该模型通过强化学习和高质量推理轨迹的掩蔽自监督微调，实现了对扩散大语言模型的推理能力的提升。此技术的重要性在于它能够优化模型的推理过程，减少计算成本，同时保证学习动态的稳定性。适合希望在写作和推理任务中提升效率的用户。

QwQ是一款专注于深度推理能力的AI研究模型。

QwQ（Qwen with Questions）是一款由Qwen团队开发的实验性研究模型，旨在提升人工智能的推理能力。它以一种哲学精神，对每个问题都抱有真正的好奇和怀疑，通过自我提问和反思来寻求更深层次的真理。QwQ在数学和编程领域表现出色，尤其是在处理复杂问题时。尽管它仍在学习和成长，但它已经展现出了在技术领域深度推理的重要潜力。

高级API，简化TensorFlow深度学习

TFLearn是一个基于TensorFlow的深度学习库，提供了一个高级API，用于实现深度神经网络。它具有易于使用和理解的高级API，快速的原型设计功能，全面的TensorFlow透明性，并支持最新的深度学习技术。TFLearn支持卷积网络、LSTM、双向RNN、批量归一化、PReLU、残差网络、生成网络等模型。可以用于图像分类、序列生成等任务。

给视觉语言模型赋予空间推理能力

SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。

深度学习驱动的三维重建技术

VGGSfM是一种基于深度学习的三维重建技术，旨在从一组不受限制的2D图像中重建场景的相机姿态和3D结构。该技术通过完全可微分的深度学习框架，实现端到端的训练。它利用深度2D点跟踪技术提取可靠的像素级轨迹，同时基于图像和轨迹特征恢复所有相机，并通过可微分的捆绑调整层优化相机和三角化3D点。VGGSfM在CO3D、IMC Phototourism和ETH3D三个流行数据集上取得了最先进的性能。

深度学习天气预测模型

GraphCast是由Google DeepMind开发的深度学习模型，专注于全球中期天气预报。该模型通过先进的机器学习技术，能够预测天气变化，提高预报的准确性和速度。GraphCast模型在科学研究中发挥重要作用，有助于更好地理解和预测天气模式，对气象学、农业、航空等多个领域具有重要价值。

深度学习API，简单、灵活、强大

Keras是一个为人类设计的API，遵循最佳实践，简化认知负荷，提供一致而简单的API，最大限度地减少常见用例所需的用户操作次数，并提供清晰而可操作的错误信息。Keras旨在为任何希望推出基于机器学习的应用程序的开发人员提供不公平的优势。Keras专注于调试速度、代码优雅性和简洁性、可维护性和可部署性。使用Keras，您的代码库更小，更易读，更易于迭代。您的模型在XLA编译和Autograph优化的加持下运行更快，并且更容易在每个平台（服务器、移动设备、浏览器、嵌入式设备）上部署。

视觉语言模型增强工具，结合生成式视觉编码器和深度广度融合技术。

Florence-VL是一个视觉语言模型，通过引入生成式视觉编码器和深度广度融合技术，增强了模型对视觉和语言信息的处理能力。该技术的重要性在于其能够提升机器对图像和文本的理解，进而在多模态任务中取得更好的效果。Florence-VL基于LLaVA项目进行开发，提供了预训练和微调的代码、模型检查点和演示。

AlphaMaze 是一款专注于视觉推理任务的解码器语言模型，旨在解决传统语言模型在视觉任务上的不足。

AlphaMaze 是一款专为解决视觉推理任务而设计的解码器语言模型。它通过针对迷宫解谜任务的训练，展示了语言模型在视觉推理方面的潜力。该模型基于 15 亿参数的 Qwen 模型构建，并通过监督微调（SFT）和强化学习（RL）进行训练。其主要优点在于能够将视觉任务转化为文本格式进行推理，从而弥补传统语言模型在空间理解上的不足。该模型的开发背景是提升 AI 在视觉任务上的表现，尤其是在需要逐步推理的场景中。目前，AlphaMaze 作为研究项目，暂未明确其商业化定价和市场定位。

一种通过文本迷宫解决任务来增强大型语言模型视觉推理能力的创新方法

AlphaMaze 是一个专注于提升大型语言模型（LLM）视觉推理能力的项目。它通过文本形式描述的迷宫任务来训练模型，使其能够理解和规划空间结构。这种方法不仅避免了复杂的图像处理，还通过文本描述直接评估模型的空间理解能力。其主要优点是能够揭示模型如何思考空间问题，而不仅仅是能否解决问题。该模型基于开源框架，旨在推动语言模型在视觉推理领域的研究和发展。