产品库

OmniThink 是一种通过模拟人类思考过程来提升机器写作知识密度的框架。

OmniThink 是一种创新的机器写作框架，旨在通过模拟人类的迭代扩展和反思过程，提升生成文章的知识密度。它通过知识密度指标衡量内容的独特性和深度，并通过信息树和概念池的结构化方式组织知识，从而生成高质量的长文本。该技术的核心优势在于能够有效减少冗余信息，提升内容的深度和新颖性，适用于需要高质量长文本生成的场景。

Seaweed-APT是一种支持实时单步生成1280x720 24fps视频的模型。

Seaweed-APT是一种用于视频生成的模型，通过对抗性后训练技术，实现了大规模文本到视频的单步生成。该模型能够在短时间内生成高质量的视频，具有重要的技术意义和应用价值。其主要优点是速度快、生成效果好，适用于需要快速生成视频的场景。目前尚未明确具体的价格和市场定位。

MangaNinja 是一种基于参考的线稿上色方法，可实现精确匹配和细粒度交互控制。

MangaNinja 是一种参考引导的线稿上色方法，它通过独特的设计确保精确的人物细节转录，包括用于促进参考彩色图像和目标线稿之间对应学习的块洗牌模块，以及用于实现细粒度颜色匹配的点驱动控制方案。该模型在自收集的基准测试中表现出色，超越了当前解决方案的精确上色能力。此外，其交互式点控制在处理复杂情况（如极端姿势和阴影）、跨角色上色、多参考协调等方面展现出巨大潜力，这些是现有算法难以实现的。MangaNinja 由来自香港大学、香港科技大学、通义实验室和蚂蚁集团的研究人员共同开发，相关论文已发表在 arXiv 上，代码也已开源。

强大的语言模型，拥有4560亿总参数，可处理长达400万token的上下文。

MiniMax-01是一个具有4560亿总参数的强大语言模型，其中每个token激活459亿参数。它采用混合架构，结合了闪电注意力、softmax注意力和专家混合（MoE），通过先进的并行策略和创新的计算-通信重叠方法，如线性注意力序列并行主义加（LASP+）、varlen环形注意力、专家张量并行（ETP）等，将训练上下文长度扩展到100万tokens，在推理时可处理长达400万tokens的上下文。在多个学术基准测试中，MiniMax-01展现了顶级模型的性能。

展示小型语言模型通过自我演化深度思考掌握数学推理能力的研究成果。

rStar-Math是一项研究，旨在证明小型语言模型（SLMs）能够在不依赖于更高级模型的情况下，与OpenAI的o1模型相媲美甚至超越其数学推理能力。该研究通过蒙特卡洛树搜索（MCTS）实现“深度思考”，其中数学策略SLM在基于SLM的流程奖励模型的指导下进行测试时搜索。rStar-Math引入了三种创新方法来应对训练两个SLM的挑战，通过4轮自我演化和数百万个合成解决方案，将SLMs的数学推理能力提升到最先进水平。该模型在MATH基准测试中显著提高了性能，并在AIME竞赛中表现优异。

SVFR是一个用于视频人脸修复的统一框架。

SVFR（Stable Video Face Restoration）是一个用于广义视频人脸修复的统一框架。它整合了视频人脸修复（BFR）、着色和修复任务，通过利用Stable Video Diffusion（SVD）的生成和运动先验，并结合统一的人脸修复框架中的任务特定信息，有效结合了这些任务的互补优势，增强了时间连贯性并实现了卓越的修复质量。该框架引入了可学习的任务嵌入以增强任务识别，并采用新颖的统一潜在正则化（ULR）来鼓励不同子任务之间的共享特征表示学习。此外，还引入了面部先验学习和自引用细化作为辅助策略，以进一步提高修复质量和时间稳定性。SVFR在视频人脸修复领域取得了最先进的成果，并为广义视频人脸修复建立了新的范式。

端侧全模态理解模型，软硬协同释放无穹端侧智能

Infini-Megrez是一个由无问芯穹研发的端侧全模态理解模型，它基于Megrez-3B-Instruct扩展，具备图片、文本、音频三种模态数据的理解分析能力，并在图像理解、语言理解和语音理解三个方面均取得最优精度。该模型通过软硬协同优化，确保了各结构参数与主流硬件高度适配，推理速度领先同精度模型最大300%。它简单易用，采用最原始的LLaMA结构，开发者无需任何修改便可将模型部署于各种平台，最小化二次开发复杂度。此外，Infini-Megrez还提供了完整的WebSearch方案，使模型可以自动决策搜索调用时机，在搜索和对话中自动切换，并提供更好的总结效果。

快速因果视频生成器，实现即时视频生成。

CausVid是一个先进的视频生成模型，它通过将预训练的双向扩散变换器适配为因果变换器，实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟，使得视频生成能够以交互式帧率（9.4FPS）在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成，以及零样本图像到视频的生成，展现了视频生成技术的新高度。

大规模基础世界模型，生成多样的3D可操作环境

Genie 2是由Google DeepMind开发的一款大规模基础世界模型，能够基于单一提示图像生成无尽的、可操作的、可玩的3D环境，用于训练和评估具身智能体。Genie 2代表了深度学习和人工智能领域的一大进步，它通过模拟虚拟世界及其行动后果，展示了在大规模生成模型中的多种紧急能力，如物体交互、复杂角色动画、物理模拟等。Genie 2的研究推动了新的创意工作流程，用于原型化交互体验，并为未来更通用的AI系统和智能体的研究提供了新的可能性。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

构建视频搜索和摘要代理，提取视频洞察

NVIDIA Video Search and Summarization 是一个利用深度学习和人工智能技术，能够处理大量实时或存档视频，并从中提取信息以进行摘要和交互式问答的模型。该产品代表了视频内容分析和处理技术的最新进展，它通过生成式AI和视频到文本的技术，为用户提供了一种全新的视频内容管理和检索方式。NVIDIA Video Search and Summarization 的主要优点包括高效的视频内容分析、准确的摘要生成和交互式问答能力，这些功能对于需要处理大量视频数据的企业来说至关重要。产品背景信息显示，NVIDIA 致力于通过其先进的AI模型，推动视频内容的智能化处理和分析。

超轻量级数字人模型，移动端实时运行

Ultralight-Digital-Human是一个超轻量级的数字人模型，可以在移动端实时运行。这个模型是开源的，据开发者所知，它是第一个如此轻量级的开源数字人模型。该模型的主要优点包括轻量级设计，适合移动端部署，以及实时运行的能力。它的背后是深度学习技术，特别是在人脸合成和声音模拟方面的应用，这使得数字人模型能够以较低的资源消耗实现高质量的表现。产品目前是免费的，主要面向技术爱好者和开发者。

文本到图像生成模型，支持高分辨率图像生成

由清华大学团队开发的文本到图像生成模型，开源，在图像生成领域有广泛应用前景，有高分辨率输出等优点。

基于深度学习的高质量文本到语音合成模型

F5-TTS是由SWivid团队开发的一个文本到语音合成（TTS）模型，它利用深度学习技术将文本转换为自然流畅、忠实于原文的语音输出。该模型在生成语音时，不仅追求高自然度，还注重语音的清晰度和准确性，适用于需要高质量语音合成的各种应用场景，如语音助手、有声读物制作、自动新闻播报等。F5-TTS模型在Hugging Face平台上发布，用户可以方便地下载和部署，支持多种语言和声音类型，具有很高的灵活性和可扩展性。

使用Llama模型的语音合成工具

Llama 3.2 3b Voice 是基于Hugging Face平台的一款语音合成模型，能够将文本转换为自然流畅的语音。该模型采用了先进的深度学习技术，能够模仿人类说话的语调、节奏和情感，适用于多种场景，如语音助手、有声读物、自动播报等。

提供AI和机器学习课程

Udacity人工智能学院提供包括深度学习、计算机视觉、自然语言处理和AI产品管理在内的AI培训和机器学习课程。这些课程旨在帮助学生掌握人工智能领域的最新技术，为未来的职业生涯打下坚实的基础。

高性能AI加速器，专为AI工作负载设计。

Intel® Gaudi® 3 AI Accelerator是英特尔推出的一款高性能人工智能加速器，它基于高效的英特尔® Gaudi® 平台构建，具备出色的MLPerf基准性能，旨在处理要求苛刻的训练和推理任务。该加速器支持数据中心或云中的大型语言模型、多模态模型和企业RAG等人工智能应用程序，能够在您可能已经拥有的以太网基础设施上运行。无论您需要单个加速器还是数千个加速器，英特尔Gaudi 3都可以在您的AI成功中发挥关键作用。

利用AI创作音乐

OpenMusic是一个基于人工智能的音乐创作模型，它利用深度学习技术，能够根据用户输入的指令或音乐片段生成新的音乐作品。这个模型在音乐制作和创作领域具有革命性的意义，因为它降低了创作音乐的门槛，让没有音乐背景的人也能创作出动听的音乐。

谷歌旗下领先的人工智能研究公司

Google DeepMind 是谷歌旗下的一家领先的人工智能公司，专注于开发先进的机器学习算法和系统。DeepMind 以其在深度学习和强化学习领域的开创性工作而闻名，其研究涵盖了从游戏到医疗保健等多个领域。DeepMind 的目标是通过构建智能系统来解决复杂的问题，推动科学和医学的进步。

生成新视角的图像，保持语义信息。

GenWarp是一个用于从单张图像生成新视角图像的模型，它通过语义保持的生成变形框架，使文本到图像的生成模型能够学习在哪里变形和在哪里生成。该模型通过增强交叉视角注意力与自注意力来解决现有方法的局限性，通过条件化生成模型在源视图图像上，并纳入几何变形信号，提高了在不同领域场景下的性能。

统一多模态理解和生成的单一变换器

Show-o是一个用于多模态理解和生成的单一变换器模型，它能够处理图像字幕、视觉问答、文本到图像生成、文本引导的修复和扩展以及混合模态生成。该模型由新加坡国立大学的Show Lab和字节跳动共同开发，采用最新的深度学习技术，能够理解和生成多种模态的数据，是人工智能领域的一大突破。

先进的人工智能视觉模型，专门分析和理解人类动作。

Sapiens视觉模型由Meta Reality Labs开发，专注于处理人类视觉任务，包括2D姿态估计、身体部位分割、深度估计和表面法线预测等。模型在超过3亿张人类图像上训练，具备高分辨率图像处理能力，并能在数据稀缺情况下表现出色。其设计简单、易于扩展，性能在增加参数后显著提升，已在多个测试中超越现有基线模型。

一万亿Token和34亿张图像的多模态数据集

MINT-1T是由Salesforce AI开源的多模态数据集，包含一万亿个文本标记和34亿张图像，规模是现有开源数据集的10倍。它不仅包含HTML文档，还包括PDF文档和ArXiv论文，丰富了数据集的多样性。MINT-1T的数据集构建涉及多种来源的数据收集、处理和过滤步骤，确保了数据的高质量和多样性。

快速、多语言支持的OCR工具包

RapidOCR是一个基于ONNXRuntime、OpenVINO和PaddlePaddle的OCR多语言工具包。它将PaddleOCR模型转换为ONNX格式，支持Python/C++/Java/C#等多平台部署，具有快速、轻量级、智能的特点，并解决了PaddleOCR内存泄露的问题。

深度学习领域的经典教材中文翻译

《深度学习》是一本由Simon J.D. Prince所著的深度学习领域的经典教材，MIT Press于2023年12月5日出版。本书涵盖了深度学习领域的许多关键概念，适合初学者和有经验的开发者阅读。本仓库提供了该书的中文翻译，翻译基于原书的最新版本，使用ChatGPT进行机翻并进行人工审核，确保翻译的准确性。

用于训练大型语言模型的开源合成数据生成管道。

Nemotron-4 340B是NVIDIA发布的一系列开放模型，专为生成合成数据以训练大型语言模型（LLMs）而设计。这些模型经过优化，可以与NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用，以提高训练和推理的效率。Nemotron-4 340B包括基础、指令和奖励模型，形成一个生成合成数据的管道，用于训练和完善LLMs。这些模型在Hugging Face上提供下载，并很快将在ai.nvidia.com上提供，作为NVIDIA NIM微服务的一部分。

提供关于人工智能的最佳资源，学习机器学习、数据科学、自然语言处理等。

AI Online Course是一个互动学习平台，提供清晰简明的人工智能介绍，使复杂的概念易于理解。它涵盖机器学习、深度学习、计算机视觉、自动驾驶、聊天机器人等方面的知识，并强调实际应用和技术优势。

通过对比对齐进行 Pure 和 Lightning ID 定制

PuLID 是一个专注于人脸身份定制的深度学习模型，通过对比对齐技术实现高保真度的人脸身份编辑。该模型能够减少对原始模型行为的干扰，同时提供多种应用，如风格变化、IP融合、配饰修改等。

轻量级但功能强大的多模态模型家族。

Bunny 是一系列轻量级但功能强大的多模态模型，提供多种即插即用的视图编码器和语言主干网络。通过从更广泛的数据源进行精选选择，构建更丰富的训练数据，以补偿模型尺寸的减小。Bunny-v1.0-3B 模型在性能上超越了同类大小甚至更大的 MLLMs（7B）模型，并与 13B 模型性能相当。