产品库

一个专注于超大规模系统设计和优化的工具，提供高效解决方案。

The Ultra-Scale Playbook 是一个基于 Hugging Face Spaces 提供的模型工具，专注于超大规模系统的优化和设计。它利用先进的技术框架，帮助开发者和企业高效地构建和管理大规模系统。该工具的主要优点包括高度的可扩展性、优化的性能和易于集成的特性。它适用于需要处理复杂数据和大规模计算任务的场景，如人工智能、机器学习和大数据处理。产品目前以开源的形式提供，适合各种规模的企业和开发者使用。

PygmalionAI的大规模推理引擎

Aphrodite是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术，实现了连续批处理、高效的键值管理、优化的CUDA内核等特性，支持多种量化方案，以提高推理性能。

大规模参数扩散变换器模型

DiT-MoE是一个使用PyTorch实现的扩散变换器模型，能够扩展到160亿参数，与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术，具有重要的研究和应用价值。

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。

微软定制AI加速器，专为大规模AI工作负载设计。

Maia 100是微软为Azure设计的首款定制AI加速器，专为大规模AI工作负载而打造，通过软硬件的协同优化，实现了性能、可扩展性和灵活性的最大化。它采用了TSMC N5工艺和COWOS-S互连技术，具备高达1.8TB/s的带宽和64GB的容量，支持高达700W的热设计功耗(TDP)，但以500W运行，确保了高效的能效比。Maia 100集成了高速张量单元、向量处理器、DMA引擎和硬件信号量，支持多种数据类型和张量切分方案，并通过以太网互连支持大规模AI模型。此外，Maia SDK提供了丰富的组件，支持快速部署PyTorch和Triton模型，并通过双编程模型确保高效的数据处理和同步。

大规模自回归图像模型预训练

这篇论文介绍了AIM，这是一组使用自回归目标进行预训练的视觉模型。这些模型受其文本对应物，即大型语言模型（LLMs）的启发，并表现出类似的扩展特性。具体来说，我们强调了两个关键发现：（1）视觉特征的性能随着模型容量和数据量的增加而提高，（2）目标函数的价值与模型在下游任务上的性能相关。我们通过在20亿张图像上对70亿参数的AIM进行预训练，实现了在ImageNet-1k上使用冻结主干达到84.0%的准确率。有趣的是，即使在这个规模上，我们观察到性能没有饱和的迹象，这表明AIM可能代表了训练大规模视觉模型的新前沿。AIM的预训练类似于LLMs的预训练，并不需要任何图像特定的策略来稳定大规模训练。

基于大规模视觉-语言模型的专家混合模型

MoE-LLaVA是一种基于大规模视觉-语言模型的专家混合模型，展现出在多模态学习中出色的性能。其具有较少的参数，但表现出较高的性能，并且可以在短时间内完成训练。该模型支持Gradio Web UI和CLI推理，并提供模型库、需求和安装、训练和验证、自定义、可视化、API等功能。

业界首个超大规模混合 Mamba 推理模型，强推理能力。

混元T1 是腾讯推出的超大规模推理模型，基于强化学习技术，通过大量后训练显著提升推理能力。它在长文处理和上下文捕捉上表现突出，同时优化了计算资源的消耗，具备高效的推理能力。适用于各类推理任务，尤其在数学、逻辑推理等领域表现优异。该产品以深度学习为基础，结合实际反馈不断优化，适合科研、教育等多个领域的应用。

大规模合成数据集，助力个性化研究

Persona Hub 是腾讯AI实验室发布的一个大规模合成数据集，旨在促进以人物角色为驱动的数据合成研究。该数据集包含数百万不同人物角色的合成数据样本，可用于模拟真实世界用户的多样化输入，对大型语言模型（LLM）进行测试和研究。

Gemma 2B模型，支持10M序列长度，优化内存使用，适用于大规模语言模型应用。

Gemma 2B - 10M Context是一个大规模的语言模型，它通过创新的注意力机制优化，能够在内存使用低于32GB的情况下处理长达10M的序列。该模型采用了循环局部注意力技术，灵感来源于Transformer-XL论文，是处理大规模语言任务的强大工具。

大规模视频生成的自回归扩散模型

MarDini是Meta AI Research推出的一款视频扩散模型，它将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成，支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效，将大部分计算资源分配给低分辨率规划模型，使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆，并且在几次推理步骤内，就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。

利用动态NeRF进行大规模运动和视角变化的人体视频编辑

DynVideo-E是一款利用动态NeRF技术进行大规模运动和视角变化的人体视频编辑工具。该工具将视频表示为3D前景规范化的人体空间，结合变形场和3D背景静态空间。通过利用重建损失、2D个性化扩散先验、3D扩散先验和局部部分超分辨率等技术，在多视角多姿势配置下编辑可动的规范化人体空间。同时，通过特征空间的风格转换损失将参考风格转移到3D背景模型中。用户可以在编辑后的视频-NeRF模型中根据源视频相机姿态进行相应的渲染。DynVideo-E不仅能够处理短视频，还能够处理大规模运动和视角变化的人体视频，为用户提供了更多直接可控的编辑方式。该工具在两个具有挑战性的数据集上的实验证明，相比于现有方法，DynVideo-E在人类偏好方面取得了50% ~ 95%的显著优势。DynVideo-E的代码和数据将会向社区发布。

DeepSeek-V3/R1 推理系统是一个高性能的分布式推理架构，专为大规模 AI 模型优化设计。

DeepSeek-V3/R1 推理系统是 DeepSeek 团队开发的高性能推理架构，旨在优化大规模稀疏模型的推理效率。它通过跨节点专家并行（EP）技术，显著提升 GPU 矩阵计算效率，降低延迟。该系统采用双批量重叠策略和多级负载均衡机制，确保在大规模分布式环境中高效运行。其主要优点包括高吞吐量、低延迟和优化的资源利用率，适用于高性能计算和 AI 推理场景。

MNBVC是一个超大规模的中文语料集，对标chatGPT训练的40T数据

MNBVC（Massive Never-ending BT Vast Chinese corpus）是一个旨在为AI提供丰富中文语料的项目。它不仅包括主流文化内容，还涵盖了小众文化和网络用语。数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等多种形式的纯文本中文数据。

大规模深度循环语言模型的预训练代码，支持在4096个AMD GPU上运行。

该产品是一个用于大规模深度循环语言模型的预训练代码库，基于Python开发。它在AMD GPU架构上进行了优化，能够在4096个AMD GPU上高效运行。该技术的核心优势在于其深度循环架构，能够有效提升模型的推理能力和效率。它主要用于研究和开发高性能的自然语言处理模型，特别是在需要大规模计算资源的场景中。该代码库开源且基于Apache-2.0许可证，适合学术研究和工业应用。

Tülu 3 405B 是一个大规模开源语言模型，通过强化学习提升性能。

Tülu 3 405B 是由 Allen Institute for AI 开发的开源语言模型，具有 4050 亿参数。该模型通过创新的强化学习框架（RLVR）提升性能，尤其在数学和指令跟随任务中表现出色。它基于 Llama-405B 模型进行优化，采用监督微调、偏好优化等技术。Tülu 3 405B 的开源性质使其成为研究和开发领域的强大工具，适用于需要高性能语言模型的各种应用场景。

智能编程助手，助力高效编程。

JoyCoder 是京东自主研发的智能编程助手，基于大语言模型，适配多种 IDE，提供代码预测、智能问答等功能。它能够提升开发人员的编程效率和代码质量，减少编程错误，降低修复问题的频率。该产品适合各种开发者使用，特别是在快速开发和测试需求中。随着智能编程的兴起，JoyCoder 为开发者提供了一个高效、流畅的编程环境，满足其多样化需求。产品定价方面，具体信息请联系售前顾问。

开发中大规模模型系统的组织

LMSYS Org 是一个组织，旨在使大型模型及其系统基础设施的技术民主化。他们开发了 Vicuna 聊天机器人，其在 7B/13B/33B 规模下可以印象 GPT-4，实现了 90% ChatGPT 质量。同时，还提供 Chatbot Arena 以众包和 Elo 评级系统进行大规模、游戏化评估 LLMs。SGLang 提供了复杂 LLM 程序的高效接口和运行时环境。LMSYS-Chat-1M 是一个大规模真实世界 LLM 对话数据集。FastChat 是一个用于训练、提供服务和评估基于 LLM 的聊天机器人的开放平台。MT-Bench 是一个用于评估聊天机器人的一组具有挑战性、多回合、开放式问题。

WeLM Playground是一款开源的大型中文语言模型聊天工具

WeLM Playground是基于开源中文语言模型WeLM的在线聊天 Demo,用户可以通过网页与 AI 对话、获取写作帮助。它提供稳定流畅的语言生成,支持自由聊天、话题控制、长篇闲聊、文本续写等功能。作为 Anthropic 公司开源的大模型之一,WeLM Playground 完全免费,代码开源,用户无需注册即可使用。它旨在让普通用户也能安全便捷地体验 LLM 对话带来的便利。

优化您的简历以通过招聘系统筛选，提高面试机会！

HireFlow的人工智能简历检查器通过分析您的文档并提供个性化建议，优化简历以通过招聘系统的筛选。开始免费简历检查，提高获得面试机会的几率！

一款集成AI技术的智能对话系统，提供多语言翻译、编程代码生成等功能。

ChatMIX智能对话-AIGC系统是一款利用人工智能技术构建的在线聊天系统，旨在通过AI技术提升用户交互体验。产品支持智能翻译、工作周报生成、编程代码编写等功能，满足用户在不同场景下的需求。它的优势在于能够快速响应用户指令，提供准确、高效的服务，同时具备良好的用户界面和操作体验。

Moonlight是一个16B参数的混合专家模型，使用Muon优化器训练，性能优异。

Moonlight是基于Muon优化器训练的16B参数混合专家模型（MoE），在大规模训练中表现出色。它通过添加权重衰减和调整参数更新比例，显著提高了训练效率和稳定性。该模型在多项基准测试中超越了现有模型，同时大幅减少了训练所需的计算量。Moonlight的开源实现和预训练模型为研究人员和开发者提供了强大的工具，支持多种自然语言处理任务，如文本生成、代码生成等。

一款支持多种AI创作功能的开源系统，涵盖AI聊天、绘图、视频和音乐创作等功能。

小狐狸AI创作系统是一款功能强大的开源源码产品，支持DeepSeek-R1满血版，具备AI聊天、AI绘图、AI视频和SunoAI音乐等多种创作功能。该系统采用PHP语言开发，基于MYSQL数据库，完全开源且支持自主二次开发。它能够帮助用户快速搭建自己的AI创作平台，满足不同场景下的创作需求。产品定价为2599元，购买后提供专属售后群、DeepSeek学习资料等赠品，适合有AI创作需求的个人和企业使用，可助力用户在AI创作领域实现高效创作和流量变现。

释放大规模未标记数据的力量

Depth Anything是一个高度实用的解决方案，用于稳健的单目深度估计。我们旨在构建一个简单而强大的基础模型，处理任何情况下的任何图像，而不追求新颖的技术模块。为此，我们通过设计数据引擎来扩大数据集，收集并自动注释大规模未标记数据（约62M），从而显着扩大数据覆盖范围，从而能够减少泛化误差。我们研究了两种简单而有效的策略，使数据扩展变得有前途。首先，通过利用数据增强工具创建更具挑战性的优化目标。它迫使模型积极寻求额外的视觉知识并获得强大的表示。其次，开发了辅助监督，以强制模型从预训练编码器中继承丰富的语义先验。我们对其零-shot能力进行了广泛评估，包括六个公共数据集和随机拍摄的照片。它展现出令人印象深刻的泛化能力。此外，通过使用来自NYUv2和KITTI的度量深度信息对其进行微调，我们建立了新的SOTAs。我们更好的深度模型也导致更好的深度条件ControlNet。我们的模型发布在https://github.com/LiheYoung/Depth-Anything。

高效灵活的大规模模型微调工具包

XTuner是一个为大型模型（如InternLM, Llama, Baichuan, Qwen, ChatGLM）设计的高效、灵活且功能齐全的微调工具包。它支持在几乎所有GPU上进行LLM和VLM的预训练和微调，能够自动调度高性能操作，如FlashAttention和Triton内核，以提高训练吞吐量。XTuner与DeepSpeed兼容，支持多种ZeRO优化技术。它还支持各种LLMs和VLM（如LLaVA），并设计了良好的数据管道，能够适应任何格式的数据集。此外，XTuner支持多种训练算法，包括QLoRA、LoRA和全参数微调，使用户能够选择最适合其需求的解决方案。

电商业务智能优化系统

Out Of The Blue是一个电商业务智能优化系统,它可以持续监控电商网站,分析用户行为数据,发现营收损失和业务风险,提供数据驱动的商业优化方案。该系统通过机器学习算法,可以在数分钟内发现网站错误,追踪转化漏斗,找出表现欠佳的商品类目等问题,让电商商户能够及时止损、把握机会。它可以替代手工分析报表和数据,显著提升决策效率和商业效果。

基于TensorRT框架的大规模语言模型推理加速库

SwiftInfer是一个基于Nvidia TensorRT框架的大规模语言模型(LLM)推理加速库,通过GPU加速,极大提升LLM在生产环境中的推理性能。该项目针对流式语言模型提出的Attention Sink机制进行了实现,支持无限长度的文本生成。代码简洁,运行方便,支持主流的大规模语言模型。

大规模位置分析平台

xyzt.ai是一个强大的大规模位置分析平台，帮助您查看和理解位置数据。它可以处理数据的摄入、压缩、存储、分析和可视化。您可以轻松连接数据、定义感兴趣的区域和时间段、通过可视化分析洞察力、共享报告等。它提供即时分析、无缝洞察、可视化报告和AI驱动的工作流程等优势。xyzt.ai提供可扩展、稳定和安全的技术，支持流式摄入、高效压缩、快速汇总和基于机器学习和人工智能的分析。

大规模的人际关系

BHuman是一款利用人工智能生成个性化视频的平台，可以为数千个接收者制作单个视频，并通过任何渠道进行交付和测量结果。它可以帮助您在客户旅程中嵌入可扩展、难忘的体验，从而打败竞争对手。用户使用BHuman可以看到开放率平均增加124％，点击率增加593％，转化率增加302％。BHuman不是一个文本到视频平台，也不会生成让您的观众立即知道是假的“头像”。

我们最快的AI模型,能应对各种企业级应用场景

Claude 3 Haiku是Anthropic公司最新推出的企业级AI模型。它拥有业界领先的视觉能力和卓越的基准测试表现,是广泛企业应用场景的灵活解决方案。该模型现可通过Claude API和claude.ai网站的Claude Pro订阅获取。速度是企业用户急需解决的痛点,他们需要快速分析大量数据并及时生成输出,比如客户支持任务。Claude 3 Haiku的处理速度是同等水平模型的3倍,对于32K以下token的提示可处理21K token(约30页)每秒。它还能生成迅速的输出,为响应灵敏、体验流畅的聊天交互和并行执行多个小任务提供支持。Haiku的定价模式(输入输出token比率1:5)是针对通常需要较长提示的企业工作负载而设计的。企业可依赖Haiku以一半的成本快速分析大量文档,如季度报告、合同或法律案例。例如,Claude 3 Haiku只需1美元就能处理和分析400个最高法院案例或2500张图像。除了速度和经济实惠,Claude 3 Haiku还注重企业级的安全性和稳健性。我们进行严格测试以降低有害输出和模型逃逸的可能性,确保模型尽可能安全。其他防护层包括持续系统监控、终端加固、安全编码实践、强数据加密协议和严格的访问控制等。我们还定期进行安全审计,与经验丰富的渗透测试人员合作,主动识别和解决漏洞。更多相关措施信息可查阅Claude 3的模型卡。