产品库

参数高效Fine-tuning大型语言模型

Astraios是一个提供大型语言模型Fine-tuning的平台，提供了多种参数高效Fine-tuning方法，以及多种规模的模型选择。用户可以在该平台上进行大规模语言模型的Fine-tuning，并获得最佳的成本-性能平衡。平台还提供了丰富的模型、数据集和文档，方便用户进行相关研究和开发。定价灵活，适用于不同规模的用户需求。

优化AI性能的无代码Fine-Tuning

Fine-Tuner是一款优化AI性能的无代码Fine-Tuning工具。通过使用先进的Fine-Tuning技术，您可以在更少的数据和时间内获得更好的结果。Fine-Tuner可以帮助您提升NLP模型的性能，无需编写任何代码。您可以使用Fine-Tuner对现有的模型进行改进，优化其性能，从而节省时间和资源。Fine-Tuner还提供了丰富的功能列表，适用于各种场景。

大规模合成数据集，助力个性化研究

Persona Hub 是腾讯AI实验室发布的一个大规模合成数据集，旨在促进以人物角色为驱动的数据合成研究。该数据集包含数百万不同人物角色的合成数据样本，可用于模拟真实世界用户的多样化输入，对大型语言模型（LLM）进行测试和研究。

大规模自回归图像模型预训练

这篇论文介绍了AIM，这是一组使用自回归目标进行预训练的视觉模型。这些模型受其文本对应物，即大型语言模型（LLMs）的启发，并表现出类似的扩展特性。具体来说，我们强调了两个关键发现：（1）视觉特征的性能随着模型容量和数据量的增加而提高，（2）目标函数的价值与模型在下游任务上的性能相关。我们通过在20亿张图像上对70亿参数的AIM进行预训练，实现了在ImageNet-1k上使用冻结主干达到84.0%的准确率。有趣的是，即使在这个规模上，我们观察到性能没有饱和的迹象，这表明AIM可能代表了训练大规模视觉模型的新前沿。AIM的预训练类似于LLMs的预训练，并不需要任何图像特定的策略来稳定大规模训练。

大规模视觉语言模型的视觉词汇扩展

Vary 是一个用于大规模视觉语言模型的官方代码实现。它通过扩展视觉词汇来提高模型的性能。该模型具有强大的图像理解和语言生成能力，可以在多个领域进行应用。

基于大规模数据的高质量信息抽取模型

雅意信息抽取大模型（YAYI-UIE）由中科闻歌算法团队研发，是一款在百万级人工构造的高质量信息抽取数据上进行指令微调的模型。它能够统一训练信息抽取任务，包括命名实体识别（NER）、关系抽取（RE）和事件抽取（EE），覆盖了通用、安全、金融、生物、医疗、商业等多个场景的结构化抽取。该模型的开源旨在促进中文预训练大模型开源社区的发展，并通过开源共建雅意大模型生态。

定制化大型语言模型的专业微调工具

Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能，提高效率，同时减少资源和存储的使用。

基于大规模视觉-语言模型的专家混合模型

MoE-LLaVA是一种基于大规模视觉-语言模型的专家混合模型，展现出在多模态学习中出色的性能。其具有较少的参数，但表现出较高的性能，并且可以在短时间内完成训练。该模型支持Gradio Web UI和CLI推理，并提供模型库、需求和安装、训练和验证、自定义、可视化、API等功能。

Gemma 2B模型，支持10M序列长度，优化内存使用，适用于大规模语言模型应用。

Gemma 2B - 10M Context是一个大规模的语言模型，它通过创新的注意力机制优化，能够在内存使用低于32GB的情况下处理长达10M的序列。该模型采用了循环局部注意力技术，灵感来源于Transformer-XL论文，是处理大规模语言任务的强大工具。

自我提升的安全 LLM

Automorphic 是一个安全、自我提升的语言模型平台。它使用 fine-tuning 技术将知识注入语言模型，绕过上下文窗口的限制。您可以训练适配器以实现特定行为或知识，并在运行时动态组合和切换它们。同时，Automorphic 提供人机交互反馈，以快速迭代模型，并将其投入生产环境。您还可以使用 Automorphic Hub 上的公开模型进行推理。

大规模参数扩散变换器模型

DiT-MoE是一个使用PyTorch实现的扩散变换器模型，能够扩展到160亿参数，与密集网络竞争的同时展现出高度优化的推理能力。它代表了深度学习领域在处理大规模数据集时的前沿技术，具有重要的研究和应用价值。

WeLM Playground是一款开源的大型中文语言模型聊天工具

WeLM Playground是基于开源中文语言模型WeLM的在线聊天 Demo,用户可以通过网页与 AI 对话、获取写作帮助。它提供稳定流畅的语言生成,支持自由聊天、话题控制、长篇闲聊、文本续写等功能。作为 Anthropic 公司开源的大模型之一,WeLM Playground 完全免费,代码开源,用户无需注册即可使用。它旨在让普通用户也能安全便捷地体验 LLM 对话带来的便利。

PygmalionAI的大规模推理引擎

Aphrodite是PygmalionAI的官方后端引擎，旨在为PygmalionAI网站提供推理端点，并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术，实现了连续批处理、高效的键值管理、优化的CUDA内核等特性，支持多种量化方案，以提高推理性能。

大规模视频生成的自回归扩散模型

MarDini是Meta AI Research推出的一款视频扩散模型，它将掩码自回归（MAR）的优势整合到统一的扩散模型（DM）框架中。该模型能够根据任意数量的掩码帧在任意帧位置进行视频生成，支持视频插值、图像到视频生成以及视频扩展等多种视频生成任务。MarDini的设计高效，将大部分计算资源分配给低分辨率规划模型，使得在大规模上进行空间-时间注意力成为可能。MarDini在视频插值方面树立了新的标杆，并且在几次推理步骤内，就能高效生成与更昂贵的高级图像到视频模型相媲美的视频。

Tülu 3 405B 是一个大规模开源语言模型，通过强化学习提升性能。

Tülu 3 405B 是由 Allen Institute for AI 开发的开源语言模型，具有 4050 亿参数。该模型通过创新的强化学习框架（RLVR）提升性能，尤其在数学和指令跟随任务中表现出色。它基于 Llama-405B 模型进行优化，采用监督微调、偏好优化等技术。Tülu 3 405B 的开源性质使其成为研究和开发领域的强大工具，适用于需要高性能语言模型的各种应用场景。

Pixta AI | 大规模数据标注和数据采集服务

Pixta AI是一家提供大规模数据标注和数据采集解决方案的公司。我们拥有1000多名经验丰富的标注员，超过9000万张图片和1000万个视频。通过我们的服务，可以加速您的AI开发。我们提供的标注和数据采集服务能够满足各种需求，并且可以根据您的项目进行定制化。

大规模深度循环语言模型的预训练代码，支持在4096个AMD GPU上运行。

该产品是一个用于大规模深度循环语言模型的预训练代码库，基于Python开发。它在AMD GPU架构上进行了优化，能够在4096个AMD GPU上高效运行。该技术的核心优势在于其深度循环架构，能够有效提升模型的推理能力和效率。它主要用于研究和开发高性能的自然语言处理模型，特别是在需要大规模计算资源的场景中。该代码库开源且基于Apache-2.0许可证，适合学术研究和工业应用。

开源 13B 大规模语言模型

百川 - 13B 是由百川智能开发的开源可商用的大规模语言模型，参数量达到 130 亿，训练数据量达到 1.4 万亿 tokens。该模型支持中英双语，具有高质量的预测和对话能力。模型支持量化部署和 CPU 推理，并在多个基准测试中取得优秀结果。可以广泛应用于自然语言处理领域的任务，如问答系统、对话系统、文本生成等。

领先的语音数据隐私解决方案

Nijta提供基于AI的语音匿名化技术，帮助企业在不泄露隐私和保密性的情况下大规模使用语音数据。这项技术的重要性在于，它允许企业在遵守法规的同时，充分利用其语音数据的价值，特别是在处理敏感信息时。Nijta的技术背景是基于对数据隐私和合规性的深刻理解，它通过去除语音数据中的生物特征和身份标识，确保数据的完全匿名性，从而使企业能够无风险地探索数据洞察并释放其全部知识价值。

大规模多语言文本数据集

allenai/tulu-3-sft-olmo-2-mixture是一个大规模的多语言数据集，包含了用于训练和微调语言模型的多样化文本样本。该数据集的重要性在于它为研究人员和开发者提供了丰富的语言资源，以改进和优化多语言AI模型的性能。产品背景信息包括其由多个来源的数据混合而成，适用于教育和研究领域，且遵循特定的许可协议。

数据平台用于云和人工智能

WEKA是一个数据平台，帮助组织在云和本地存储、处理和管理数据，为下一代工作负载提供支持。它提供了快速的数据处理和推理能力，高效的图像处理速度，并解决了大规模数据处理的挑战。WEKA适用于各种行业和应用场景，并提供灵活的定价方案。

大规模多语言偏好混合数据集

OLMo 2 1124 13B Preference Mixture是一个由Hugging Face提供的大型多语言数据集，包含377.7k个生成对，用于训练和优化语言模型，特别是在偏好学习和指令遵循方面。该数据集的重要性在于它提供了一个多样化和大规模的数据环境，有助于开发更加精准和个性化的语言处理技术。

高分辨率图像生成模型，快速生成，少步推理

Latent Consistency Models是一种高分辨率图像生成模型，通过少步推理快速生成高保真度图像。LCMs可以从任何预训练的稳定扩散模型中提取，只需要32个A100 GPU小时的训练即可生成高质量的768×768分辨率图像。此外，LCMs还引入了一种名为Latent Consistency Fine-tuning（LCF）的新方法，可以在自定义图像数据集上进行微调，实现定制化图像生成。

800K+个3D物体的大规模数据集

Objaverse是一个包含800K+个标注3D物体的大规模数据集，每个物体都有名称、描述、标签和其他元数据。它包含了各种类型的物体，包括静态物体、动画物体、有部位注释的角色、可分解的模型、室内外环境等，并具有多样的视觉风格。Objaverse可用于生成3D模型、作为2D实例分割的增强、开放词汇体现的AI以及研究CLIP的鲁棒性。

大规模多模态预训练数据集

allenai/olmo-mix-1124数据集是由Hugging Face提供的一个大规模多模态预训练数据集，主要用于训练和优化自然语言处理模型。该数据集包含了大量的文本信息，覆盖了多种语言，并且可以用于各种文本生成任务。它的重要性在于提供了一个丰富的资源，使得研究人员和开发者能够训练出更加精准和高效的语言模型，进而推动自然语言处理技术的发展。

易用的大规模语言模型知识编辑框架

EasyEdit 是一个面向大型语言模型（LLMs）的易用知识编辑框架，旨在帮助用户高效、准确地调整预训练模型的特定行为。它提供了统一的编辑器、方法和评估框架，支持多种知识编辑技术，如ROME、MEND等，并提供了丰富的数据集和评估指标，以衡量编辑的可靠性、泛化性、局部性和可移植性。

微软定制AI加速器，专为大规模AI工作负载设计。

Maia 100是微软为Azure设计的首款定制AI加速器，专为大规模AI工作负载而打造，通过软硬件的协同优化，实现了性能、可扩展性和灵活性的最大化。它采用了TSMC N5工艺和COWOS-S互连技术，具备高达1.8TB/s的带宽和64GB的容量，支持高达700W的热设计功耗(TDP)，但以500W运行，确保了高效的能效比。Maia 100集成了高速张量单元、向量处理器、DMA引擎和硬件信号量，支持多种数据类型和张量切分方案，并通过以太网互连支持大规模AI模型。此外，Maia SDK提供了丰富的组件，支持快速部署PyTorch和Triton模型，并通过双编程模型确保高效的数据处理和同步。

大规模MoE语言模型,性能媲美七十亿参数模型

Qwen1.5-MoE-A2.7B是一款大规模的MoE(Mixture of Experts)语言模型,仅有27亿个激活参数,但性能可与70亿参数模型相媲美。相比传统大模型,该模型训练成本降低75%,推理速度提高1.74倍。它采用特别的MoE架构设计,包括细粒度专家、新的初始化方法和路由机制等,大幅提升了模型效率。该模型可用于自然语言处理、代码生成等多种任务。

大规模多模态医学数据集

MedTrinity-25M是一个大规模多模态数据集，包含多粒度的医学注释。它由多位作者共同开发，旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤，支持多种医学图像分析任务，如视觉问答（VQA）、病理学图像分析等。

利用动态NeRF进行大规模运动和视角变化的人体视频编辑

DynVideo-E是一款利用动态NeRF技术进行大规模运动和视角变化的人体视频编辑工具。该工具将视频表示为3D前景规范化的人体空间，结合变形场和3D背景静态空间。通过利用重建损失、2D个性化扩散先验、3D扩散先验和局部部分超分辨率等技术，在多视角多姿势配置下编辑可动的规范化人体空间。同时，通过特征空间的风格转换损失将参考风格转移到3D背景模型中。用户可以在编辑后的视频-NeRF模型中根据源视频相机姿态进行相应的渲染。DynVideo-E不仅能够处理短视频，还能够处理大规模运动和视角变化的人体视频，为用户提供了更多直接可控的编辑方式。该工具在两个具有挑战性的数据集上的实验证明，相比于现有方法，DynVideo-E在人类偏好方面取得了50% ~ 95%的显著优势。DynVideo-E的代码和数据将会向社区发布。