产品库

开源项目，复现OpenAI的Sora模型

Open-Sora-Plan是一个开源项目，旨在复现OpenAI的Sora（T2V模型），并构建关于Video-VQVAE（VideoGPT）+ DiT的知识。项目由北京大学-兔展AIGC联合实验室发起，目前资源有限，希望开源社区能够贡献力量。项目提供了训练代码，并欢迎Pull Request。

一款高效经济的语言模型，具有强大的专家混合特性。

DeepSeek-V2是一个由236B参数构成的混合专家（MoE）语言模型，它在保持经济训练和高效推理的同时，激活每个token的21B参数。与前代DeepSeek 67B相比，DeepSeek-V2在性能上更强，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，并提升了最大生成吞吐量至5.76倍。该模型在8.1万亿token的高质量语料库上进行了预训练，并通过监督式微调（SFT）和强化学习（RL）进一步优化，使其在标准基准测试和开放式生成评估中表现出色。

致力于收录开源社区的phi3训练变体版本，整理训练、推理、部署教程。

phi3-Chinese是一个公共的GitHub仓库，专注于收集和整理开源社区中关于phi3模型的各种训练变体版本。它不仅提供了不同版本的phi3模型下载链接，还包含了训练、推理、部署的相关教程，旨在帮助开发者更好地理解和使用phi3模型。

HiDiffusion，解锁预训练扩散模型中的高分辨率创作与效率。

HiDiffusion是一个预训练扩散模型，通过仅添加一行代码即可提高扩散模型的分辨率和速度。该模型通过Resolution-Aware U-Net (RAU-Net)和Modified Shifted Window Multi-head Self-Attention (MSW-MSA)技术，动态调整特征图大小以解决对象复制问题，并优化窗口注意力以减少计算量。HiDiffusion能够将图像生成分辨率扩展到4096×4096，同时保持1.5-6倍于以往方法的推理速度。

高效的企业级人工智能模型，低成本实现高质量定制模型。

Snowflake Arctic 是一款专为企业级人工智能任务设计的大规模语言模型（LLM），它在 SQL 生成、编码以及指令遵循等基准测试中表现出色，即使与计算预算更高的开源模型相比也毫不逊色。Arctic 通过其高效的训练和推理，为 Snowflake 客户以及广大 AI 社区提供了一种成本效益极高的定制模型创建方式。此外，Arctic 采用 Apache 2.0 许可，提供无门槛的权重和代码访问，并通过开源数据配方和研究洞察，进一步推动了社区的开放性和成本效益。

首个llama3中文版，多轮对话AI模型

llama3-Chinese-chat是首个llama3的中文对话版本，专为中文用户设计，支持高质量的多轮对话。它使用了170k+的中文对话数据进行训练，具备角色扮演、agent能力增强等特性，并提供了详细的训练和推理教程。此外，项目还计划开源浏览器插件，增加AI笔记和思维导图功能，进一步增强用户体验。

4K文本到图像生成的扩散变换器

PixArt-Sigma是一个基于PyTorch的模型定义、预训练权重和推理/采样代码的集合，用于探索4K文本到图像生成的弱到强训练扩散变换器。它支持从低分辨率到高分辨率的图像生成，提供了多种功能和优势，如快速体验、用户友好的代码库和多种模型选择。

面向AI开发者的GPU云平台,高性价比,极致体验,计费灵活

GpuMall智算云是一个面向AI开发者的GPU云平台,提供高性价比的计算资源,灵活的计费方式,以及弹性的调度能力,可以满足AI开发者的各种需求。用户可以在这里快速租用GPU资源进行AI模型训练和推理,并且可以根据实际使用情况灵活调整资源配置,达到最佳性价比。平台还提供了丰富的使用文档和在线客服支持,让用户使用起来更加便捷。

以低成本实现高性能的大型语言模型

JetMoE-8B是一个开源的大型语言模型，通过使用公共数据集和优化的训练方法，以低于10万美元的成本实现了超越Meta AI LLaMA2-7B的性能。该模型在推理时仅激活22亿参数，大幅降低了计算成本，同时保持了优异的性能。

多模态AI模型，图像理解与生成兼备

Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型，具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成，提供不同规模的版本，性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术，通过卷积网络编码图像并利用Attention机制挖掘信息，同时结合LLM生成文本链接两个模型。

谷歌开源的大型语言模型,能够生成高质量的文本内容

RecurrentGemma是谷歌开发的一系列开放语言模型,采用创新的循环架构设计,在文本生成任务上性能优异,包括问答、摘要和推理等。与Gemma模型相比,RecurrentGemma所需的内存更少,生成长序列的推理速度更快。该模型提供了预训练和针对指令的微调版本,可广泛应用于内容创作、对话AI等场景。

针对移动UI屏幕设计的MLLLM模型

Ferret-UI是一个新的MLLLM，专门为提高对移动UI屏幕的理解而设计。具备引用、定位和推理能力，处理UI屏幕上的任务。具有“任何分辨率”技术，通过放大细节解决小对象识别问题。涉及任务制定、训练样本收集、模型架构与数据集建立等，表现突出在高级任务的对话能力。

Octopus-V2-2B是一款在移动设备上运行的2B LLMs，性能优于GPT-4

Octopus-V2-2B是由斯坦福大学NexaAI开发的开源大型语言模型，具有20亿参数，专门为Android API的功能调用定制。它采用了独特的功能性标记策略，用于训练和推理阶段，使其达到与GPT-4相当的性能水平，并提高了推理速度。Octopus-V2-2B特别适合边缘计算设备，能够在设备上直接运行，支持广泛的应用场景。

澜舟科技研发的孟子3-13B大模型，支持免费商用

澜舟科技研发的孟子3-13B大模型基于Llama架构，经过3T Tokens的数据集训练，具备强大的多语言处理和交互推理能力。支持免费商用，为ToB场景打造优质大模型。

大规模MoE语言模型,性能媲美七十亿参数模型

Qwen1.5-MoE-A2.7B是一款大规模的MoE(Mixture of Experts)语言模型,仅有27亿个激活参数,但性能可与70亿参数模型相媲美。相比传统大模型,该模型训练成本降低75%,推理速度提高1.74倍。它采用特别的MoE架构设计,包括细粒度专家、新的初始化方法和路由机制等,大幅提升了模型效率。该模型可用于自然语言处理、代码生成等多种任务。

华为开源自研AI框架

华为开源自研AI框架MindSpore。自动微分、并行加持，一次训练，可多场景部署。支持端边云全场景的深度学习训练推理框架，主要应用于计算机视觉、自然语言处理等AI领域，面向数据科学家、算法工程师等人群。主要具备基于源码转换的通用自动微分、自动实现分布式并行训练、数据处理、以及图执行引擎等功能特性。借助自动微分，轻松训练神经网络。框架开源，华为培育AI开发生态。

Grok-1.5带有改进的推理能力和128,000个标记的上下文长度。

Grok-1.5是一种先进的大型语言模型,具有出色的长文本理解和推理能力。它可以处理高达128,000个标记的长上下文,远超以前模型的能力。在数学和编码等任务中,Grok-1.5表现出色,在多个公认的基准测试中获得了极高的分数。该模型建立在强大的分布式训练框架之上,确保高效和可靠的训练过程。Grok-1.5旨在为用户提供强大的语言理解和生成能力,助力各种复杂的语言任务。

突破性SSM-Transformer开放模型

Jamba是一款基于SSM-Transformer混合架构的开放语言模型,提供顶级的质量和性能表现。它融合了Transformer和SSM架构的优势,在推理基准测试中表现出色,同时在长上下文场景下提供3倍的吞吐量提升。Jamba是目前该规模下唯一可在单GPU上支持14万字符上下文的模型,成本效益极高。作为基础模型,Jamba旨在供开发者微调、训练并构建定制化解决方案。

实时一步潜在扩散模型,可用图像条件控制生成

SDXS是一种新的扩散模型,通过模型微型化和减少采样步骤,大幅降低了模型延迟。它利用知识蒸馏来简化U-Net和图像解码器架构,并引入了一种创新的单步DM训练技术,使用特征匹配和分数蒸馆。SDXS-512和SDXS-1024模型可在单个GPU上分别实现约100 FPS和30 FPS的推理速度,比之前模型快30至60倍。此外,该训练方法在图像条件控制方面也有潜在应用,可实现高效的图像到图像翻译。

苹果发布多模态LLM模型MM1

苹果发布了自己的大语言模型MM1，这是一个最高有30B规模的多模态LLM。通过预训练和SFT，MM1模型在多个基准测试中取得了SOTA性能，展现了上下文内预测、多图像推理和少样本学习能力等吸引人的特性。

下一代开源和双语大型语言模型

Yi-9B是01.AI研发的下一代开源双语大型语言模型系列之一。训练数据量达3T,展现出强大的语言理解、常识推理、阅读理解等能力。在代码、数学、常识推理和阅读理解等方面表现卓越,是同尺寸开源模型中的佼佼者。适用于个人、学术和商业用途。

让AI开发变得简单 简化开发流程。

Gitee AI 汇聚最新最热 AI 模型，提供模型体验、推理、训练、部署和应用的一站式服务，提供充沛算力，定位为中国最好的 AI 社区。

加速高分辨率扩散模型推理

DistriFusion是一个训练不需要的算法,可以利用多个GPU来加速扩散模型推理,而不会牺牲图像质量。DistriFusion可以根据使用的设备数量减少延迟,同时保持视觉保真度。

Phi-2-super是一款高级的基于大规模文本训练的对话AI模型。

Phi-2-super是在Phi-2基础模型上进行微调优化得到的对话AI系统,通过大量文本数据训练,应用了直接偏好优化算法,能够高质量地理解和生成人性化的文本。该模型具有以下优势和功能:1) 文本生成:可以针对广泛的话题生成连贯、相关的文本。2)多轮对话:能够进行多轮顺畅自然的对话。3)个性化:可以根据不同用户进行个性化的对话。4)安全性:集成了过滤机制,可以生成安全、负责任的回复。5)可解释性:内置的因果推理功能,可以解释自己的回答。6)参数可调:可以调整温度参数等来控制生成文本的多样性。

谷歌推出的开源预训练语言模型

Gemma-2b是谷歌推出的开源预训练语言模型系列,提供了多个不同规模的变体。它可以生成高质量的文本,广泛应用于问答、摘要、推理等领域。相比其他同类模型,它模型规模较小,可以部署在不同的硬件环境中。Gemma系列追求安全、高效的人工智能技术,使更多研究者和开发者可以接触前沿的语言模型技术。

Graph Neural Network (GNN)库,为苹果芯片量身打造

mlx-graphs是一个专为苹果芯片设计的图神经网络(GNN)库。它利用苹果硬件的优势,如统一内存架构,实现了在Mac设备上的高效GNN训练和推理。主要优点有:1)利用GPU并行计算,在大数据集上实现高速GNN运算;2)利用统一内存,支持在GPU上直接处理大规模图数据;3)无需设备间数据传输,简化开发流程。用户可以便捷地在Mac设备上处理大规模图问题,实现高性能GNN模型训练。

开放式基于提示的图像生成

GLIGEN是一个开放式的基于文本提示的图像生成模型,它可以基于文本描述和边界框等限定条件生成图像。该模型通过冻结预训练好的文本到图像Diffusion模型的参数,并在其中插入新的数据来实现。这种模块化设计可以高效地进行训练,并具有很强的推理灵活性。GLIGEN可以支持开放世界的有条件图像生成,对新出现的概念和布局也具有很强的泛化能力。

Stability AI推出高效低阈值文生图AI模型

Stable Cascade是一个基于Würstchen架构的文本到图像生成模型,相比其他模型使用更小的潜在空间进行训练和推理,因此在训练和推理速度上都有显著提升。该模型可以在消费级硬件上运行,降低了使用门槛。Stable Cascade在人类评估中表现突出,无论是在提示对齐还是图像质量上都超过了其他模型。总体而言,这是一个高效、易用、性能强劲的文生图AI模型。

给视觉语言模型赋予空间推理能力

SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。

基于PyTorch的生成式音频模型库

stable-audio-tools是一个开源的PyTorch库,提供了用于条件音频生成的生成模型的训练和推理代码。包括自动编码器、隐式扩散模型、MusicGen等。支持多GPU训练,可以生成高质量的音频。