一个基于稀疏专家模型的大型语言模型
Mixtral-8x22B是一个预训练的生成式稀疏专家语言模型。它由Mistral AI团队开发,旨在推进人工智能的开放发展。该模型具有141B个参数,支持多种优化部署方式,如半精度、量化等,以满足不同的硬件和应用场景需求。Mixtral-8x22B可以用于文本生成、问答、翻译等自然语言处理任务。
基于 Transformer 的预训练语言模型系列
Qwen1.5 是基于 Transformer 架构的解码器语言模型系列,包括不同规模的模型。具有 SwiGLU 激活、注意力 QKV 偏置、组查询注意力等特性。支持多种自然语言和代码。推荐进行后续训练,如 SFT、RLHF 等。定价免费。
HyperGAI推出的创新多模态LLM框架,旨在理解和处理文本、图像、视频等多种输入模态
HPT(Hyper-Pretrained Transformers)是HyperGAI研究团队推出的新型多模态大型语言模型框架,它能够高效且可扩展地训练大型多模态基础模型,理解包括文本、图像、视频等多种输入模态。HPT框架可以从头开始训练,也可以通过现有的预训练视觉编码器和/或大型语言模型进行高效适配。
基于语言模型架构的预训练时间序列预测模型
Chronos是一系列基于语言模型架构的预训练时间序列预测模型。时间序列通过缩放和量化转换为一系列标记,然后使用交叉熵损失训练语言模型。训练完成后,通过给定历史上下文采样多个未来轨迹,获得概率性预测。Chronos模型已经在大量公开可用的时间序列数据和使用高斯过程生成的合成数据上进行了训练。
谷歌推出的开源预训练语言模型
Gemma-2b是谷歌推出的开源预训练语言模型系列,提供了多个不同规模的变体。它可以生成高质量的文本,广泛应用于问答、摘要、推理等领域。相比其他同类模型,它模型规模较小,可以部署在不同的硬件环境中。Gemma系列追求安全、高效的人工智能技术,使更多研究者和开发者可以接触前沿的语言模型技术。
预训练T5模型,采用段落破坏和替换标记检测
SpacTor是一种新的训练程序,包括(1)结合了段落破坏(SC)和标记替换检测(RTD)的混合目标,以及(2)一个两阶段课程,该课程在初始tau次迭代中优化混合目标,然后过渡到标准的SC损失。我们在多种NLP任务上进行了实验,使用编码器-解码器架构(T5),SpacTor-T5在下游性能方面与标准的SC预训练相当,同时减少了50%的预训练迭代次数和40%的总FLOPs。另外,在相同的计算预算下,我们发现SpacTor能够显著提高下游基准性能。
TinyLlama项目旨在在3万亿令牌上预训练一个1.1B Llama模型。通过一些适当的优化,我们可以在“仅”90天内使用16个A100-40G GPU完成。训练已于2023-09-01开始。
TinyLlama项目旨在在3万亿令牌上预训练一个1.1B Llama模型。通过一些适当的优化,我们可以在“仅”90天内使用16个A100-40G GPU完成。训练已于2023-09-01开始。我们采用了与Llama 2完全相同的架构和分词器。这意味着TinyLlama可以在许多建立在Llama基础上的开源项目中使用。此外,TinyLlama只有1.1B个参数,紧凑性使其能够满足许多对计算和内存占用有限的应用需求。
统一文本到文本转换器
Google T5 是一个统一的文本到文本转换器,通过在大型文本语料库上进行预训练,可以实现在多个 NLP 任务上取得最先进的结果。它提供了加载、预处理、混合和评估数据集的代码,并且可以用于对已发布的预训练模型进行微调。
用于 Node.js 应用的开源 AI,速度提升最多 67 倍。
EnergeticAI 是针对无服务器环境优化的 TensorFlow.js,具有快速冷启动、小模块大小和预训练模型。它提供预训练的嵌入以用于推荐等功能。用户可以通过 npm 安装,具有商业友好的许可。EnergeticAI 最大化冷启动性能,同时最小化模块大小。
技术全球领跑
Yi是一款全球领先的预训练模型,在多项评测中取得了SOTA国际最佳性能指标表现。它具有轻巧的模型尺寸,超越了大尺寸开源模型,更加友好于开发者社群。零一万物适合个人及研究用途,并且已具备大模型涌现能力,适用于多元场景,满足开源社区的刚性需求。Yi开源模型对学术研究完全开放,并且同步开放免费商用申请。
无需机器学习知识,为你的软件添加人工智能
Cargoship是一个AI模型集合,提供预训练的模型和易于使用的API,无需机器学习知识即可将AI集成到你的软件中。Cargoship提供的模型包括文本处理、文本生成、图像识别、图像生成、音频转录等多个领域,用户可以选择自己需要的模型。Cargoship的模型集合不断增长,同时也保证与AI领域的发展保持同步。用户可以选择自己托管模型或者获取个人API密钥。
基于 Transformer 的图像识别模型
Google Vision Transformer 是一款基于 Transformer 编码器的图像识别模型,使用大规模图像数据进行预训练,可用于图像分类等任务。该模型在 ImageNet-21k 数据集上进行了预训练,并在 ImageNet 数据集上进行了微调,具备良好的图像特征提取能力。该模型通过将图像切分为固定大小的图像块,并线性嵌入这些图像块来处理图像数据。同时,模型在输入序列前添加了位置编码,以便在 Transformer 编码器中处理序列数据。用户可以通过在预训练的编码器之上添加线性层进行图像分类等任务。Google Vision Transformer 的优势在于其强大的图像特征学习能力和广泛的适用性。该模型免费提供使用。
© 2024 AIbase 备案号:闽ICP备2023012347号-1