多模态12B参数模型,结合视觉编码器处理图像和文本。
Pixtral-12B-2409是由Mistral AI团队开发的多模态模型,包含12B参数的多模态解码器和400M参数的视觉编码器。该模型在多模态任务中表现出色,支持不同尺寸的图像,并在文本基准测试中保持最前沿的性能。它适用于需要处理图像和文本数据的高级应用,如图像描述生成、视觉问答等。
引领AI视频、音乐、文本创作新潮流
MiniMax模型矩阵是一套集成了多种AI大模型的产品,包括视频生成、音乐生成、文本生成和语音合成等,旨在通过先进的人工智能技术推动内容创作的革新。这些模型不仅能够提供高分辨率和高帧率的视频生成,还能创作各种风格的音乐,生成高质量的文本内容,以及提供超拟人音色的语音合成。MiniMax模型矩阵代表了AI在内容创作领域的前沿技术,具有高效、创新和多样化的特点,能够满足不同用户在创作上的需求。
多语言大型语言模型,支持多领域文本生成。
XVERSE-MoE-A36B是由深圳元象科技自主研发的多语言大型语言模型,采用混合专家模型(MoE)架构,具有2554亿的总参数规模和360亿的激活参数量。该模型支持包括中、英、俄、西等40多种语言,特别在中英双语上表现优异。模型使用8K长度的训练样本,并通过精细化的数据采样比例和动态数据切换策略,保证了模型的高质量和多样性。此外,模型还针对MoE架构进行了定制优化,提升了计算效率和整体吞吐量。
用于检索和生成结合统计数据的文本模型
DataGemma RIG是一系列微调后的Gemma 2模型,旨在帮助大型语言模型(LLMs)访问并整合来自Data Commons的可靠公共统计数据。该模型采用检索式生成方法,通过自然语言查询Data Commons的现有自然语言接口,对响应中的统计数据进行注释。DataGemma RIG在TPUv5e上使用JAX进行训练,目前是早期版本,主要用于学术和研究目的,尚未准备好用于商业或公众使用。
将HTML内容转换为Markdown的AI模型
Jreader-lm-1.5b是由Jina AI开发的一款文本生成模型,专门用于将HTML格式的内容转换为Markdown格式。这一技术对于需要进行内容转换的开发者和内容创作者来说非常重要,因为它可以自动完成格式转换,提高工作效率。该模型在Hugging Face平台上提供,支持多语言,并且可以在Google Colab上免费试用。
将HTML内容转换为Markdown格式的模型
Jina Reader-LM是一系列将HTML内容转换为Markdown内容的模型,适用于内容转换任务。该模型在精选的HTML及其对应Markdown内容上进行训练,能够高效地处理网页内容的格式转换,为内容创作者和开发者提供便利。
高效开源的大型语言模型
OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型(LLM),于2024年9月发布。该模型在成本相似的模型中表现卓越,与更大的模型如Llama2-13B竞争。OLMoE完全开源,支持多种功能,包括文本生成、模型训练和部署等。
高效能的第三代MiniCPM系列模型
MiniCPM3-4B是MiniCPM系列的第三代产品,整体性能超越了Phi-3.5-mini-Instruct和GPT-3.5-Turbo-0125,与许多近期的7B至9B模型相当。与前两代相比,MiniCPM3-4B具有更强大的多功能性,支持函数调用和代码解释器,使其能够更广泛地应用于各种场景。此外,MiniCPM3-4B拥有32k的上下文窗口,配合LLMxMapReduce技术,理论上可以处理无限上下文,而无需大量内存。
先进的混合SSM-Transformer指令遵循基础模型
Jamba-1.5是ai21labs推出的一系列先进的混合SSM-Transformer指令遵循基础模型,这些模型在文本生成领域具有创新性和高效性。它们能够理解和执行复杂的指令,生成高质量的文本内容,对提升写作效率和质量有着重要的作用。
先进的混合SSM-Transformer指令遵循基础模型
AI21 Jamba 1.5系列模型是市场上最强大的长上下文模型之一,提供比同类领先模型快2.5倍的推理速度。这些模型展示了卓越的长上下文处理能力、速度和质量,是首次成功将非Transformer模型扩展到市场领先模型的质量和强度。
高效能的长文本处理AI模型
AI21-Jamba-1.5-Mini是AI21实验室开发的最新一代混合SSM-Transformer指令跟随基础模型。这款模型以其卓越的长文本处理能力、速度和质量在市场上脱颖而出,相较于同类大小的领先模型,推理速度提升高达2.5倍。Jamba 1.5 Mini和Jamba 1.5 Large专为商业用例和功能进行了优化,如函数调用、结构化输出(JSON)和基础生成。
Y2K风格的文本/字体生成模型
FLUX Y2K TYPEFACE是一个基于LoRA技术的文本/字体生成模型,能够以高精度生成Y2K风格的文本、字体、标志和徽章。该模型由Black Forest Labs, Inc.授权,代表了文本和字体生成技术的新进展,具有高度的创造性和实用性。
先进的多模态模型,支持图像和文本理解。
Phi-3.5-vision是微软开发的轻量级、最新一代的多模态模型,基于包括合成数据和经过筛选的公开可用网站在内的数据集构建,专注于文本和视觉的高质量、密集推理数据。该模型属于Phi-3模型家族,经过严格的增强过程,结合了监督微调和直接偏好优化,以确保精确的指令遵循和强大的安全措施。
轻量级、多语言的AI模型,支持长文本生成和推理。
Phi-3.5-MoE-instruct是由微软开发的轻量级、多语言的AI模型,基于高质量、推理密集型数据构建,支持128K的上下文长度。该模型经过严格的增强过程,包括监督式微调、近端策略优化和直接偏好优化,以确保精确的指令遵循和强大的安全措施。它旨在加速语言和多模态模型的研究,作为生成性AI功能的构建模块。
轻量级、多语言的先进文本生成模型
Phi-3.5-mini-instruct 是微软基于高质量数据构建的轻量级、多语言的先进文本生成模型。它专注于提供高质量的推理密集型数据,支持128K的token上下文长度,经过严格的增强过程,包括监督式微调、近端策略优化和直接偏好优化,确保精确的指令遵循和强大的安全措施。
7.8亿参数的双语生成模型
EXAONE-3.0-7.8B-Instruct是LG AI Research开发的一款具有7.8亿参数的双语(英语和韩语)预训练生成模型。模型通过8T的精选token进行预训练,并经过监督式微调和直接偏好优化进行后训练,展现出与同类大小的开放模型相比极具竞争力的基准性能。
安全内容审核模型
ShieldGemma是由Google开发的一系列基于Gemma 2构建的安全内容审核模型,专注于四个危害类别(儿童不宜内容、危险内容、仇恨和骚扰)。它们是文本到文本的解码器仅大型语言模型,仅包含英文版本,具有开放权重,包括2B、9B和27B参数大小的模型。这些模型旨在作为负责任的生成AI工具包的一部分,提高AI应用的安全性。
轻量级、先进的2B参数文本生成模型。
Gemma 2 2B是谷歌开发的轻量级、先进的文本生成模型,属于Gemma模型家族。该模型基于与Gemini模型相同的研究和技术构建,是一个文本到文本的解码器仅大型语言模型,提供英文版本。Gemma 2 2B模型适用于问答、摘要和推理等多种文本生成任务,其较小的模型尺寸使其能够部署在资源受限的环境中,如笔记本电脑或桌面电脑,促进了对最先进AI模型的访问,并推动了创新。
交互式生成任意长度文本的模型
RecurrentGPT是一种用于交互式生成任意长度文本的模型。它通过将长短期记忆网络(LSTM)中的向量化元素替换为自然语言(即文本段落),并使用提示工程模拟递归机制。在每个时间步,RecurrentGPT接收一个文本段落和一个简短的下一段计划,这些内容都是在前一个时间步生成的。它还维护一个短期记忆,总结近期时间步中的关键信息,并在每个时间步更新。RecurrentGPT通过将所有输入组合成一个提示,请求基础语言模型生成新的段落、下一段的简短计划,并更新长短期记忆。
12B参数的大型语言模型
Mistral-Nemo-Base-2407是由Mistral AI和NVIDIA联合训练的12B参数大型预训练生成文本模型。该模型在多语言和代码数据上进行了训练,显著优于相同或更小规模的现有模型。其主要特点包括:Apache 2.0许可证发布,支持预训练和指令版本,128k上下文窗口训练,支持多种语言和代码数据,是Mistral 7B的替代品。模型架构包括40层、5120维、128头维、14364隐藏维、32头数、8个kv头(GQA)、词汇量约128k、旋转嵌入(theta=1M)。该模型在多个基准测试中表现出色,如HellaSwag、Winogrande、OpenBookQA等。
© 2024 AIbase 备案号:闽ICP备08105208号-14