多语言对话生成模型
Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型(LLMs),支持8种语言,专为对话使用案例优化,并通过监督式微调(SFT)和人类反馈的强化学习(RLHF)来提高安全性和有用性。
大型多语言预训练语言模型
Meta Llama 3.1-405B 是由 Meta 开发的一系列大型多语言预训练语言模型,包含8B、70B和405B三种规模的模型。这些模型经过优化的变压器架构,使用监督式微调(SFT)和强化学习与人类反馈(RLHF)进行调优,以符合人类对帮助性和安全性的偏好。Llama 3.1 模型支持多种语言,包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。该模型在多种自然语言生成任务中表现出色,并在行业基准测试中超越了许多现有的开源和封闭聊天模型。
PygmalionAI的大规模推理引擎
Aphrodite是PygmalionAI的官方后端引擎,旨在为PygmalionAI网站提供推理端点,并允许以极快的速度为大量用户提供Pygmalion模型服务。Aphrodite利用vLLM的分页注意力技术,实现了连续批处理、高效的键值管理、优化的CUDA内核等特性,支持多种量化方案,以提高推理性能。
高性能语言模型基准测试数据集
DCLM-baseline是一个用于语言模型基准测试的预训练数据集,包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤,从Common Crawl数据集中提取,旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用,不适用于生产环境或特定领域的模型训练,如代码和数学。
7亿参数的语言模型,展示数据整理技术的有效性。
DCLM-Baseline-7B是一个7亿参数的语言模型,由DataComp for Language Models (DCLM)团队开发,主要使用英语。该模型旨在通过系统化的数据整理技术来提高语言模型的性能。模型训练使用了PyTorch与OpenLM框架,优化器为AdamW,学习率为2e-3,权重衰减为0.05,批次大小为2048序列,序列长度为2048个token,总训练token数达到了2.5T。模型训练硬件使用了H100 GPU。
增强型语言工具包
SaltAI Language Toolkit 是一个集成了检索增强生成(RAG)工具 Llama-Index、微软的 AutoGen 和 LlaVA-Next 的项目,通过 ComfyUI 的可适应节点接口,增强了平台的功能和用户体验。该项目于2024年5月9日增加了代理功能。
阿里云推出的大型音频语言模型
Qwen2-Audio是由阿里云提出的大型音频语言模型,能够接受各种音频信号输入,并根据语音指令进行音频分析或直接文本回复。该模型支持两种不同的音频交互模式:语音聊天和音频分析。它在13个标准基准测试中表现出色,包括自动语音识别、语音到文本翻译、语音情感识别等。
开源小型语言模型,适用于企业级应用
H2O-Danube2-1.8B是H2O.ai最新发布的开源小型语言模型,专为离线应用和企业级应用设计,具有经济高效的接口和训练成本,易于嵌入到移动电话、无人机等边缘设备中。该模型在Hugging Face Open LLM Leaderboard的<2B范围内排名第一,提供高达200倍的查询成本节省,同时在文档处理上提供更好的准确性,成本降低高达100%。H2O.ai平台还提供了成本控制和灵活性,支持超过30种大型语言模型(Large Language Models, LLMs)的混合使用,包括专有和开源的LLMs。
与私有自托管语言模型对话的iOS/macOS应用
Enchanted是一个开源的、兼容Ollama的macOS/iOS/visionOS应用,它允许用户与私有自托管的语言模型如Llama 2、Mistral、Vicuna等进行对话。它基本上是一个连接到私有模型的ChatGPT应用界面。Enchanted的目标是提供一个产品,允许在iOS生态系统(macOS、iOS、Watch、Vision Pro)的所有设备上提供无过滤、安全、私密和多模态的体验。
可在任何环境中运行的ComfyUI节点
BizyAir 是一个由siliconflow开发的插件,旨在帮助用户克服环境和硬件限制,更轻松地使用ComfyUI生成高质量内容。它支持在任何环境下运行,无需担心环境或硬件要求。
首个面向中英文用户的指令调优语言模型
Gemma-2-27B-Chinese-Chat是基于google/gemma-2-27b-it的首个指令调优语言模型,专为中英文用户设计,拥有角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调,显著提升了在中英文对话、角色扮演和数学计算等方面的性能。
高效紧凑的7B参数语言模型
Arcee Spark是一个7B参数的语言模型,它在紧凑的包体中提供高性能,证明小型模型也能与大型模型相媲美。它是7B-15B范围内得分最高的模型,并且在MT-Bench基准测试中超越了GPT 3.5和Claude 2.1等更大模型。它适用于实时应用、边缘计算场景、成本效益高的AI实施、快速原型设计和增强数据隐私的本地部署。
多功能中文英文对话模型
Gemma-2-9B-Chinese-Chat是一款基于google/gemma-2-9b-it的指令调整型语言模型,专为中英文用户设计,具备角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调,显著提升了对中文问题的响应准确性,减少了中英文混合使用的问题,并在角色扮演、工具使用和数学计算方面表现出色。
19亿参数规模的角色扮演模型,支持few shots角色定制。
Index-1.9B-Character是由Index团队自主研发的大型语言模型,专注于角色扮演领域,拥有19亿参数规模。该模型支持用户通过上传角色对话语料实现快速的角色定制,具备较高的角色一致性、对话能力和角色扮演吸引力。在CharacterEval权威benchmark评估中,整体均分排名第九,表现优于同量级模型。
70亿参数的多方面奖励模型
Llama3-70B-SteerLM-RM是一个70亿参数的语言模型,用作属性预测模型,一个多方面的奖励模型,它在多个方面对模型响应进行评分,而不是传统奖励模型中的单一分数。该模型使用HelpSteer2数据集训练,并通过NVIDIA NeMo-Aligner进行训练,这是一个可扩展的工具包,用于高效和高效的模型对齐。
多令牌预测模型,提升语言模型的效率与性能
multi-token prediction模型是Facebook基于大型语言模型研究开发的技术,旨在通过预测多个未来令牌来提高模型的效率和性能。该技术允许模型在单次前向传播中生成多个令牌,从而加快生成速度并可能提高模型的准确性。该模型在非商业研究用途下免费提供,但使用时需遵守Meta的隐私政策和相关法律法规。
大型视频-语言模型,提供视觉问答和视频字幕生成。
VideoLLaMA2-7B是由DAMO-NLP-SG团队开发的多模态大型语言模型,专注于视频内容的理解和生成。该模型在视觉问答和视频字幕生成方面具有显著的性能,能够处理复杂的视频内容,并生成准确、自然的语言描述。它在空间-时间建模和音频理解方面进行了优化,为视频内容的智能分析和处理提供了强大的支持。
提升大型语言模型性能的混合代理技术
MoA(Mixture of Agents)是一种新颖的方法,它利用多个大型语言模型(LLMs)的集体优势来提升性能,实现了最先进的结果。MoA采用分层架构,每层包含多个LLM代理,显著超越了GPT-4 Omni在AlpacaEval 2.0上的57.5%得分,达到了65.1%的得分,使用的是仅开源模型。
© 2024 AIbase 备案号:闽ICP备08105208号-14