OpenELM是一套高效的语言模型家族,具备开源训练和推理框架。
OpenELM是由苹果公司开发的语言模型家族,旨在为开源研究社区提供先进的语言模型。这些模型基于公开可用的数据集训练,不提供任何安全保证,可能产生不准确、有害、有偏见或令人反感的输出。因此,用户和开发者需要进行彻底的安全测试,并实施适当的过滤机制。
新的聊天,面具插件
gAIgle.com是一个面具插件,提供新的聊天功能。它使用了先进的语言模型技术,可以自动生成对话内容。gAIgle.com的主要优点是快速、准确、易用,并可以适应不同的聊天场景。它可以用于社交娱乐、教育培训、客服支持等多个领域。
分析Transformer语言模型的内部工作机制
LLM Transparency Tool(LLM-TT)是一个开源的交互式工具包,用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理,通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度,帮助研究人员和开发者更好地理解和改进语言模型。
一种用于测试长文本语言模型的合理性的评估基准
RULER 是一种新的合成基准,为长文本语言模型提供了更全面的评估。它扩展了普通检索测试,涵盖了不同类型和数量的信息点。此外,RULER 引入了新的任务类别,如多跳跟踪和聚合,以测试超出检索从上下文中的行为。在 RULER 上评估了 10 个长文本语言模型,并在 13 个代表性任务中获得了表现。尽管这些模型在普通检索测试中取得了几乎完美的准确性,但在上下文长度增加时,它们表现得非常差。只有四个模型(GPT-4、Command-R、Yi-34B 和 Mixtral)在长度为 32K 时表现得相当不错。我们公开源 RULER,以促进对长文本语言模型的全面评估。
一个基于稀疏专家模型的大型语言模型
Mixtral-8x22B是一个预训练的生成式稀疏专家语言模型。它由Mistral AI团队开发,旨在推进人工智能的开放发展。该模型具有141B个参数,支持多种优化部署方式,如半精度、量化等,以满足不同的硬件和应用场景需求。Mixtral-8x22B可以用于文本生成、问答、翻译等自然语言处理任务。
EasyContext演示了如何利用现有技术组合,来训练700K和1M上下文的语言模型。
EasyContext是一个开源项目,旨在通过结合多种技术手段,实现使用普通硬件训练语言模型的上下文长度达到100万词元。主要采用的技术包括序列并行、Deepspeed zero3离载、Flash注意力以及激活checkpoint等。该项目不提出新的创新点,而是展示如何组合现有的技术手段来实现这一目标。已成功训练出Llama-2-7B和Llama-2-13B两个模型,分别在8块A100和16块A100上实现了700K和1M词元的上下文长度。
谷歌开源的大型语言模型,能够生成高质量的文本内容
RecurrentGemma是谷歌开发的一系列开放语言模型,采用创新的循环架构设计,在文本生成任务上性能优异,包括问答、摘要和推理等。与Gemma模型相比,RecurrentGemma所需的内存更少,生成长序列的推理速度更快。该模型提供了预训练和针对指令的微调版本,可广泛应用于内容创作、对话AI等场景。
一款12.1B参数的解码型语言模型
Stable LM 2 12B是一种12.1十亿参数的解码器式语言模型,经过2万亿token的多语种和代码数据集预训练。该模型可用作基础模型进行下游任务的微调,但在使用前需要评估和微调以确保安全可靠的性能。该模型可能包含不当内容,建议使用时谨慎评估,不要用于可能会给他人造成伤害的应用。
首个中文大语言模型,专注中文理解和生成
Chinese Tiny LLM(CT-LLM)是针对中文设计的首个大语言模型,拥有20亿参数,并在12000亿中文语料库上进行预训练。CT-LLM专注于提高对中文语言的理解和生成能力,利用大规模的中文数据预训练,实现对中文文本的高效处理。虽然重点优化了中文处理,CT-LLM也展示了对英文和编程代码的良好处理能力,体现了模型的多语言适应性。在中文语言任务的基准测试CHC-Bench上,CT-LLM展现了出色的性能,证明了其在理解和应用中文方面的高效能力。CT-LLM从零开始训练,主要使用中文数据进行预训练,开放了整个数据过滤过程、训练动态、训练和评估数据,以及模型的中间检查点等所有相关信息。该开放资源的做法使得其他研究者、开发者能够访问这些资源,利用这些资料进行自己的研究或进一步改进模型。
基于GPT风格的生物医学语言模型
BioMedLM是由斯坦福大学和DataBricks团队合作开发的基于GPT风格的生物医学语言模型,具有2.7亿参数,通过在生物医学领域的专业知识上训练,可以有效地回答有关医学和生物学的复杂问题。可以在单个A100 GPU上方便地进行微调,并在笔记本电脑上运行推理。在MedMCQA上达到57.3%的得分,在MMLU医学遗传学考试上达到69.0%的得分。产品功能包括生物医学问答系统、患者咨询回答、文献检索与总结、数据隐私与内部部署、模型训练数据的完全记录。BioMedLM已在Hugging Face Hub上公开发布,允许任何人下载并微调模型。
突破性SSM-Transformer开放模型
Jamba是一款基于SSM-Transformer混合架构的开放语言模型,提供顶级的质量和性能表现。它融合了Transformer和SSM架构的优势,在推理基准测试中表现出色,同时在长上下文场景下提供3倍的吞吐量提升。Jamba是目前该规模下唯一可在单GPU上支持14万字符上下文的模型,成本效益极高。作为基础模型,Jamba旨在供开发者微调、训练并构建定制化解决方案。
将音频转换为LLM数据
ragobble是一个利用人工智能将音频文件转换为文档的平台。通过将在线视频和音频信息转换为可向量化的RAG文档,用户可以将生成的文档应用于其LLM实例或服务器,为其模型提供最新的知识。ragobble提供了一种快速简单的方式,将视频音频转换为文档,使用户可以为模型提供最新的信息,从而可以推断出仅在几秒钟前记录的数据。
一款小型评分器,提升大型多任务语言模型性能
Cappy是一种新型方法,旨在提高大型多任务语言模型的性能和效率。它是一个轻量级的预训练评分器,基于RoBERTa,仅有3.6亿个参数。Cappy可独立解决分类任务,或作为辅助组件提升语言模型性能。在下游任务中微调Cappy,可有效整合监督信息,提高模型表现,且不需要反向传播到语言模型参数,降低了内存需求。Cappy适用于开源和封闭源代码的语言模型,是一种高效的模型微调方法。
连接不同语言模型和生成视觉模型进行文本到图像生成
LaVi-Bridge是一种针对文本到图像扩散模型设计的桥接模型,能够连接各种预训练的语言模型和生成视觉模型。它通过利用LoRA和适配器,提供了一种灵活的插拔式方法,无需修改原始语言和视觉模型的权重。该模型与各种语言模型和生成视觉模型兼容,可容纳不同的结构。在这一框架内,我们证明了通过整合更高级的模块(如更先进的语言模型或生成视觉模型)可以明显提高文本对齐或图像质量等能力。该模型经过大量评估,证实了其有效性。
深入理解语言模型中的标记化过程
KarpathyLLMChallenge是一个教育性质的网站,专注于解释和展示语言模型(LLMs)中标记化的重要性和复杂性。它通过详细的文章和实例,帮助用户理解标记化如何影响语言模型的性能和能力。
快速获取相关搜索结果
GPT Search Navigator是一款先进的浏览器插件,将先进的人工智能技术带到您的在线浏览体验中。通过这个插件,您可以立即访问高度先进的语言模型CHATGPT的知识。不再需要无尽的滚动和因为无关的搜索结果而感到沮丧。使用GPT Search Navigator,您只需将查询输入到地址栏中,然后点击独特的紫色“Ask GPT”按钮,即可获得个性化和准确的结果,如果您对谷歌提供的结果不满意。更深入地了解体验,只需在地址栏中输入“ai tab”,即可启动与CHATGPT的全面对话,甚至无需创建帐户。通过这个功能,您可以提出复杂的问题并获得详细的对话回答,使学习和探索互联网上丰富的信息变得更加容易。无论您是学生、专业人士还是喜欢保持信息的人,GPT Search Navigator都是学习和探索的完美工具。不再为传统的搜索引擎烦恼,只需快速准确的信息尽在指尖。告别传统搜索引擎的沮丧,迎接在线浏览的未来。
集成音乐能力的开源LLM
ChatMusician是一个开源的大型语言模型(LLM),它通过持续的预训练和微调,集成了音乐能力。该模型基于文本兼容的音乐表示法(ABC记谱法),将音乐视为第二语言。ChatMusician能够在不依赖外部多模态神经结构或分词器的情况下,理解和生成音乐。
Mistral Large是Mistral AI的旗舰模型,具有顶级推理能力。
Mistral Large是Mistral AI团队最新推出的旗舰语言模型,具有顶级推理能力。它可用于复杂的多语言推理任务,包括文本理解、转换和代码生成。该模型在常用基准测试中取得了强大的成绩,是继GPT-4之后全球第二大可通过API进行使用的模型。
© 2024 AIbase 备案号:闽ICP备2023012347号-1