需求人群:
"适用于需要在 Intel GPU 上进行高效 LLM 推理的场景"
使用场景示例:
在自然语言处理任务中,使用该解决方案可大幅提升模型的推理速度。
在文本生成任务中,使用该解决方案可降低延迟,提高生成效率。
在对话系统中,使用该解决方案可实现更快的响应速度和更高的并发处理能力。
产品特色:
简化 LLM 解码器层
使用分段 KV 缓存策略
自定义的 Scaled-Dot-Product-Attention 内核
浏览量:6
最新流量情况
月访问量
22216.76k
平均访问时长
00:04:50
每次访问页数
5.52
跳出率
47.80%
流量来源
直接访问
46.24%
自然搜索
30.97%
邮件
0.78%
外链引荐
13.53%
社交媒体
8.45%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
15.26%
美国
13.36%
印度
6.45%
俄罗斯
3.91%
法国
3.77%
高效的企业级人工智能模型,低成本实现高质量定制模型。
Snowflake Arctic 是一款专为企业级人工智能任务设计的大规模语言模型(LLM),它在 SQL 生成、编码以及指令遵循等基准测试中表现出色,即使与计算预算更高的开源模型相比也毫不逊色。Arctic 通过其高效的训练和推理,为 Snowflake 客户以及广大 AI 社区提供了一种成本效益极高的定制模型创建方式。此外,Arctic 采用 Apache 2.0 许可,提供无门槛的权重和代码访问,并通过开源数据配方和研究洞察,进一步推动了社区的开放性和成本效益。
分析Transformer语言模型的内部工作机制
LLM Transparency Tool(LLM-TT)是一个开源的交互式工具包,用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理,通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度,帮助研究人员和开发者更好地理解和改进语言模型。
强大的多模态LLM,商业解决方案
Reka Core是一个GPT-4级别的多模态大型语言模型(LLM),具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。
多模态AI模型,图像理解与生成兼备
Mini-Gemini是由香港中文大学终身教授贾佳亚团队开发的多模态模型,具备精准的图像理解能力和高质量的训练数据。该模型结合图像推理和生成,提供不同规模的版本,性能与GPT-4和DALLE3相媲美。Mini-Gemini采用Gemini的视觉双分支信息挖掘方法和SDXL技术,通过卷积网络编码图像并利用Attention机制挖掘信息,同时结合LLM生成文本链接两个模型。
针对移动UI屏幕设计的MLLLM模型
Ferret-UI是一个新的MLLLM,专门为提高对移动UI屏幕的理解而设计。具备引用、定位和推理能力,处理UI屏幕上的任务。具有“任何分辨率”技术,通过放大细节解决小对象识别问题。涉及任务制定、训练样本收集、模型架构与数据集建立等,表现突出在高级任务的对话能力。
一个新的高效开源大型语言模型标准
DBRX是一个由Databricks的Mosaic研究团队构建的通用大型语言模型(LLM),在标准基准测试中表现优于所有现有开源模型。它采用Mixture-of-Experts (MoE)架构,使用362亿个参数,拥有出色的语言理解、编程、数学和逻辑推理能力。DBRX旨在推动高质量开源LLM的发展,并且便于企业根据自身数据对模型进行定制。Databricks为企业用户提供了交互式使用DBRX、利用其长上下文能力构建检索增强系统,并基于自身数据构建定制DBRX模型的能力。
苹果发布多模态LLM模型MM1
苹果发布了自己的大语言模型MM1,这是一个最高有30B规模的多模态LLM。通过预训练和SFT,MM1模型在多个基准测试中取得了SOTA性能,展现了上下文内预测、多图像推理和少样本学习能力等吸引人的特性。
人类启发式阅读代理,具有非常长上下文的要点记忆
ReadAgent是一个简单的提示系统,它利用大型语言模型(LLM)的先进语言能力来决定将哪些内容存储在记忆集中,将这些记忆集压缩成称为要点记忆的短篇回忆,并在ReadAgent需要提醒自己相关细节以完成任务时,采取行动查阅原始文本。ReadAgent可以通过使用要点记忆来捕获全局上下文,并关注局部细节,从而有效地推理非常长的上下文,在需要一次处理的信息量方面具有高效性,这对理解也很重要。
零编码GPT开发平台
iGOT.ai是一个零编码GPT开发平台,可帮助用户无需编程就可以构建、定义、探索和执行GPT模型,从而简化AI引擎的创建。它提供了一个直观的界面,用户可以通过自然语言描述问题和解决方案,平台会自动将其转换成GPT可以理解的推理对象,然后执行任务并审核结果,确保得到最优的输出。主要功能包括语句探索、推理对象创建、用户测试、LLM任务执行等。适用于各行各业将专业知识自动化的企业用户。
矢量图形生成的划分标记
StrokeNUWA是一项开创性的工作,探索了在矢量图形上更好的视觉表示“划分标记”,其视觉语义丰富,与LLMs自然兼容,并具有高度压缩性。配备划分标记,StrokeNUWA在矢量图形生成任务的各种指标上显著超越传统的LLM-based和基于优化的方法。此外,StrokeNUWA在推理速度上实现了高达94倍的加速,与先前方法相比具有卓越的SVG代码压缩比达6.9%。
高效为大型语言模型提供服务
FP6-LLM是一种用于大型语言模型的全新支持方案,通过六位量化(FP6)有效地减小了模型大小,并在各种应用中始终保持模型质量。我们提出了TC-FPx,这是第一个完整的GPU内核设计方案,统一支持各种量化位宽的浮点权重。我们将TC-FPx内核集成到现有推理系统中,为量化的LLM推理提供了全新的端到端支持(称为FP6-LLM),实现了推理成本和模型质量之间更好的权衡。实验证明,FP6-LLM使得使用单个GPU进行LLaMA-70b推理成为可能,实现的规范化推理吞吐量比FP16基准高1.69倍至2.65倍。
代码生成优化工具
AlphaCodium是一种基于测试的、多阶段、面向代码的迭代流方法,旨在提高LLMs在代码问题上的性能。它通过优化模型在代码生成任务上的表现,特别适用于竞赛性编程问题。用户可以根据配置选择相应的模型(如“gpt-4”、“gpt-3.5-turbo-16k”等),并使用AlphaCodium解决特定问题或整个数据集。该工具还提供了一系列最佳实践,如YAML结构化输出、语义推理、模块化代码生成等,可广泛适用于其他代码生成任务。
增强LLM推理能力的ReFT
ReFT是一种增强大型语言模型(LLMs)推理能力的简单而有效的方法。它首先通过监督微调(SFT)对模型进行预热,然后使用在线强化学习,具体来说是本文中的PPO算法,进一步微调模型。ReFT通过自动对给定问题进行大量推理路径的采样,并从真实答案中自然地得出奖励,从而显著优于SFT。ReFT的性能可能通过结合推理时策略(如多数投票和重新排名)进一步提升。需要注意的是,ReFT通过学习与SFT相同的训练问题而获得改进,而无需依赖额外或增强的训练问题。这表明ReFT具有更强的泛化能力。
高效极限扩展大语言模型
E^2-LLM是一种高效极限扩展的大语言模型方法,通过仅需一次训练过程和大幅降低的计算成本,实现了对长上下文任务的有效支持。该方法采用了RoPE位置嵌入,并引入了两种不同的增强方法,旨在使模型在推理时更具鲁棒性。在多个基准数据集上的综合实验结果证明了E^2-LLM在挑战性长上下文任务上的有效性。
语言模型隐藏表示检查统一框架
Patchscope是一个用于检查大型语言模型(LLM)隐藏表示的统一框架。它能解释模型行为,验证其与人类价值观的一致性。通过利用模型本身生成人类可理解的文本,我们提出利用模型本身来解释其自然语言内部表示。我们展示了Patchscopes框架如何用于回答关于LLM计算的广泛研究问题。我们发现,基于将表示投影到词汇空间和干预LLM计算的先前可解释性方法,可以被视为此框架的特殊实例。此外,Patchscope还开辟了新的可能性,例如使用更强大的模型来解释较小模型的表示,并解锁了自我纠正等新应用,如多跳推理。
基于TensorRT框架的大规模语言模型推理加速库
SwiftInfer是一个基于Nvidia TensorRT框架的大规模语言模型(LLM)推理加速库,通过GPU加速,极大提升LLM在生产环境中的推理性能。该项目针对流式语言模型提出的Attention Sink机制进行了实现,支持无限长度的文本生成。代码简洁,运行方便,支持主流的大规模语言模型。
高速大型语言模型本地部署推理引擎
PowerInfer 是一个在个人电脑上利用消费级 GPU 进行高速大型语言模型推理的引擎。它利用 LLM 推理中的高局部性特点,通过预加载热激活的神经元到 GPU 上,从而显著降低了 GPU 内存需求和 CPU-GPU 数据传输。PowerInfer 还集成了自适应预测器和神经元感知的稀疏运算符,优化神经元激活和计算稀疏性的效率。它可以在单个 NVIDIA RTX 4090 GPU 上以平均每秒 13.20 个标记的生成速率进行推理,比顶级服务器级 A100 GPU 仅低 18%。同时保持模型准确性。
打破LLM推理的顺序依赖性
Lookahead Decoding是一种新的推理方法,用于打破LLM推理的顺序依赖性,提高推理效率。用户可以通过导入Lookahead Decoding库,使用Lookahead Decoding改进自己的代码。Lookahead Decoding目前只支持LLaMA和Greedy Search两种模型。
英文文本嵌入模型
Jina Embeddings V2 Base是一种英文文本嵌入模型,支持8192个序列长度。它基于Bert架构(JinaBert),支持ALiBi的对称双向变体,以允许更长的序列长度。该模型在C4数据集上进行了预训练,并在Jina AI的超过4亿个句子对和负样本的集合上进行了进一步训练。该模型适用于处理长文档的多种用例,包括长文档检索、语义文本相似度、文本重排序、推荐、RAG和LLM基于生成式搜索等。模型具有137百万个参数,推荐在单个GPU上进行推理。
SALMONN: 语音音频语言音乐开放神经网络
SALMONN是由清华大学电子工程系和字节跳动开发的大型语言模型(LLM),支持语音、音频事件和音乐输入。与仅支持语音或音频事件输入的模型不同,SALMONN可以感知和理解各种音频输入,从而获得多语言语音识别和翻译以及音频-语音共推理等新兴能力。这可以被视为给予LLM“听觉”和认知听觉能力,使SALMONN成为通向具有听觉能力的人工通用智能的一步。
高性价比的关键词AI模型
Keywords AI是一款高性价比的AI模型,可提供企业级的人工智能能力,包括高级推理、内容生成和智能搜索等功能。与GPT 4相比,它能节省高达35%的成本。使用Keywords AI,您可以获得可靠的结果,同时不需要牺牲性能。我们通过减少您的LLM成本,提供了与GPT 4相媲美的输出,让您享受高性能的同时获得显著的成本节约。
发现和运行本地LLM
LM Studio是一个易于使用的桌面应用程序,用于在本地实验和运行本地和开源的Large Language Models (LLMs)。LM Studio跨平台桌面应用程序允许您从Hugging Face下载和运行任何ggml兼容的模型,并提供了一个简单而强大的模型配置和推理界面。该应用程序在有GPU的情况下利用您的GPU。
为企业提供开源、灵活的AI模型开发、测试和运行平台。
Red Hat Enterprise Linux AI 是一个基于开源的模型平台,旨在无缝地开发、测试和运行企业级应用的大型语言模型(LLMs)。它结合了开源许可的IBM Granite LLMs、InstructLab模型对齐工具、Red Hat Enterprise Linux的可启动镜像以及Red Hat提供的技术支持和模型知识产权保障。该平台支持跨混合云环境的可移植性,并能与Red Hat OpenShift® AI集成,进一步推进企业AI开发、数据管理和模型治理。
提升大型语言模型解决数学问题的能力
ChatGLM-Math 是一个基于自我批评流程定制的数学问题解决模型,旨在提高大型语言模型(LLMs)在数学问题解决方面的能力。该模型通过训练一个通用的Math-Critique模型来提供反馈信号,并采用拒绝采样微调和直接偏好优化来增强LLM的数学问题解决能力。它在学术数据集和新创建的挑战性数据集MathUserEval上进行了实验,显示出在保持语言能力的同时,显著提升了数学问题解决能力。
Prompto是一个开源的网络应用程序,旨在使与LLM的交互简单高效。
Prompto是一个开源的网页应用程序,旨在使与大型语言模型(LLMs)的交互简单高效。它可以轻松切换不同的LLMs,通过调整温度设置来调整LLM的创造力和风险水平,提供聊天机器人界面和笔记本界面,可以创建常用提示的模板,并且在浏览器中运行,确保流畅响应的体验。所有设置和聊天记录仅存储在浏览器的本地存储中,保护用户隐私。
低代码生成AI应用程序的生成性AI RAG工具包。
create-tsi是一个生成性AI RAG(Retrieval-Augmented Generation)工具包,用于低代码生成AI应用程序。它利用LlamaIndex和T-Systems在Open Telekom Cloud上托管的大型语言模型(LLMs),简化了AI应用程序的创建过程,使其变得快捷、灵活。用户可以使用create-tsi生成聊天机器人、编写代理并针对特定用例进行定制。
用于评估其他语言模型的开源工具集
Prometheus-Eval 是一个用于评估大型语言模型(LLM)在生成任务中表现的开源工具集。它提供了一个简单的接口,使用 Prometheus 模型来评估指令和响应对。Prometheus 2 模型支持直接评估(绝对评分)和成对排名(相对评分),能够模拟人类判断和专有的基于语言模型的评估,解决了公平性、可控性和可负担性的问题。
一款私人且离线的AI个人知识管理桌面应用
Reor是一个AI驱动的桌面笔记应用,它通过自动链接相关笔记、回答笔记上的问题、提供语义搜索以及生成AI闪卡来增强个人的知识管理。所有数据本地存储,支持类似Obsidian的Markdown编辑器。Reor项目的核心假设是,思考工具的AI模型应默认在本地运行。它利用了Ollama、Transformers.js和LanceDB等技术,使得大型语言模型(LLM)和嵌入模型能够在本地运行。同时,也支持连接到OpenAI或兼容的API,如Oobabooga。
© 2024 AIbase 备案号:闽ICP备2023012347号-1