AI预算优化工具,比较和计算大型语言模型API的最新价格。
LLM Price Check是一个在线工具,它允许用户比较和计算不同大型语言模型(LLM)API的价格,这些API由领先的提供商如OpenAI、Anthropic、Google等提供。该工具可以帮助用户优化他们的AI预算,通过比较不同模型的价格和性能,用户可以做出更明智的选择。
Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速
Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。
SpaceByte是一种新的字节级解码架构,避免了Tokenization的缺陷。
SpaceByte是一种全新的字节级解码架构,旨在解决大型语言模型中广泛使用的Tokenization技术所带来的一些弊端。Tokenization虽能显著提升模型性能,但也存在诸多缺陷,如引入性能偏差、增加对抗攻击脆弱性、降低字符级建模效果及增加建模复杂度等。SpaceByte在保留Tokenizer的优势基础上,有效解决了上述缺陷。它使用字节级Transformer作为基础,并在模型层次中间插入更大的Transformer块,尤其是在遇到空格等通常表示单词边界的字节时。该架构在相同的训练和推理计算资源预算下,不但超越了其他字节级模型,甚至可以与Tokenization的Transformer模型取得相当的性能。
新模型,多种型号,AI驱动合成数据训练
WizardLM-2是WizardLM推出的新一代大型语言模型,包含三种型号:8x22B、70B和7B。该产品采用AI驱动的合成数据训练系统,通过数据分析、加权抽样、渐进式学习和AI互校AI等方法,优化模型性能。它能够自动生成高品质的指令和响应,提供多样化的对话能力,适用于多种编程和开发场景。
简化 LLM 提示管理和促进团队协作
Langtail 是一个旨在简化大型语言模型(LLM)提示管理的平台。通过Langtail,您可以增强团队协作、提高效率,并更深入地了解您的AI工作原理。尝试Langtail,以更具协作和洞察力的方式构建LLM应用。
Octopus-V2-2B是一款在移动设备上运行的2B LLMs,性能优于GPT-4
Octopus-V2-2B是由斯坦福大学NexaAI开发的开源大型语言模型,具有20亿参数,专门为Android API的功能调用定制。它采用了独特的功能性标记策略,用于训练和推理阶段,使其达到与GPT-4相当的性能水平,并提高了推理速度。Octopus-V2-2B特别适合边缘计算设备,能够在设备上直接运行,支持广泛的应用场景。
通过自然语言描述创建定制软件(基于LLM的多智能体协作)
ChatDev是一个虚拟软件公司,由扮演不同角色(如CEO、产品经理、技术总监、程序员、测试员等)的智能体组成。这些智能体通过参与设计、编码、测试等专门的功能研讨会来协作开发软件。ChatDev旨在提供一个易于使用、高度可定制和可扩展的框架,基于大型语言模型(LLM),是研究集体智能的理想场景。它支持定制化设置,如自定义软件开发流程、角色设置等。用户只需使用自然语言描述想法,ChatDev就能高效生成对应的软件。
支持同时理解和生成图像的多模态大型语言模型
Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。
Grok-1.5带有改进的推理能力和128,000个标记的上下文长度。
Grok-1.5是一种先进的大型语言模型,具有出色的长文本理解和推理能力。它可以处理高达128,000个标记的长上下文,远超以前模型的能力。在数学和编码等任务中,Grok-1.5表现出色,在多个公认的基准测试中获得了极高的分数。该模型建立在强大的分布式训练框架之上,确保高效和可靠的训练过程。Grok-1.5旨在为用户提供强大的语言理解和生成能力,助力各种复杂的语言任务。
一个新的高效开源大型语言模型标准
DBRX是一个由Databricks的Mosaic研究团队构建的通用大型语言模型(LLM),在标准基准测试中表现优于所有现有开源模型。它采用Mixture-of-Experts (MoE)架构,使用362亿个参数,拥有出色的语言理解、编程、数学和逻辑推理能力。DBRX旨在推动高质量开源LLM的发展,并且便于企业根据自身数据对模型进行定制。Databricks为企业用户提供了交互式使用DBRX、利用其长上下文能力构建检索增强系统,并基于自身数据构建定制DBRX模型的能力。
Stability AI推出的Stable Code Instruct 3B,一款基于代码指令的大型语言模型
Stability AI宣布推出Stable Code Instruct 3B,这是一个大型的语言模型,专门设计用于理解和执行代码相关的指令。该模型的目的是帮助开发者更高效地编写、审查和优化代码,提高软件开发的生产力。
用于提示工程的开源可视化编程环境
ChainForge是一款开源的可视化编程环境,专注于提示工程。它可以让你评估提示和文本生成模型的稳健性,超越了简单的案例证据。我们认为,提示多个大型语言模型、比较它们的响应并测试关于它们的假设,应该不仅容易,而且有趣。ChainForge提供了一套工具,以最小的努力评估和可视化提示(和模型)的质量。换句话说,它旨在让大型语言模型的评估变得简单。ChainForge开箱即用地支持测试提示注入攻击的稳健性、测试响应格式的一致性、发送大量参数化提示并导出到Excel文件、验证同一模型不同设置的响应质量、测量不同系统消息对ChatGPT输出的影响等。
开放发布的Grok-1模型,拥有3140亿参数
Grok-1是由xAI从头开始训练的314亿参数的专家混合模型(Mixture-of-Experts)。该模型未经针对特定应用(如对话)的微调,是Grok-1预训练阶段的原始基础模型检查点。
使用大型语言模型进行逆向工程:反编译二进制代码
LLM4Decompile是一个开源项目,旨在创建并发布第一个专门用于反编译的LLM(大型语言模型),并通过构建首个专注于可重编译性和可执行性的反编译基准测试来评估其能力。该项目通过编译大量C代码样本到汇编代码,然后使用这些数据对DeepSeek-Coder模型进行微调,构建了评估基准Decompile-Eval。
基于 AI 的知识处理平台,执行商业任务的简单 API
KPU (Knowledge Processing Unit) 是一种专有的丰富框架,利用了大型语言模型的强大功能,并将推理和数据处理分离在一个能够解决复杂任务的开放系统中。它由推理引擎、执行引擎和虚拟上下文窗口三个主要组件组成。推理引擎负责设计解决用户任务的分步计划,利用了可插拔的大型语言模型(目前广泛测试了 GPT-4 Turbo)。执行引擎接收来自推理引擎的命令并执行,结果作为反馈发送回推理引擎进行重新规划。虚拟上下文窗口管理推理引擎和执行引擎之间的数据和信息输入输出。这种分离推理和执行的架构使大型语言模型能专注于推理,避免了谎言、数据处理或检索最新信息等缺陷。KPU 旨在提升任务质量和性能,解决大数据量、多模态内容、开放性问题解决和交互性等挑战。
一款开源大型语言模型,适用于中英文
MediaTek Research发布了名为MR Breeze-7B的新开源大型语言模型,拥有70亿参数,擅长处理中英文。相比先前的BLOOM-3B,MR Breeze-7B吸收了20倍的知识,使其能够精准处理传统中文语言的文化和语言细微差别。优化后,MR Breeze-7B在处理速度上胜过其他模型,为用户带来更流畅的体验。定价免费。
轻量级AI代理,基于开源模型的智能助手
AIlice是一个轻量级的AI代理,旨在创建一个类似于JARVIS的自包含人工智能助手。它通过构建一个以大型语言模型(LLM)为核心的“文本计算机”来实现这一目标。AIlice在主题研究、编码、系统管理、文献综述以及超越这些基本能力的复杂混合任务方面表现出色。AIlice利用GPT-4在日常生活中的任务中达到了近乎完美的性能,并正在利用最新的开源模型迈向实际应用。
基于意图的提示校准框架
AutoPrompt是一个用于提示优化的框架,旨在通过意图校准过程自动生成高质量、详细的提示,以适应用户意图。该框架通过迭代构建挑战性边缘案例数据集并相应优化提示,减少手动提示工程的工作量,并有效解决提示敏感性和固有的提示歧义问题。
© 2024 AIbase 备案号:闽ICP备2023012347号-1