强大的多模态LLM,商业解决方案
Reka Core是一个GPT-4级别的多模态大型语言模型(LLM),具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。
100% Java实现的LLM代理和大型行动模型
Tools4AI是100%用Java实现的大型行动模型(LAM),可作为企业Java应用程序的LLM代理。该项目演示了如何将AI与企业工具或外部工具集成,将自然语言提示转换为可执行行为。这些提示可以被称为"行动提示"或"可执行提示"。通过利用AI能力,它简化了用户与复杂系统的交互,提高了生产力和创新能力。
简化 LLM 提示管理和促进团队协作
Langtail 是一个旨在简化大型语言模型(LLM)提示管理的平台。通过Langtail,您可以增强团队协作、提高效率,并更深入地了解您的AI工作原理。尝试Langtail,以更具协作和洞察力的方式构建LLM应用。
使用简单、原始的 C/CUDA 进行 LLM 训练
karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。
将LLM接入Comfy UI的插件
Tara是一款插件,可以将大型语言模型(LLM)接入到Comfy UI中,支持简单的API设置,并集成LLaVa模型。其中包含TaraPrompter节点用于生成精确结果、TaraApiKeyLoader节点管理API密钥、TaraApiKeySaver节点安全保存密钥、TaraDaisyChainNode节点串联输出实现复杂工作流。
使用想象力描述UI,并实时查看渲染效果。
构建UI组件通常是一项乏味的工作。OpenUI旨在使这一过程变得有趣、快捷和灵活。这也是我们在W&B用于测试和原型化下一代工具的工具,用于在LLM的基础上构建强大的应用程序。您可以使用想象力描述UI,然后实时查看渲染效果。您可以要求进行更改,并将HTML转换为React、Svelte、Web组件等。就像是V0的开源和不太精致的版本。
利用LLM提高T2I图像生成一致性
OPT2I是一个T2I优化框架,利用大型语言模型(LLM)提高提示-图像一致性。通过迭代生成修订后的提示,优化生成过程。能显著提高一致性得分,同时保持FID并增加生成数据与真实数据召回率。
苹果发布多模态LLM模型MM1
苹果发布了自己的大语言模型MM1,这是一个最高有30B规模的多模态LLM。通过预训练和SFT,MM1模型在多个基准测试中取得了SOTA性能,展现了上下文内预测、多图像推理和少样本学习能力等吸引人的特性。
通过LLM增强语义对齐的扩散模型适配器
ELLA(Efficient Large Language Model Adapter)是一种轻量级方法,可将现有的基于CLIP的扩散模型配备强大的LLM。ELLA提高了模型的提示跟随能力,使文本到图像模型能够理解长文本。我们设计了一个时间感知语义连接器,从预训练的LLM中提取各种去噪阶段的时间步骤相关条件。我们的TSC动态地适应了不同采样时间步的语义特征,有助于在不同的语义层次上对U-Net进行冻结。ELLA在DPG-Bench等基准测试中表现优越,尤其在涉及多个对象组合、不同属性和关系的密集提示方面表现出色。
评估、确保和改进LLM应用程序的质量
Inductor是一款面向开发者的工具, 用于评估、确保和改进大语言模型(LLM)应用程序的质量, 可在开发和生产环境中使用。主要功能包括: 1. 快速开发: 提供持续测试和评估工作流, 不断了解和提高应用质量及成本效益。2. 快速可靠地部署: 通过严格评估应用行为, 确保高质量和高性价比。并可持续监控使用情况, 发现和解决问题。3. 轻松协作: 易于工程师与其他角色(如产品经理、用户体验师、专家等)协作, 获取反馈意见, 确保应用用户友好。4. 为团队量身打造: 提供测试套件、命令行界面、版本控制、自动化执行记录、人机评估、分析工具、生产环境监控和Web协作界面等。Inductor可与任何模型、任何LLM应用开发方式无缝集成, 可在本地部署或使用云服务。
将LLM上下文窗口扩展至200万令牌的技术
LongRoPE是微软推出的技术,可以将预训练大型语言模型(LLM)的上下文窗口扩展到2048k(200万)令牌,实现从短上下文到长上下文的扩展,降低训练成本和时间,同时保持原有短上下文窗口性能。适用于提高语言模型在长文本上的理解和生成能力,提升机器阅读理解、文本摘要和长篇文章生成等任务。
LLM应用开发者平台
LangSmith是一个统一的DevOps平台,用于开发、协作、测试、部署和监控LLM应用程序。它支持LLM应用程序开发生命周期的所有阶段,为构建LLM应用提供端到端的解决方案。主要功能包括:链路追踪、提示工具、数据集、自动评估、线上部署等。适用于构建基于LLM的AI助手、 ChatGPT应用的开发者。
LLM提示管理与团队协作
LangTale是一个旨在简化LLM提示管理的平台,提供协作、版本控制、测试和性能监控等功能。LangTale使团队成员能够轻松管理和优化LLM提示,提高工作效率。定价详情请访问官方网站。
基于LLM的领域特定知识助手,处理群聊中的复杂场景,回答用户问题而不引起消息泛滥。
茴香豆是一个基于LLM的领域特定知识助手,能够处理群聊中的复杂场景,回答用户问题而不引起消息泛滥。它提供算法管道来回答技术问题,并且部署成本低,只需LLM模型满足4个特点就能回答大部分用户问题。茴香豆在运行的场景中能够处理各种问题,并且欢迎加入他们的微信群体验最新版本。
拖放方式创建agent工作群用于自定义业务逻辑
React Flow是一个开源的可视化编辑器,允许用户通过拖放的方式创建agent工作群,用于自定义业务逻辑。用户可以从图库中拖放agent到工作区,连接它们,定义初始任务,导出Python脚本在本地机器上运行。我们通过定制的操作系统为企业提供云端支持,让他们可以运行LLM。欢迎联系我们的企业支持团队了解更多信息。
监控和调试你的LLM模型
Athina AI是一个用于监控和调试LLM(大型语言模型)模型的工具。它可以帮助你发现和修复LLM模型在生产环境中的幻觉和错误,并提供详细的分析和改进建议。Athina AI支持多种LLM模型,可以配置定制化的评估来满足不同的使用场景。你可以通过Athina AI来检测错误的输出、分析成本和准确性、调试模型输出、探索对话内容以及比较不同模型的性能表现等。
扩展LLM上下文窗口
LLM Context Extender是一款旨在扩展大型语言模型(LLMs)上下文窗口的工具。它通过调整RoPE的基础频率和缩放注意力logits的方式,帮助LLMs有效适应更大的上下文窗口。该工具在精细调整性能和稳健性方面验证了其方法的优越性,并展示了在仅有100个样本和6个训练步骤的情况下,将LLaMA-2-7B-Chat的上下文窗口扩展到16,384的非凡效率。此外,还探讨了数据组成和训练课程如何影响特定下游任务的上下文窗口扩展,建议以长对话进行LLMs的精细调整作为良好的起点。
一个快速的AI网关
Portkey的AI网关是应用程序和托管LLM之间的接口。它使用统一的API对OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等的API请求进行了优化,从而实现了流畅的路由。该网关快速、轻量,内置重试机制,支持多模型负载均衡,确保应用程序的可靠性和性能。
© 2024 AIbase 备案号:闽ICP备2023012347号-1