需求人群:
"目标受众为开发者和企业,特别是那些需要构建和部署基于提示的GenAI应用的团队。Arch提供了一个强大的平台,使得开发者能够快速集成LLMs,优化用户体验,并提高应用的可观测性和可靠性。"
使用场景示例:
使用Arch构建一个个性化的聊天机器人,通过用户提示调用后端API进行个性化响应。
利用Arch的流量管理功能,实现LLMs的智能重试和灾难恢复,保证AI应用的高可用性。
通过Arch的前端网关功能,实现TLS终止和基于提示的路由,提高AI应用的安全性和效率。
产品特色:
基于Envoy的进程外架构:Arch依赖于Envoy,是一个自包含的过程,设计为与您的应用服务器一起运行。
与快速LLMs集成:Arch使用专为快速、成本效益高和准确处理提示而设计的专门(亚十亿)LLMs。
流量管理:提供LLM调用的多种能力,包括智能重试和自动切换到其他LLMs以保证连续可用性和灾难恢复。
前端/边缘网关:Arch非常适合作为AI应用的边缘网关,包括TLS终止、速率限制和基于提示的路由。
最佳监控:提供多个监控指标,帮助您了解应用的延迟、令牌使用情况和上游LLM提供商的错误率。
端到端追踪:Arch使用W3C Trace Context标准,通过兼容OpenTelemetry的traceparent头部进行追踪上下文的传播。
使用教程:
1. 访问Arch的GitHub页面,了解项目详情和快速开始指南。
2. 阅读Arch的文档,了解如何部署和配置Arch网关。
3. 根据文档指导,将Arch集成到您的应用中,设置提示处理和LLMs调用。
4. 利用Arch的监控和追踪功能,优化应用性能和用户体验。
5. 通过Arch的前端网关功能,实现TLS终止和基于提示的路由。
6. 根据需要,配置Arch的流量管理功能,包括智能重试和灾难恢复。
浏览量:2
最新流量情况
月访问量
2162
平均访问时长
00:01:32
每次访问页数
4.65
跳出率
0.00%
流量来源
直接访问
0
自然搜索
0
邮件
0
外链引荐
0
社交媒体
0
展示广告
0
截止目前所有流量趋势图
开源的GenAI应用网关,快速构建个性化的AI应用
Arch是一个开源的网关,专为处理提示(prompts)而设计,它利用快速的大型语言模型(LLMs)来处理提示,并与后端系统无缝集成。Arch基于Envoy构建,支持任何应用程序语言,并提供快速部署和透明升级。它提供了包括流量管理、前端/边缘网关、监控和端到端追踪在内的多种功能,帮助开发者构建快速、健壮和个性化的GenAI应用。
开发者日志监控与调试的开源平台
Helicone AI是一个为开发者设计的开源平台,专注于日志记录、监控和调试。它具备毫秒级延迟影响、100%日志覆盖率和行业领先的查询时间,是为生产级工作负载设计的。平台通过Cloudflare Workers实现低延迟和高可靠性,并支持风险无忧的实验,无需安装SDK,仅需添加头部信息即可访问所有功能。
AI可观测性和机器学习监控平台
Evidently AI是一个开源的Python库,用于监控机器学习模型,支持从RAGs到AI助手的LLM驱动产品的评估。它提供了数据漂移、数据质量和生产ML模型性能的监控,拥有超过2000万的下载量和5000+的GitHub星标,是机器学习领域中一个值得信赖的监控工具。
开源监控工具,提升LLM应用性能。
Langtrace是一个开源的可观测性工具,用于收集和分析追踪和指标,帮助提升大型语言模型(LLM)应用的性能。它支持OpenTelemetry标准追踪,可自我托管,避免供应商锁定。Langtrace提供端到端的可观测性,帮助用户全面了解整个机器学习流程,包括RAG或微调模型。此外,Langtrace还支持建立反馈循环,通过追踪的LLM交互创建黄金数据集,不断测试和增强AI应用。
轻松构建和嵌入开源 AI 合作伙伴
OpenCopilot 是一个使构建自己的 AI 合作伙伴变得直观、快速和可靠的工具。无需具备前期 AI 经验,您可以轻松地将 AI 合作伙伴嵌入到产品中。无论是开发工具、SaaS 还是内部工具,每个公司和产品都可以拥有自己的 AI 合作伙伴。OpenCopilot 提供监控、评估系统、易于部署的开箱即用功能,并使用开源构建模块。现在就开始您的第一个 AI 合作伙伴吧!
AI模型部署和推理优化的专家
Neural Magic是一家专注于AI模型优化和部署的公司,提供领先的企业级推理解决方案,以最大化性能和提高硬件效率。公司的产品支持在GPU和CPU基础设施上运行领先的开源大型语言模型(LLMs),帮助企业在云、私有数据中心或边缘环境中安全、高效地部署AI模型。Neural Magic的产品背景信息强调了其在机器学习模型优化方面的专业知识,以及与科研机构合作开发的创新LLM压缩技术,如GPTQ和SparseGPT。产品价格和定位方面,Neural Magic提供了免费试用和付费服务,旨在帮助企业降低成本、提高效率,并保持数据隐私和安全。
AI语音代理测试与监控平台
Vocera是一个由Y Combinator支持的AI语音代理测试与监控平台,它允许用户通过模拟各种场景和使用真实音频来测试和评估AI语音代理的性能。该平台的主要优点在于能够快速启动测试,减少将AI代理投入生产环境的时间,同时提供实时监控和性能分析,确保AI代理在各种对话场景中都能提供无缝的用户体验。Vocera适用于需要快速创建和测试AI语音代理的企业和开发者,特别是在合规性要求较高的行业中,如医疗、法律等。
免费 npm 库,用 Llama 3.2 Vision 进行 OCR,输出 markdown 文本
开源 npm 库,免费使用 Llama 3.2 Vision 进行 OCR,支持本地和远程图像,计划支持 PDF,受 Zerox 启发,有免费和付费接口
人脸匿名化技术,保留关键细节同时有效保护隐私。
face_anon_simple是一个人脸匿名化技术,旨在通过先进的算法在保护个人隐私的同时保留原始照片中的面部表情、头部姿势、眼神方向和背景元素。这项技术对于需要发布包含人脸的图片但又希望保护个人隐私的场合非常有用,比如在新闻报道、社交媒体和安全监控等领域。产品基于开源代码,允许用户自行部署和使用,具有很高的灵活性和应用价值。
Qwen2.5-Coder系列中的3B参数模型,专注于代码生成与理解。
Qwen2.5-Coder-3B是Qwen2.5-Coder系列中的一个大型语言模型,专注于代码生成、推理和修复。基于强大的Qwen2.5,该模型通过增加训练令牌至5.5万亿,包括源代码、文本代码基础、合成数据等,实现了在代码生成、推理和修复方面的显著改进。Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型,其编码能力与GPT-4o相匹配。此外,Qwen2.5-Coder-3B还为现实世界的应用提供了更全面的基础,如代码代理,不仅增强了编码能力,还保持了在数学和通用能力方面的优势。
Qwen2.5-Coder系列中的7B参数代码生成模型
Qwen2.5-Coder-7B是基于Qwen2.5的大型语言模型,专注于代码生成、代码推理和代码修复。它在5.5万亿的训练令牌上进行了扩展,包括源代码、文本代码接地、合成数据等,是目前开源代码语言模型的最新进展。该模型不仅在编程能力上与GPT-4o相匹配,还保持了在数学和一般能力上的优势,并支持长达128K令牌的长上下文。
多代理系统,帮助组织和撰写文档。
Kiroku是一个多代理系统,旨在帮助用户组织和撰写文档。它通过模拟博士论文写作过程中学生与导师的互动,让写作者扮演顾问的角色,而多代理系统则扮演学生的角色。这种流程的优势在于能够快速生成段落序列,通过迭代评估信息来改变沟通方式,并借助大型语言模型(LLMs)讨论复杂话题。Kiroku需要OPENAI_API_KEY和TAVILY_API_KEY来运行,支持Python 3.7至3.11版本。
Qwen2.5-Coder系列中的14B参数代码生成模型
Qwen2.5-Coder-14B-Instruct是Qwen2.5-Coder系列中的一个大型语言模型,专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5,该模型通过扩展训练令牌到5.5万亿,包括源代码、文本代码接地、合成数据等,成为当前开源代码LLM的最新技术。它不仅增强了编码能力,还保持了在数学和通用能力方面的优势,并支持长达128K令牌的长上下文。
开源代码生成大型语言模型
Qwen2.5-Coder是一系列专为代码生成设计的Qwen大型语言模型,包含0.5、1.5、3、7、14、32亿参数的六种主流模型尺寸,以满足不同开发者的需求。该模型在代码生成、代码推理和代码修复方面有显著提升,基于强大的Qwen2.5,训练令牌扩展到5.5万亿,包括源代码、文本代码基础、合成数据等。Qwen2.5-Coder-32B是目前最先进的开源代码生成大型语言模型,其编码能力与GPT-4o相匹配。它不仅增强了编码能力,还保持了在数学和通用能力方面的优势,并支持长达128K令牌的长上下文。
专为软件改进设计的开源大型语言模型。
Lingma SWE-GPT是一个开源的大型语言模型,专注于软件工程领域的任务,旨在提供智能化的开发支持。该模型基于Qwen系列基础模型,经过额外训练以增强其在复杂软件工程任务中的能力。它在软件工程智能代理的权威排行榜上表现出色,适合需要自动化软件改进的开发团队和研究人员。
开源AI开发者助手,提升开发效率。
OpenHands是由All Hands AI开发的开源AI软件工程师,旨在帮助开发者处理积压的工作,让他们能够专注于解决难题、创造性挑战和过度工程化他们的配置文件。该产品在SWE-bench验证问题集中解决了超过一半的问题,是首个得分超过50%的AI工程师。此外,来自十几个学术机构的顶级代码生成研究人员每天都在帮助改进它。OpenHands在GitHub上以MIT许可证开源,拥有35k星标和190+贡献者。它与AI安全专家如Invariant Labs合作,以平衡创新与安全。
构建、连接和部署边缘上的GenAI应用
Lamatic.ai是一个为构建、测试和部署高性能GenAI应用在边缘而设计的管理型PaaS平台,提供低代码可视化构建器、VectorDB和集成应用及模型。它通过集成多种工具和技术,帮助AI创始人和构建者快速实现复杂的AI工作流程。平台的主要优点包括减少团队间的来回沟通、自动化工作流程、提高部署速度和降低延迟。Lamatic.ai的背景信息显示,它是由一群对GenAI应用开发有着深刻理解和丰富经验的工程师和社区成员共同打造的。平台的价格定位是包含所有可用的管理集成、向量数据库、托管、边缘部署和SDK的月度订阅服务,同时提供按小时计费的专业服务。
人类中心语言模型和模拟器的领导者
Nous Research专注于开发以人为中心的语言模型和模拟器,致力于将AI系统与现实世界用户体验对齐。我们的主要研究领域包括模型架构、数据合成、微调和推理。我们优先开发开源、人类兼容的模型,挑战传统的封闭模型方法。
自托管的网页数据抓取工具
Scraperr是一个自托管的网页数据抓取工具,允许用户通过指定XPath来抓取网页上的元素。用户可以提交URL和相应的元素进行抓取,结果会以表格形式展示,并支持下载为Excel文件。该工具的主要优点包括用户友好的界面、灵活的XPath选择器、批量处理能力以及对AI技术的支持。Scraperr适用于需要从网页上提取大量数据的用户,无论是研究人员、开发者还是市场营销人员。
监控和管理您的Cursor编辑器使用情况
Editor Usage 是一款为macOS设计的菜单栏应用程序,旨在帮助用户监控和管理他们的Cursor编辑器使用情况。该应用程序能够追踪高级、普通和特殊请求的使用情况,并在接近使用限制时提供警告。它允许用户从菜单栏快速查看剩余的请求次数,从而确保用户始终了解他们的使用情况,并避免因超出限制而受到影响。这款应用的主要优点包括详细的使用监控、可定制的警告设置以及快速便捷的访问方式。它适合需要管理多个项目或希望实时监控请求使用情况的用户。
开源、自托管、AI驱动的应用构建器。
Srcbook是一个开源、自托管的AI驱动应用构建器,它允许用户快速构建和部署各种应用程序。产品背景信息显示,Srcbook旨在提供一个平台,让开发者和非技术用户都能够轻松地构建应用程序,从而提高生产力和创新能力。它支持多种应用场景,如项目管理工具、音乐发现页面、技术文档网站等。Srcbook的主要优点包括开源性、灵活性和易用性,用户可以根据自己的需求定制和扩展功能。
简单易用,释放AI的强大力量
5ire是一个以简洁和用户友好为核心的AI产品,旨在让即使是初学者也能轻松利用大型语言模型。它支持多种文档格式的解析和向量化,具备本地知识库、使用分析、提示库、书签和快速关键词搜索等功能。作为一个开源项目,5ire提供免费下载,并且提供了按需付费的大型语言模型API服务。
开源的网页自动化库,支持任何大型语言模型(LLM)
browser-use是一个开源的网页自动化库,允许大型语言模型(LLM)与网站进行交互,通过简单的接口实现复杂的网页操作。该技术的主要优点包括对多种语言模型的通用支持、交互元素自动检测、多标签页管理、XPath提取、视觉模型支持等。它解决了传统网页自动化中的一些痛点,如动态内容处理、长任务解决等。browser-use以其灵活性和易用性,为开发者提供了一个强大的工具,以构建更加智能和自动化的网页交互体验。
代码审查助手,确保代码无缺陷。
Panto AI 是一个编程辅助工具,通过代码审查来预防缺陷代码进入生产环境。它通过全天候运作,暴露代码中的漏洞并建议修复措施,确保只有无缺陷的代码被推送到生产环境。Panto AI 不仅检查错误,还理解代码背后的意图,并与知识库无缝集成,提供更智能的洞察。产品背景信息显示,Panto AI 已经开源其代码,并在GitHub上获得社区支持。
基于Gradio的实时人像动画Web界面
AdvancedLivePortrait-WebUI是一个基于Gradio框架开发的Web界面,用于实时人像动画编辑。该技术允许用户通过上传图片来编辑人物的面部表情,实现了高效的肖像动画制作。它基于LivePortrait算法,利用深度学习技术进行面部特征的捕捉和动画制作,具有操作简便、效果逼真的优点。产品背景信息显示,它是由jhj0517开发的开源项目,适用于需要进行人像动画制作的专业人士和爱好者。目前该项目是免费的,并且开源,用户可以自由使用和修改。
创建互动式动态图形的新方式
Rive是一种新型的图形构建方式,它通过丰富的交互性和状态驱动的动画,消除了硬编码图形的需求,使团队能够更快迭代并构建更好的产品。Rive提供了一个全新的图形格式,适用于互动时代,可以用于游戏、应用、网站等多个领域。
业界领先的开源大型混合专家模型
Tencent-Hunyuan-Large(混元大模型)是由腾讯推出的业界领先的开源大型混合专家(MoE)模型,拥有3890亿总参数和520亿激活参数。该模型在自然语言处理、计算机视觉和科学任务等领域取得了显著进展,特别是在处理长上下文输入和提升长上下文任务处理能力方面表现出色。混元大模型的开源,旨在激发更多研究者的创新灵感,共同推动AI技术的进步和应用。
视频编辑工具,使用Genmo Mochi技术
ComfyUI-MochiEdit是一个基于Genmo Mochi技术的视频编辑插件,允许用户通过ComfyUI界面对视频进行编辑。该插件的主要优点在于其能够利用先进的视频处理技术,提供给用户一个直观、易用的编辑环境。产品背景信息显示,它是由logtd和kijai共同开发,并且遵循GPL-3.0开源许可证。由于其开源特性,该插件可以免费使用,定位于需要视频编辑功能的专业用户或爱好者。
开源机器人模拟平台,用于生成无限机器人数据和泛化AI。
ManiSkill是一个领先的开源平台,专注于机器人模拟、无限机器人数据生成和泛化机器人AI。由HillBot.ai领导,该平台支持通过状态和/或视觉输入快速训练机器人,与其它平台相比,ManiSkill/SAPIEN实现了10-100倍的视觉数据收集速度。它支持在GPU上并行模拟和渲染RGB-D,速度高达30,000+FPS。ManiSkill提供了40多种技能/任务和2000多个对象的预构建任务,拥有数百万帧的演示和密集的奖励函数,用户无需自己收集资产或设计任务,可以专注于算法开发。此外,它还支持在每个并行环境中同时模拟不同的对象和关节,训练泛化机器人策略/AI的时间从天缩短到分钟。ManiSkill易于使用,可以通过pip安装,并提供简单灵活的GUI以及所有功能的广泛文档。
© 2024 AIbase 备案号:闽ICP备08105208号-14