Archgw

优质新品

简介:

开源的GenAI应用网关,快速构建个性化的AI应用

功能:

基于Envoy的进程外架构:Arch依赖于Envoy,是一个自包含的过程,设计为与您的应用服务器一起运行。

与快速LLMs集成:Arch使用专为快速、成本效益高和准确处理提示而设计的专门(亚十亿)LLMs。

流量管理:提供LLM调用的多种能力,包括智能重试和自动切换到其他LLMs以保证连续可用性和灾难恢复。

前端/边缘网关:Arch非常适合作为AI应用的边缘网关,包括TLS终止、速率限制和基于提示的路由。

最佳监控:提供多个监控指标,帮助您了解应用的延迟、令牌使用情况和上游LLM提供商的错误率。

端到端追踪:Arch使用W3C Trace Context标准,通过兼容OpenTelemetry的traceparent头部进行追踪上下文的传播。

需求人群:

"目标受众为开发者和企业,特别是那些需要构建和部署基于提示的GenAI应用的团队。Arch提供了一个强大的平台,使得开发者能够快速集成LLMs,优化用户体验,并提高应用的可观测性和可靠性。"

浏览量:4

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图