简介:

为数据中心打造的高效AI推理平台

功能:

- 极速推理:单个服务器上Llama3 8B模型60,000 tokens/秒,1ms/tokens延迟。

- 高效推理:单个机架上Llama3 70B模型30,000 tokens/秒,2ms/tokens延迟。

- 交互速度:提供10倍于传统AI推理平台的交互速度。

- 成本效益:相较于传统方案,具有3倍的成本性能比。

- 能源效率:在能源效率上是传统方案的3倍。

- 可扩展性:能够随着模型大小的增加而扩展,适应不同规模和预算的公司需求。

- 硬件软件协同设计:通过硬件软件协同设计,优化Generative AI推理性能。

- 开源支持:推动开源,使Generative AI推理从不可持续变为可行。

需求人群:

"目标受众为数据中心运营商、云计算服务提供商以及AI技术研发团队。d-Matrix以其高速推理、成本效益和能源效率,特别适合需要处理大规模数据和复杂AI模型推理任务的企业,帮助他们在保持高性能的同时,降低成本和能源消耗。"

浏览量:4

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图