Phi-3-mini-128k-instruct-onnx

优质新品

简介:

Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速

功能:

• 支持ONNX格式,可加速在CPU、GPU和移动设备上的推理

• 提供多种优化配置,包括用于DirectML的int4量化、用于NVIDIA GPU的fp16和int4量化、用于CPU和移动设备的int4量化等

• 经过增强训练,确保精准遵循指令和强大的安全性

• 轻量级设计,专注于高质量推理密集型数据

• 提供新的ONNX Runtime Generate() API,简化Phi-3的使用

• 在多种硬件和平台上进行了性能测试和优化

需求人群:

["• 机器学习研究人员和开发人员,可利用这个优化模型提高推理性能","• 需要在不同设备(服务器、Windows、Linux、Mac、移动设备)上部署大型语言模型的企业和组织","• 对话系统、问答系统、内容生成等任务的从业者,可使用该模型生成高质量输出","• 任何需要进行自然语言处理的应用程序,都可受益于该模型强大的性能"]

浏览量:91

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图