Phi-3-mini-4k-instruct-onnx

优质新品

简介:

Phi-3 Mini 量化ONNX模型,支持多硬件平台加速推理

功能:

- 支持多种硬件平台加速推理,包括: - DirectML:适用于AMD、Intel和NVIDIA GPU的Windows设备,通过AWQ量化实现int4精度 - FP16 CUDA:适用于NVIDIA GPU,FP16精度 - Int4 CUDA:适用于NVIDIA GPU,通过RTN量化实现int4精度 - Int4 CPU和移动端:通过RTN量化实现int4精度,针对CPU和移动端提供两种版本以平衡延迟和精度

- 提供ONNX Runtime新的Generate()API,极大简化了在应用中集成生成式AI模型的流程

- 性能优异,相比PyTorch提高多达10倍,相比Llama.cpp提高多达3倍

- 支持大批量、长提示和长输出推理

- 量化后体积小,便于部署

需求人群:

["- 企业:可将Phi-3 Mini集成到各种业务应用中,提供自然语言处理能力","- 开发者:可利用Phi-3 Mini强大的生成能力,开发各种语言相关的应用和服务"," - 如对话系统、问答系统、文本生成、数据分析等","- 个人用户:利用Phi-3 Mini输出高质量的自然语言内容,辅助写作、查询等需求"]

浏览量:59

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图