Phi-3-mini-128k-instruct-onnx

Phi-3-mini-128k-instruct-onnx

优质新品

Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。

需求人群:

["• 机器学习研究人员和开发人员,可利用这个优化模型提高推理性能","• 需要在不同设备(服务器、Windows、Linux、Mac、移动设备)上部署大型语言模型的企业和组织","• 对话系统、问答系统、内容生成等任务的从业者,可使用该模型生成高质量输出","• 任何需要进行自然语言处理的应用程序,都可受益于该模型强大的性能"]

使用场景示例:

1. 一家技术公司可以使用Phi-3 Mini模型构建高性能的对话代理,为客户提供自动化问答服务。

2. 一家新闻机构可以利用该模型自动生成高质量的新闻文章摘要和标题。

3. 研究人员可以使用该模型进行自然语言处理相关的实验和研究,探索语言模型的新用途。

产品特色:

• 支持ONNX格式,可加速在CPU、GPU和移动设备上的推理

• 提供多种优化配置,包括用于DirectML的int4量化、用于NVIDIA GPU的fp16和int4量化、用于CPU和移动设备的int4量化等

• 经过增强训练,确保精准遵循指令和强大的安全性

• 轻量级设计,专注于高质量推理密集型数据

• 提供新的ONNX Runtime Generate() API,简化Phi-3的使用

• 在多种硬件和平台上进行了性能测试和优化

浏览量:42

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
网站流量情况

最新流量情况

月访问量

22216.76k

平均访问时长

00:04:50

每次访问页数

5.52

跳出率

47.80%

流量来源

直接访问

46.24%

自然搜索

30.97%

邮件

0.78%

外链引荐

13.53%

社交媒体

8.45%

展示广告

0

截止目前所有流量趋势图

地理流量分布情况

中国

15.26%

美国

13.36%

印度

6.45%

俄罗斯

3.91%

法国

3.77%

类似产品

© 2024     AIbase    备案号:闽ICP备2023012347号-1

隐私政策

用户协议

意见反馈 网站地图