简介:

端侧全模态理解模型,软硬协同释放无穹端侧智能

功能:

• 图像理解:基于SigLip-400M构建图像Token,在OpenCompass榜单上平均得分66.2,超越更大参数规模的模型。

• 语言理解:保持文本处理能力,综合能力较单模态版本精度变化小于2%,保持在多个测试集上的最优精度优势。

• 语音理解:采用Qwen2-Audio/whisper-large-v3的Encoder作为语音输入,支持中英文语音输入及多轮对话。

• 快速上手:提供在线体验和本地部署的详细指南,方便用户快速开始使用。

• 高速推理:在NVIDIA H100环境下,Megrez-3B-Omni的decode速度达到1294.9 tokens/s。

• 软硬协同:通过软硬协同优化,确保模型与主流硬件高度适配,推理速度领先。

• 简单易用:采用原始的LLaMA结构,无需修改即可部署于各种平台。

需求人群:

"Infini-Megrez的目标受众是开发者、数据科学家和企业用户,特别是那些需要在端侧进行快速、高精度的多模态数据处理的用户。由于其简单易用和高速推理的特性,它适合需要快速部署和集成到现有系统中的用户。此外,对于需要处理大量图像、文本和语音数据的企业来说,Infini-Megrez能够提供强大的数据处理能力和高效率的解决方案。"

浏览量:3

s1785318098921236

打开站点

构建AI去赚钱
s1785341518918206
类似产品

© 2024     AIbase    备案号:闽ICP备08105208号-14

隐私政策

用户协议

意见反馈 网站地图