需求人群:
["- 企业:可将Phi-3 Mini集成到各种业务应用中,提供自然语言处理能力","- 开发者:可利用Phi-3 Mini强大的生成能力,开发各种语言相关的应用和服务"," - 如对话系统、问答系统、文本生成、数据分析等","- 个人用户:利用Phi-3 Mini输出高质量的自然语言内容,辅助写作、查询等需求"]
使用场景示例:
1. 将Phi-3 Mini集成到企业的智能助理系统中,为客户提供自然语言交互和生成式服务
2. 基于Phi-3 Mini开发自动文本生成和创作辅助工具,为作家、内容创作者等提供创作支持
3. 利用Phi-3 Mini的推理能力构建数据分析和报告生成系统,自动生成分析报告
产品特色:
- 支持多种硬件平台加速推理,包括: - DirectML:适用于AMD、Intel和NVIDIA GPU的Windows设备,通过AWQ量化实现int4精度 - FP16 CUDA:适用于NVIDIA GPU,FP16精度 - Int4 CUDA:适用于NVIDIA GPU,通过RTN量化实现int4精度 - Int4 CPU和移动端:通过RTN量化实现int4精度,针对CPU和移动端提供两种版本以平衡延迟和精度
- 提供ONNX Runtime新的Generate()API,极大简化了在应用中集成生成式AI模型的流程
- 性能优异,相比PyTorch提高多达10倍,相比Llama.cpp提高多达3倍
- 支持大批量、长提示和长输出推理
- 量化后体积小,便于部署
使用教程:
1. 前往Hugging Face页面下载所需的ONNX模型文件
2. 安装ONNX Runtime和ONNX Runtime Generate() API相关软件包
3. 在代码中加载ONNX模型文件
4. 使用ONNX Runtime Generate() API设置推理参数,如批量大小、提示长度等
5. 调用生成函数,输入文本提示
6. 获取输出结果并进行后续处理
浏览量:59
最新流量情况
月访问量
19075.32k
平均访问时长
00:05:32
每次访问页数
5.52
跳出率
45.07%
流量来源
直接访问
48.31%
自然搜索
36.36%
邮件
0.03%
外链引荐
12.17%
社交媒体
3.11%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.13%
印度
7.59%
日本
3.67%
俄罗斯
6.13%
美国
18.18%
Phi-3 Mini 量化ONNX模型,支持多硬件平台加速推理
Phi-3 Mini是一款轻量级的最先进的开源大模型,构建于用于Phi-2的合成数据和过滤网站数据之上,致力于提供极高质量、推理密集型的数据。该模型经过了严格的增强过程,结合了监督式微调和直接偏好优化,以确保精确遵循指令和强大的安全措施。该仓库提供了Phi-3 Mini的优化ONNX版本,可通过ONNX Runtime在CPU和GPU上进行加速推理,支持服务器、Windows、Linux、Mac等多种平台,并针对每个平台提供最佳精度配置。ONNX Runtime的DirectML支持还可让开发人员在AMD、英特尔和NVIDIA GPU驱动的Windows设备上实现大规模硬件加速。
AIGC 应用快速构建平台
派欧算力云大模型 API 提供易于集成的各模态 API 服务,包括大语言模型、图像、音频、视频等,旨在帮助用户轻松构建专属的 AIGC 应用。该平台拥有丰富的模型资源,支持个性化需求的模型训练和托管,同时保证用户私有模型的保密性。它以高性价比、高吞吐量和高性能推理引擎为特点,适用于多种 AI 应用场景,如聊天机器人、总结摘要、小说生成器等。
全面对标GPT-4 Turbo的AI大语言模型
讯飞星火是科大讯飞推出的一款全面对标GPT-4 Turbo的AI大语言模型,它通过集成多种AI技术,如语音识别、自然语言处理、机器学习等,为用户提供高效、智能的办公效率工具。该产品不仅能够处理文本信息,还能进行语音识别和生成,支持多语种,适用于企业服务、智能硬件、智慧政务、智慧金融、智慧医疗等多个领域。
RWKV v6 Finch 14B,开源大模型,高效处理长文本。
RWKV v6 Finch 14B是RWKV架构的第六个版本,也是该系列中最大的模型。它通过引入数据依赖性到token shift和time-mixing中,提高了处理长文本时的效率。Finch 14B模型在处理提示时,能够更好地管理其长期记忆,从而提供更广泛的应用范围。该模型是开源的,由Linux Foundation认可,并且接受社区的GPU集群时间捐赠以支持训练。
国际领先的语言理解与长文本处理大模型。
GLM-4-Plus是智谱推出的一款基座大模型,它在语言理解、指令遵循和长文本处理等方面性能得到全面提升,保持了国际领先水平。该模型的推出,不仅代表了中国在大模型领域的创新和突破,还为开发者和企业提供了强大的语言处理能力,进一步推动了人工智能技术的发展和应用。
Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速
Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。
Meta 新一代开源大型语言模型,性能卓越
Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。
大规模MoE语言模型,性能媲美七十亿参数模型
Qwen1.5-MoE-A2.7B是一款大规模的MoE(Mixture of Experts)语言模型,仅有27亿个激活参数,但性能可与70亿参数模型相媲美。相比传统大模型,该模型训练成本降低75%,推理速度提高1.74倍。它采用特别的MoE架构设计,包括细粒度专家、新的初始化方法和路由机制等,大幅提升了模型效率。该模型可用于自然语言处理、代码生成等多种任务。
生成式商业智能产品,支持自然语言数据分析
百度智能云有解(GBI)是一款生成式商业智能产品。它将文心大模型融入BI场景,支持通过自然语言对话式交互执行数据查询与分析,实现"任意表,随便问",为企业客户建立"对话即洞察"的数据分析新范式。主要功能包括任意表格即传即问、自然语言数据查询、专业知识注入和复杂计算逻辑等。产品优势在于打破传统预置模版限制,支持跨领域迁移应用场景。定价暂未公开,根据不同接入方案会有差异。
通过API获取高品质Yi系列大模型的开放平台
零一万物大模型开放平台是一个通过API调用获取高品质Yi系列大模型的平台。Yi系列模型基于零一万物的前沿科研成果和高品质数据训练而成,曾在多个权威榜单中获得SOTA表现。主要产品包括yi-34b-chat-0205、yi-34b-chat-200k和yi-vl-plus三种模型。yi-34b-chat-0205是一款优化版聊天模型,指令遵循能力提升近30%,回复延迟大幅降低,适用于聊天、问答、对话等场景。yi-34b-chat-200k支持200K超长上下文,可处理约20万到30万汉字内容,适用于文档理解、数据分析和跨领域知识应用。yi-vl-plus支持高分辨率图片输入,具备图像问答、图表理解、OCR等能力,适用于对复杂图像内容进行分析、识别和理解。该平台的API优势包括推理速度快、与OpenAI API完全兼容。定价方面,新注册用户可获赠60元试用额度,yi-34b-chat-0205单价为2.5元/百万token,yi-34b-chat-200k单价为12元/次,yi-vl-plus单价为6元/百万token。
新一代开源大型语言模型,性能卓越
Meta Llama 3是Meta公司推出的新一代开源大型语言模型,性能卓越,在多项行业基准测试中表现出色。它可支持广泛的使用场景,包括改善推理能力等新功能。该模型将在未来支持多语种、多模态,提供更长的上下文窗口和整体性能提升。Llama 3秉承开放理念,将被部署在主要云服务、托管和硬件平台上,供开发者和社区使用。
超千亿参数的大语言模型
百川智能Baichuan 3是一款超千亿参数的大语言模型,在多个权威通用能力评测中展现出色,特别在中文任务上超越了GPT-4。它在自然语言处理、代码生成、医疗任务等领域表现优异,采用了多项创新技术手段提升模型能力,包括动态数据选择、重要度保持和异步CheckPoint存储等。训练过程中采用因果采样的动态训练数据选择方案,保证数据质量;引入了重要度保持的渐进式初始化方法,优化模型训练稳定性;并针对并行训练问题进行了一系列优化,性能提升超过30%。
开放的大型推理模型,解决现实世界问题
Marco-o1是一个开放的大型推理模型,旨在通过先进的技术如Chain-of-Thought (CoT) fine-tuning、Monte Carlo Tree Search (MCTS)、反射机制和创新的推理策略,优化复杂现实世界问题的解决任务。该模型不仅关注数学、物理和编程等有标准答案的学科,还强调开放性问题的解决。Marco-o1由阿里巴巴国际数字商务的MarcoPolo团队开发,具有强大的推理能力,已在多个领域展示出卓越的性能。
知识共享的对话式AI平台
Dokko是一个革命性的知识管理平台,它通过先进的AI和自然语言理解技术,提供直观的聊天机器人界面,无缝连接团队和客户,促进轻松沟通和知识交流。Dokko通过集中化、直观的系统整合分散的数据源,使用自然、会话式的文本,解决了组织中信息孤岛的问题。产品的主要优点包括易于集成、自动化数据组织和集成、实时性能监控和优化等。Dokko支持多种大型语言模型(LLMs),允许用户根据特定需求选择最佳的AI引擎,并定制响应以反映组织的独特特性。
Qwen Turbo 1M Demo是一个由Qwen提供的Hugging Face空间。
Qwen Turbo 1M Demo是一个基于Hugging Face平台的人工智能模型演示。这个模型代表了自然语言处理技术的最新进展,特别是在中文文本理解和生成方面。它的重要性在于能够提供高效、准确的语言模型,以支持各种语言相关的应用,如机器翻译、文本摘要、问答系统等。Qwen Turbo 1M Demo以其较小的模型尺寸和快速的处理速度而受到青睐,适合需要快速部署和高效运行的场合。目前,该模型是免费试用的,具体价格和定位可能需要进一步的商业洽谈。
124B参数的多模态大型语言模型
Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型,基于Mistral Large 2构建,展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像,同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能,是科研和商业应用的强大工具。
下一代语音AI,打造自然沟通的AI语音代理。
Ultravox.ai是一个先进的语音语言模型(SLM),直接处理语音,无需转换为文本,实现更自然、流畅的对话。它支持多语言,易于适应新语言或口音,确保与不同受众的顺畅沟通。产品背景信息显示,Ultravox.ai是一个开源模型,用户可以根据自己的需求进行定制和部署,价格为每分钟5美分。
3D网格生成与语言模型的统一
LLaMA-Mesh是一项将大型语言模型(LLMs)预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识,并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本,允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出,以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时,实现了与从头开始训练的模型相当的网格生成质量。
高效分离图像前景与背景的模型
RMBG-2.0是由BRIA AI开发的背景移除模型,旨在有效分离图像中的前景和背景。该模型在包括通用库存图像、电子商务、游戏和广告内容的精选数据集上进行了训练,适合商业用例,能够大规模驱动企业内容创作。其准确性、效率和多功能性可与领先的开源模型相媲美。RMBG-2.0是作为源代码可用的模型,用于非商业用途。
PlayDialog,打造流畅、富有情感的对话体验。
PlayDialog是Play.ai推出的一款端到端AI语音模型,它利用对话的历史背景来控制韵律、语调、情感和节奏,以提供更自然的声音,为匹配人类在现实生活情境中的说话方式树立了新标准。PlayDialog适合创建真实的对话体验,如旁白、声音配音、合成播客以及在商业环境中支持沉浸式和吸引人的一对一语音体验。PlayDialog beta在盲测中以2:1的比例超越了市场上的领先竞争模型,表达性作为偏好因素得分最高。
Qwen2.5-Coder系列中的0.5B参数代码生成模型
Qwen2.5-Coder是Qwen大型语言模型的最新系列,专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5,该系列模型通过增加训练令牌至5.5万亿,包括源代码、文本代码基础、合成数据等,显著提升了编码能力。Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型,编码能力与GPT-4o相当。此外,Qwen2.5-Coder还为实际应用如代码代理提供了更全面的基础,不仅增强了编码能力,还保持了在数学和通用能力方面的优势。
语鲸,智能语言处理平台
语鲸是一个专注于语言处理的平台,它利用先进的自然语言处理技术,为用户提供文本分析、翻译、校对等服务。产品背景信息显示,语鲸旨在帮助用户提高写作效率和质量,特别是在多语言环境中。语鲸的价格定位尚未明确,但考虑到其提供的服务,可能会有免费试用和付费版本。
一个实验性的文本到语音模型
OuteTTS是一个使用纯语言建模方法生成语音的实验性文本到语音模型。它的重要性在于能够通过先进的语言模型技术,将文本转换为自然听起来的语音,这对于语音合成、语音助手和自动配音等领域具有重要意义。该模型由OuteAI开发,提供了Hugging Face模型和GGUF模型的支持,并且可以通过接口进行语音克隆等高级功能。
交互式对话AI模型,提供问答和文本生成服务
ChatGPT是由OpenAI训练的对话生成模型,能够以对话形式与人互动,回答后续问题,承认错误,挑战错误的前提,并拒绝不适当的请求。OpenAI日前买下了http://chat.com域名,该域名已经指向了ChatGPT。ChatGPT它是InstructGPT的姊妹模型,后者被训练以遵循提示中的指令并提供详细的回答。ChatGPT代表了自然语言处理技术的最新进展,其重要性在于能够提供更加自然和人性化的交互体验。产品背景信息包括其在2022年11月30日的发布,以及在研究预览期间免费提供给用户使用。
手写笔记数字化模型,无需专业设备
InkSight是一个由Google Research开发的模型,旨在将手写笔记的照片转换成数字格式,精确还原书写笔迹,无需任何专业设备。这项技术的重要性在于它能够将传统的手写笔记转换为可编辑、可索引的数字形式,同时保留了手写的风格和感觉。InkSight通过学习“阅读”和“写作”来构建对书写的理解,使其能够在多种场景下,包括光线条件不佳、遮挡等情况下,都能良好地工作。这种技术的主要优点是它的通用性和对用户友好性,因为它不需要额外的硬件支持,降低了用户的入门门槛和成本。
利用LLM读取源代码并提供问题解答
askrepo是一个基于LLM(大型语言模型)的源代码阅读工具,它能够读取Git管理的文本文件内容,发送至Google Gemini API,并根据指定的提示提供问题的答案。该产品代表了自然语言处理和机器学习技术在代码分析领域的应用,其主要优点包括能够理解和解释代码的功能,帮助开发者快速理解新项目或复杂代码库。产品背景信息显示,askrepo适用于需要深入理解代码的场景,尤其是在代码审查和维护阶段。该产品是开源的,可以免费使用。
Meta 开发的子十亿参数语言模型,适用于设备端应用。
Meta 开发的自回归语言模型,采用优化架构,适合资源受限设备。优点多,如集成多种技术,支持零样本推理等,价格免费,面向自然语言处理研究人员和开发者。
O1复制之旅:战略进展报告第一部分
O1-Journey是由上海交通大学GAIR研究组发起的一个项目,旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式,并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程,成为处理复杂推理任务的有效方法。
© 2024 AIbase 备案号:闽ICP备08105208号-14