需求人群:
"MNN 适合需要在移动设备或嵌入式设备上部署 AI 模型的开发者、研究人员和企业。它能够帮助用户高效利用设备算力,快速实现 AI 应用的开发和部署,尤其适合对性能和兼容性有较高要求的场景。"
使用场景示例:
研究学者小诸使用 MNN 推理引擎进行高效的模型推理,称赞其速度快且兼容性好。
设计师小川通过 MNN 工作台训练宠物照片分类模型,轻松整理宠物照片。
开发者小郁利用 MNN 工作台快速训练游戏元素检测模型,并成功应用于业务中。
产品特色:
支持多种主流模型格式(TensorFlow、Caffe、ONNX 等)和常用网络(CNN、RNN、GAN 等)
极致优化算子性能,全面支持 CPU、GPU、NPU,充分发挥设备算力
提供转换、可视化、调试工具,方便部署到移动设备和嵌入式设备
通过 MNN 工作台实现无门槛训练和一键多端部署
提供丰富的在线 Demo 和模型市场,方便用户快速上手和应用
使用教程:
访问 MNN 官方网站,下载 MNN 推理引擎或 MNN 工作台。
根据需求选择合适的模型格式(如 TensorFlow、Caffe 等),并将其转换为 MNN 支持的格式。
使用 MNN 提供的工具对模型进行优化和调试,确保模型在目标设备上的性能。
通过 MNN 工作台进行无门槛训练,或直接将优化后的模型部署到移动设备或嵌入式设备。
利用 MNN 提供的 API 文档和在线 Demo 学习如何在实际项目中使用 MNN。
浏览量:166
最新流量情况
月访问量
6564
平均访问时长
00:02:23
每次访问页数
3.35
跳出率
46.57%
流量来源
直接访问
73.73%
自然搜索
17.03%
邮件
0.05%
外链引荐
4.86%
社交媒体
3.58%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
62.50%
MNN 是阿里巴巴开源的轻量级高性能推理引擎,支持多种主流模型格式。
MNN 是阿里巴巴淘系技术开源的深度学习推理引擎,支持 TensorFlow、Caffe、ONNX 等主流模型格式,兼容 CNN、RNN、GAN 等常用网络。它通过极致优化算子性能,全面支持 CPU、GPU、NPU,充分发挥设备算力,广泛应用于阿里巴巴 70+ 场景下的 AI 应用。MNN 以高性能、易用性和通用性著称,旨在降低 AI 部署门槛,推动端智能的发展。
Claude 3.7 Sonnet 是 Anthropic 推出的最新智能模型,支持快速响应和深度推理。
Claude 3.7 Sonnet 是 Anthropic 推出的最新混合推理模型,能够实现快速响应和深度推理的无缝切换。它在编程、前端开发等领域表现出色,并通过 API 提供对推理深度的精细控制。该模型不仅提升了代码生成和调试能力,还优化了对复杂任务的处理,适用于企业级应用。其定价与前代产品一致,输入每百万 token 收费 3 美元,输出每百万 token 收费 15 美元。
人工智能入门教程网站,提供全面的机器学习与深度学习知识。
该网站由作者从 2015 年开始学习机器学习和深度学习,整理并编写的一系列实战教程。涵盖监督学习、无监督学习、深度学习等多个领域,既有理论推导,又有代码实现,旨在帮助初学者全面掌握人工智能的基础知识和实践技能。网站拥有独立域名,内容持续更新,欢迎大家关注和学习。
实时端到端目标检测模型
YOLOv10是新一代的目标检测模型,它在保持实时性能的同时,实现了高精度的目标检测。该模型通过优化后处理和模型架构,减少了计算冗余,提高了效率和性能。YOLOv10在不同模型规模上都达到了最先进的性能和效率,例如,YOLOv10-S在相似的AP下比RT-DETR-R18快1.8倍,同时参数数量和FLOPs减少了2.8倍。
端侧全模态理解模型,软硬协同释放无穹端侧智能
Infini-Megrez是一个由无问芯穹研发的端侧全模态理解模型,它基于Megrez-3B-Instruct扩展,具备图片、文本、音频三种模态数据的理解分析能力,并在图像理解、语言理解和语音理解三个方面均取得最优精度。该模型通过软硬协同优化,确保了各结构参数与主流硬件高度适配,推理速度领先同精度模型最大300%。它简单易用,采用最原始的LLaMA结构,开发者无需任何修改便可将模型部署于各种平台,最小化二次开发复杂度。此外,Infini-Megrez还提供了完整的WebSearch方案,使模型可以自动决策搜索调用时机,在搜索和对话中自动切换,并提供更好的总结效果。
轻量级端到端文本到语音模型
OptiSpeech是一个高效、轻量级且快速的文本到语音模型,专为设备端文本到语音转换设计。它利用了先进的深度学习技术,能够将文本转换为自然听起来的语音,适合需要在移动设备或嵌入式系统中实现语音合成的应用。OptiSpeech的开发得到了Pneuma Solutions提供的GPU资源支持,显著加速了开发进程。
高速大型语言模型本地部署推理引擎
PowerInfer 是一个在个人电脑上利用消费级 GPU 进行高速大型语言模型推理的引擎。它利用 LLM 推理中的高局部性特点,通过预加载热激活的神经元到 GPU 上,从而显著降低了 GPU 内存需求和 CPU-GPU 数据传输。PowerInfer 还集成了自适应预测器和神经元感知的稀疏运算符,优化神经元激活和计算稀疏性的效率。它可以在单个 NVIDIA RTX 4090 GPU 上以平均每秒 13.20 个标记的生成速率进行推理,比顶级服务器级 A100 GPU 仅低 18%。同时保持模型准确性。
Unity深度学习推理库
Sentis是一个Unity中的神经网络推理库。您可以使用Sentis将训练好的神经网络模型导入Unity,然后在Unity支持的任何平台上本地实时运行它们。您可以在GPU或CPU上运行模型。使用Sentis需要一些使用机器学习模型的经验,例如在TensorFlow或PyTorch等框架中。
展示小型语言模型通过自我演化深度思考掌握数学推理能力的研究成果。
rStar-Math是一项研究,旨在证明小型语言模型(SLMs)能够在不依赖于更高级模型的情况下,与OpenAI的o1模型相媲美甚至超越其数学推理能力。该研究通过蒙特卡洛树搜索(MCTS)实现“深度思考”,其中数学策略SLM在基于SLM的流程奖励模型的指导下进行测试时搜索。rStar-Math引入了三种创新方法来应对训练两个SLM的挑战,通过4轮自我演化和数百万个合成解决方案,将SLMs的数学推理能力提升到最先进水平。该模型在MATH基准测试中显著提高了性能,并在AIME竞赛中表现优异。
业界首个超大规模混合 Mamba 推理模型,强推理能力。
混元T1 是腾讯推出的超大规模推理模型,基于强化学习技术,通过大量后训练显著提升推理能力。它在长文处理和上下文捕捉上表现突出,同时优化了计算资源的消耗,具备高效的推理能力。适用于各类推理任务,尤其在数学、逻辑推理等领域表现优异。该产品以深度学习为基础,结合实际反馈不断优化,适合科研、教育等多个领域的应用。
Huginn-0125是一个35亿参数的潜变量循环深度模型,擅长推理和代码生成。
Huginn-0125是一个由马里兰大学帕克分校Tom Goldstein实验室开发的潜变量循环深度模型。该模型拥有35亿参数,经过8000亿个token的训练,在推理和代码生成方面表现出色。其核心特点是通过循环深度结构在测试时动态调整计算量,能够根据任务需求灵活增加或减少计算步骤,从而在保持性能的同时优化资源利用。该模型基于开源的Hugging Face平台发布,支持社区共享和协作,用户可以自由下载、使用和进一步开发。其开源性和灵活的架构使其成为研究和开发中的重要工具,尤其是在资源受限或需要高性能推理的场景中。
QwQ是一款专注于深度推理能力的AI研究模型。
QwQ(Qwen with Questions)是一款由Qwen团队开发的实验性研究模型,旨在提升人工智能的推理能力。它以一种哲学精神,对每个问题都抱有真正的好奇和怀疑,通过自我提问和反思来寻求更深层次的真理。QwQ在数学和编程领域表现出色,尤其是在处理复杂问题时。尽管它仍在学习和成长,但它已经展现出了在技术领域深度推理的重要潜力。
利用强化学习提升扩散大语言模型的推理能力。
该模型通过强化学习和高质量推理轨迹的掩蔽自监督微调,实现了对扩散大语言模型的推理能力的提升。此技术的重要性在于它能够优化模型的推理过程,减少计算成本,同时保证学习动态的稳定性。适合希望在写作和推理任务中提升效率的用户。
高级API,简化TensorFlow深度学习
TFLearn是一个基于TensorFlow的深度学习库,提供了一个高级API,用于实现深度神经网络。它具有易于使用和理解的高级API,快速的原型设计功能,全面的TensorFlow透明性,并支持最新的深度学习技术。TFLearn支持卷积网络、LSTM、双向RNN、批量归一化、PReLU、残差网络、生成网络等模型。可以用于图像分类、序列生成等任务。
深度学习领域的经典教材中文翻译
《深度学习》是一本由Simon J.D. Prince所著的深度学习领域的经典教材,MIT Press于2023年12月5日出版。本书涵盖了深度学习领域的许多关键概念,适合初学者和有经验的开发者阅读。本仓库提供了该书的中文翻译,翻译基于原书的最新版本,使用ChatGPT进行机翻并进行人工审核,确保翻译的准确性。
谷歌Gemma模型的轻量级C++推理引擎
gemma.cpp是谷歌为Gemma模型开发的轻量级、独立的C++推理引擎。它专注于为Gemma 2B和7B模型提供简洁、直接的实现,旨在支持研究和实验用例,易于嵌入其他项目且具有高度的可修改性。gemma.cpp利用Google Highway库,优化了CPU推理性能。
深度学习天气预测模型
GraphCast是由Google DeepMind开发的深度学习模型,专注于全球中期天气预报。该模型通过先进的机器学习技术,能够预测天气变化,提高预报的准确性和速度。GraphCast模型在科学研究中发挥重要作用,有助于更好地理解和预测天气模式,对气象学、农业、航空等多个领域具有重要价值。
深度学习API,简单、灵活、强大
Keras是一个为人类设计的API,遵循最佳实践,简化认知负荷,提供一致而简单的API,最大限度地减少常见用例所需的用户操作次数,并提供清晰而可操作的错误信息。Keras旨在为任何希望推出基于机器学习的应用程序的开发人员提供不公平的优势。Keras专注于调试速度、代码优雅性和简洁性、可维护性和可部署性。使用Keras,您的代码库更小,更易读,更易于迭代。您的模型在XLA编译和Autograph优化的加持下运行更快,并且更容易在每个平台(服务器、移动设备、浏览器、嵌入式设备)上部署。
为深度学习和人工智能构建的数据平台
VAST Data Platform 是世界上第一个为深度学习和人工智能构建的数据平台,采用突破性的数据密集计算方法,提供全面的软件基础设施,实时进行深度数据分析和深度学习,用于捕获、分类、细化、丰富和保护数据。它是 20 年来的第一个新的可扩展架构,专为未来 20 年的人工智能和大数据计算而设计。VAST Data Platform 允许将所有渲染资产放入一个无层级存储集群中,将这些 PB 级数据用作未来人工智能应用的训练数据。它还具有强大的 AI 能力,可支持对大规模视频、音频和文本数据集构建和训练 AI/ML 模型,从而实现全球无摩擦的通信体验。
深入理解深度学习的原理与应用
《Understanding Deep Learning》是一本深入探讨深度学习原理和应用的书籍。它提供了丰富的数学背景知识、监督学习、神经网络的构建与训练等深度学习领域的全面内容。书中提供的Python笔记本练习帮助读者通过实践来加深理解。此外,还有为教师提供的资源,包括图像、幻灯片和教辅材料。
统一的深度学习训练框架
AXLearn是Apple基于JAX和XLA构建的深度学习库,采用面向对象的方式解决软件工程在大规模深度学习模型开发中的挑战。它的配置系统允许用户从可重用的构建块中组合模型,并与其他库(如Flax和Hugging Face transformers)集成。AXLearn旨在扩展训练规模,支持数百亿参数的模型在数千个加速器上高效训练,适合在公有云上部署。它还采用全局计算范式,允许用户描述全局虚拟计算机上的计算,而不是单个加速器。AXLearn支持广泛的应用,包括自然语言处理、计算机视觉和语音识别,并包含用于训练最先进模型的基线配置。
提供AI和机器学习课程
Udacity人工智能学院提供包括深度学习、计算机视觉、自然语言处理和AI产品管理在内的AI培训和机器学习课程。这些课程旨在帮助学生掌握人工智能领域的最新技术,为未来的职业生涯打下坚实的基础。
音频处理和生成的深度学习库
AudioCraft 是一个用于音频处理和生成的 PyTorch 库。它包含了两个最先进的人工智能生成模型:AudioGen 和 MusicGen,可以生成高质量的音频。AudioCraft 还提供了 EnCodec 音频压缩 / 分词器和 Multi Band Diffusion 解码器等功能。该库适用于音频生成的深度学习研究。
超轻量级数字人模型,移动端实时运行
Ultralight-Digital-Human是一个超轻量级的数字人模型,可以在移动端实时运行。这个模型是开源的,据开发者所知,它是第一个如此轻量级的开源数字人模型。该模型的主要优点包括轻量级设计,适合移动端部署,以及实时运行的能力。它的背后是深度学习技术,特别是在人脸合成和声音模拟方面的应用,这使得数字人模型能够以较低的资源消耗实现高质量的表现。产品目前是免费的,主要面向技术爱好者和开发者。
数学作为黑箱的深度学习模型
MathBlackBox是一个深度学习模型,旨在探索数学问题解决的黑箱方法。它使用VLLM或其他OpenAI兼容的方法,通过Huggingface工具包和OpenAI进行推理,支持在Slurm环境下运行,并能够处理多种数据集。该项目目前处于早期阶段,需要充分测试后才能部署到实际产品中。
从零开始学习深度学习,实现GPT模型
zero_to_gpt是一个旨在帮助用户从零基础学习深度学习,并最终实现训练自己的GPT模型的教程。随着人工智能技术走出实验室并广泛应用于各行各业,社会对于能够理解并应用AI技术的人才需求日益增长。本教程结合理论与实践,通过解决实际问题(如天气预测、语言翻译等)来深入讲解深度学习的理论基础,如梯度下降和反向传播。课程内容从基础的神经网络架构和训练方法开始,逐步深入到复杂主题,如变换器、GPU编程和分布式训练。
© 2025 AIbase 备案号:闽ICP备08105208号-14