产品库

专为智能手机设计的高效大型语言模型推理框架

PowerInfer-2是一个为智能手机特别优化的推理框架，支持高达47B参数的MoE模型，实现了每秒11.68个token的推理速度，比其他框架快22倍。它通过异构计算和I/O-Compute流水线技术，显著减少了内存使用，并提高了推理速度。该框架适用于需要在移动设备上部署大型模型的场景，以增强数据隐私和性能。

智能手机应用的多模态代理框架

AppAgent是一个基于LLM（大型语言模型）的多模态代理框架，设计用于操作智能手机应用。通过简化的动作空间（如点击和滑动），模仿人类般的互动方式，实现应用操作，无需系统后端访问。代理通过自主探索或观察人类演示学习新应用的使用方法，创建知识库用于执行不同应用中的复杂任务。

新一代谷歌智能手机，搭载先进的AI技术。

Pixel 9是谷歌推出的新一代智能手机，以其先进的AI技术和摄影能力为特色。它配备了内置的AI助手Gemini，提供个性化的智能服务，如写作、规划、学习和执行任务。此外，Pixel 9的相机技术得到了显著提升，包括夜间拍摄、宏观摄影到天文摄影等。它还具备紧急情况下通过卫星连接紧急服务的能力，以及7年的操作系统和安全更新支持。

Galaxy S25 是三星最新推出的智能手机，具备强大的性能和先进的 AI 技术。

Galaxy S25 是三星最新推出的智能手机，代表了当前智能手机技术的前沿水平。它搭载了定制的骁龙 8 Elite for Galaxy 处理器，性能强劲，能够满足用户在日常使用、游戏和多任务处理中的各种需求。该设备还配备了先进的 AI 技术，如 Galaxy AI 功能，支持通过自然语言完成多种任务，提升用户体验。Galaxy S25 提供多种颜色选择，设计时尚，坚固耐用，支持 IP68 级别防水防尘，适合追求高性能和智能化体验的用户。

1位大型语言模型推理框架

BitNet是由微软开发的官方推理框架，专为1位大型语言模型（LLMs）设计。它提供了一套优化的核心，支持在CPU上进行快速且无损的1.58位模型推理（NPU和GPU支持即将推出）。BitNet在ARM CPU上实现了1.37倍到5.07倍的速度提升，能效比提高了55.4%到70.0%。在x86 CPU上，速度提升范围从2.37倍到6.17倍，能效比提高了71.9%到82.2%。此外，BitNet能够在单个CPU上运行100B参数的BitNet b1.58模型，实现接近人类阅读速度的推理速度，拓宽了在本地设备上运行大型语言模型的可能性。

统一大型模型 API调用方式

支持将 openai、claude、azure openai, gemini,kimi, 智谱 AI, 通义千问，讯飞星火 API 等模型服务方的调用转为 openai 方式调用。屏蔽不同大模型 API 的差异，统一用 openai api 标准格式使用大模型。提供多种大型模型支持，包括负载均衡、路由、配置管理等功能。

医疗领域先进的大型语言模型

HuatuoGPT-o1-70B是由FreedomIntelligence开发的医疗领域大型语言模型（LLM），专为复杂的医疗推理设计。该模型在提供最终响应之前，会生成一个复杂的思考过程，反映并完善其推理。HuatuoGPT-o1-70B能够处理复杂的医疗问题，提供深思熟虑的答案，这对于提高医疗决策的质量和效率至关重要。该模型基于LLaMA-3.1-70B架构，支持英文，并且可以部署在多种工具上，如vllm或Sglang，或者直接进行推理。

一款AI助手，随时为您的手机提供建议

FloatingAI是一款时刻准备着理解您的手机并提供建议的AI助手。它可以理解当前屏幕上的所有信息，并根据您的指令提供建议。您可以在任何应用程序中使用它，例如：为任何聊天应用提供下一次回复的建议，帮助您轻松处理与他人的关系；在Twitter或Facebook等内容页面上从支持者或对手的角度提供评论；从任何内容中总结或提取关键点。您还可以创建自己的提示，让GPT阅读您的手机并协助您完成各种任务！FloatingAI支持输入您的OpenAI API密钥（无需为FloatingAI付费）或使用FloatingAI提供的GPT功能。立即让您的智能手机变得更智能吧！

基于大型语言模型的多智能体应用开发框架

agentUniverse 是一个基于大型语言模型的多智能体应用开发框架，提供了构建单一智能体和多智能体协作机制的所有必需组件。通过模式工厂，允许开发者构建和自定义多智能体协作模式，轻松构建多智能体应用，并分享不同技术与业务领域的模式实践。

多模态大型模型，处理文本、图像和视频数据

Valley是由字节跳动开发的尖端多模态大型模型，能够处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，比其他开源模型表现更优。在OpenCompass测试中，与同规模模型相比，平均得分大于等于67.40，在小于10B模型中排名第二。Valley-Eagle版本参考了Eagle，引入了一个可以灵活调整令牌数量并与原始视觉令牌并行的视觉编码器，增强了模型在极端场景下的性能。

智能听觉辅助应用

HeardThat™是一款智能听觉辅助应用，与现有助听器兼容。将您的智能手机转变为一个听觉辅助设备，轻松在嘈杂环境中进行清晰对话。享受无噪声干扰的交流体验。HeardThat™提供高质量的语音增强和噪声过滤功能，帮助用户在嘈杂环境中更好地聆听和理解。HeardThat™的定价根据不同的套餐和订阅计划而定。它定位于那些需要在嘈杂环境中提高听力的人群。

双语开源数学推理大型语言模型。

InternLM-Math-Plus 是一个最新的双语（英文和中文）开源大型语言模型（LLM），专注于数学推理，具有解决、证明、验证和增强数学问题的能力。它在非正式数学推理（如思维链和代码解释）和正式数学推理（如LEAN 4翻译和证明）方面都有显著的性能提升。

多模态大型模型，处理文本、图像和视频数据

Valley-Eagle-7B是由字节跳动开发的多模态大型模型，旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，并在OpenCompass测试中展现出与同规模模型相比的卓越性能。Valley-Eagle-7B结合了LargeMLP和ConvAdapter构建投影器，并引入了VisionEncoder，以增强模型在极端场景下的性能。

音声通译，15种语言支持

Felo 瞬訳是一款智能手机应用，拥有世界首创的实时重写翻译（RRT）功能，满足同声传译的速度和翻译准确性的要求。支持超过13种语言的同声翻译，自动识别会话语言并保存翻译内容，用户可选择女性或男性的翻译音频。利用最新的人工智能技术，提供高速且精准的翻译结果，考虑了文本风格和语境，使翻译更加准确和丰富。适用于国际旅行、国际会议、交易展会等多种场景，也可用于学习外语和口语练习。

最强大的Pixel手机，内置Gemini AI助手。

Pixel 9 Pro是谷歌推出的高端智能手机，以其先进的摄像头系统和内置的Gemini AI助手为特色。该手机配备了多项创新技术，包括超级夜景模式、超级变焦视频、以及专业级别的摄影控制功能。它代表了智能手机摄影的新高度，为用户提供了前所未有的拍摄体验。价格从$999起，或可选择36个月分期付款，每月$27.75。

大型推理模型框架，支持PyTorch和HuggingFace。

LLaMA-O1是一个大型推理模型框架，它结合了蒙特卡洛树搜索（MCTS）、自我强化学习、PPO等技术，并借鉴了AlphaGo Zero的双重策略范式以及大型语言模型。该模型主要针对奥林匹克级别的数学推理问题，提供了一个开放的平台用于训练、推理和评估。产品背景信息显示，这是一个个人实验项目，与任何第三方组织或机构无关。

开源框架，加速大型视频扩散模型

FastVideo是一个开源框架，旨在加速大型视频扩散模型。它提供了FastHunyuan和FastMochi两种一致性蒸馏视频扩散模型，实现了8倍推理速度提升。FastVideo基于PCM（Phased-Consistency-Model）提供了首个开放的视频DiT蒸馏配方，支持对最先进的开放视频DiT模型进行蒸馏、微调和推理，包括Mochi和Hunyuan。此外，FastVideo还支持使用FSDP、序列并行和选择性激活检查点进行可扩展训练，以及使用LoRA、预计算潜在和预计算文本嵌入进行内存高效微调。FastVideo的开发正在进行中，技术高度实验性，未来计划包括增加更多蒸馏方法、支持更多模型以及代码更新。

Snap, tap, translate. 翻译菜单更快更便捷!

BABEL DISH是一款结合先进人工智能技术的APP，通过智能手机拍摄菜单照片，轻松翻译菜单文本。我们的AI系统将快速分析内容并将其翻译成你的母语。无需再为外语菜单而苦恼，BABEL DISH让你轻松掌握美食信息。

先进的大型语言模型，具备推理和编程能力。

Mistral-Large-Instruct-2407是一个拥有123B参数的先进大型语言模型(LLM)，具备最新的推理、知识和编程能力。它支持多语言，包括中文、英语、法语等十种语言，并且在80多种编程语言上受过训练，如Python、Java等。此外，它还具备代理中心能力和先进的数学及推理能力。

医疗领域复杂推理的大型语言模型

HuatuoGPT-o1是一个专为医疗复杂推理设计的大语言模型，能够识别错误、探索替代策略并完善答案。该模型通过利用可验证的医疗问题和专门的医疗验证器，推进了复杂推理的发展。HuatuoGPT-o1的主要优点包括：使用验证器指导复杂推理轨迹的搜索，以微调大型语言模型；应用基于验证器奖励的强化学习（PPO）进一步提升复杂推理能力。HuatuoGPT-o1的开源模型、数据和代码，使其在医疗教育和研究领域具有重要价值。

易用、灵活、高效的开源大模型应用开发框架。

Agently是一个开源的大模型应用开发框架，旨在帮助开发者快速构建基于大语言模型的AI agent原生应用。它通过提供一系列工具和接口，简化了与大型语言模型的交互过程，使得开发者可以更专注于业务逻辑的实现。Agently框架支持多种模型，易于安装和配置，具有高度的灵活性和扩展性。

高质量开放数据集平台，为大型模型提供数据支持

OpenDataLab是一个开源数据平台，提供高质量的开放数据集，支持大型AI模型的训练和应用。平台容量巨大，包含5500多个数据集，涵盖1500多种任务类型，总数据量达到80TB以上，下载量超过1064500次。平台提供30多种应用场景、20多种标注类型和5种数据类型，支持数据结构、标注格式和在线可视化的统一标准，实现数据的开放共享和智能搜索，提供结构化的数据信息和可视化的注释和数据分布，方便用户阅读和筛选。平台提供快速下载服务，无需VPN即可从国内云端快速下载数据。

高效长序列大型语言模型推理技术

Star-Attention是NVIDIA提出的一种新型块稀疏注意力机制，旨在提高基于Transformer的大型语言模型（LLM）在长序列上的推理效率。该技术通过两个阶段的操作显著提高了推理速度，同时保持了95-100%的准确率。它与大多数基于Transformer的LLM兼容，无需额外训练或微调即可直接使用，并且可以与其他优化方法如Flash Attention和KV缓存压缩技术结合使用，进一步提升性能。

提升大型语言模型的推理准确性和效率

Buffer of Thoughts (BoT) 是一种新型的思考增强推理方法，旨在提高大型语言模型（LLMs）的准确性、效率和鲁棒性。通过引入一个元缓冲区来存储从各种任务的问题解决过程中提取的高级思考模板，称为思考模板。对于每个问题，检索一个相关的思考模板，并适应性地将其实例化为特定的推理结构以进行高效推理。此外，还提出了一个缓冲区管理器来动态更新元缓冲区，从而随着解决更多任务而增强其容量。

高效为大型语言模型提供服务

FP6-LLM是一种用于大型语言模型的全新支持方案，通过六位量化（FP6）有效地减小了模型大小，并在各种应用中始终保持模型质量。我们提出了TC-FPx，这是第一个完整的GPU内核设计方案，统一支持各种量化位宽的浮点权重。我们将TC-FPx内核集成到现有推理系统中，为量化的LLM推理提供了全新的端到端支持（称为FP6-LLM），实现了推理成本和模型质量之间更好的权衡。实验证明，FP6-LLM使得使用单个GPU进行LLaMA-70b推理成为可能，实现的规范化推理吞吐量比FP16基准高1.69倍至2.65倍。

加速长上下文大型语言模型的推理过程

MInference是一个针对长上下文大型语言模型（LLMs）的推理加速框架。它利用了LLMs注意力机制中的动态稀疏特性，通过静态模式识别和在线稀疏索引近似计算，显著提升了预填充（pre-filling）的速度，实现了在单个A100 GPU上处理1M上下文的10倍加速，同时保持了推理的准确性。

先进的代码优化和编译器推理的大型语言模型。

LLM Compiler-7b是Meta开发的一款专注于代码优化和编译器推理的大型语言模型。它基于Code Llama模型，通过深度学习优化代码，支持编译器中间表示、汇编语言和优化的理解。此模型在减少代码大小和从汇编到编译器中间表示的反编译方面展现出卓越的性能，是编译器研究人员和工程师的有力工具。

更有效的提示大型多模态模型，释放潜能

Multimodal-Maestro为您提供更多对大型多模态模型的控制，以获得您想要的输出。通过更有效的提示策略，您可以让多模态模型执行您以前不知道（或认为不可能）的任务。想知道它是如何工作的吗？试试我们的HF空间！ 该项目仍在建设中，API可能会发生变化。

创新的多模态链式思维框架，提升视觉推理能力

Cantor是一个多模态链式思维(CoT)框架，它通过感知决策架构，将视觉上下文获取与逻辑推理相结合，解决复杂的视觉推理任务。Cantor首先作为一个决策生成器，整合视觉输入来分析图像和问题，确保与实际情境更紧密的对齐。此外，Cantor利用大型语言模型(MLLMs)的高级认知功能，作为多面专家，推导出更高层次的信息，增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验，证明了所提出框架的有效性，无需微调或真实理由，就显著提高了多模态CoT性能。