产品库

优化的小型语言模型，适用于移动设备

MobileLLM是一种针对移动设备优化的小型语言模型，专注于设计少于十亿参数的高质量LLMs，以适应移动部署的实用性。与传统观念不同，该研究强调了模型架构在小型LLMs中的重要性。通过深度和薄型架构，结合嵌入共享和分组查询注意力机制，MobileLLM在准确性上取得了显著提升，并提出了一种不增加模型大小且延迟开销小的块级权重共享方法。此外，MobileLLM模型家族在聊天基准测试中显示出与之前小型模型相比的显著改进，并在API调用任务中接近LLaMA-v2 7B的正确性，突出了小型模型在普通设备用例中的能力。

Gemma 2B模型，支持10M序列长度，优化内存使用，适用于大规模语言模型应用。

Gemma 2B - 10M Context是一个大规模的语言模型，它通过创新的注意力机制优化，能够在内存使用低于32GB的情况下处理长达10M的序列。该模型采用了循环局部注意力技术，灵感来源于Transformer-XL论文，是处理大规模语言任务的强大工具。

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。

Flash-Decoding for long-context inference

Flash-Decoding是一种针对长上下文推理的技术，可以显著加速推理中的注意力机制，从而使生成速度提高8倍。该技术通过并行加载键和值，然后分别重新缩放和组合结果来维护正确的注意力输出，从而实现了更快的推理速度。Flash-Decoding适用于大型语言模型，可以处理长文档、长对话或整个代码库等长上下文。Flash-Decoding已经在FlashAttention包和xFormers中提供，可以自动选择Flash-Decoding或FlashAttention方法，也可以使用高效的Triton内核。

Meta 开发的子十亿参数语言模型，适用于设备端应用。

Meta 开发的自回归语言模型，采用优化架构，适合资源受限设备。优点多，如集成多种技术，支持零样本推理等，价格免费，面向自然语言处理研究人员和开发者。

高效优化的600M参数语言模型，专为设备端应用设计。

MobileLLM-600M是由Meta开发的自回归语言模型，采用了优化的Transformer架构，专为资源受限的设备端应用而设计。该模型集成了SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等关键技术。MobileLLM-600M在零样本常识推理任务上取得了显著的性能提升，与之前的125M/350M SoTA模型相比，分别提高了2.7%/4.3%的准确率。该模型的设计理念可扩展至更大模型，如MobileLLM-1B/1.5B，均取得了SoTA结果。

高效优化的子十亿参数语言模型，专为设备端应用设计

MobileLLM-350M是由Meta开发的自回归语言模型，采用优化的Transformer架构，专为设备端应用设计，以满足资源受限的环境。该模型整合了SwiGLU激活函数、深层薄架构、嵌入共享和分组查询注意力等关键技术，实现了在零样本常识推理任务上的显著准确率提升。MobileLLM-350M在保持较小模型尺寸的同时，提供了与更大模型相媲美的性能，是设备端自然语言处理应用的理想选择。

高效优化的小型语言模型，专为设备端应用设计。

MobileLLM-125M是由Meta开发的自动回归语言模型，它利用优化的变换器架构，专为资源受限的设备端应用而设计。该模型集成了包括SwiGLU激活函数、深度薄架构、嵌入共享和分组查询注意力等多项关键技术。MobileLLM-125M/350M在零样本常识推理任务上相较于前代125M/350M SoTA模型分别取得了2.7%和4.3%的准确率提升。该模型的设计理念可有效扩展到更大模型，MobileLLM-600M/1B/1.5B均取得了SoTA结果。

基于注意力机制的运动生成和无训练编辑模型

MotionCLR是一个基于注意力机制的运动扩散模型，专注于人类动作的生成和编辑。它通过自注意力和交叉注意力机制，分别模拟模态内和模态间的交互，实现对动作序列的精细控制和编辑。该模型的主要优点包括无需训练即可进行编辑，具有较好的解释性，能够通过操作注意力图来实现多种运动编辑方法，如动作的强调或减弱、就地替换动作、基于示例的动作生成等。MotionCLR的研究背景是解决以往运动扩散模型在细粒度编辑能力上的不足，通过清晰的文本-动作对应关系，提高动作编辑的灵活性和精确性。

衡量语言模型回答事实性问题能力的基准测试

SimpleQA是OpenAI发布的一个事实性基准测试，旨在衡量语言模型回答简短、寻求事实的问题的能力。它通过提供高正确性、多样性、挑战性和良好的研究者体验的数据集，帮助评估和提升语言模型的准确性和可靠性。这个基准测试对于训练能够产生事实正确响应的模型是一个重要的进步，有助于提高模型的可信度，并拓宽其应用范围。

高质量音频生成框架

AudioLM是由Google Research开发的一个框架，用于高质量音频生成，具有长期一致性。它将输入音频映射到离散标记序列，并将音频生成视为这一表示空间中的语言建模任务。AudioLM通过在大量原始音频波形上训练，学习生成自然且连贯的音频续篇，即使在没有文本或注释的情况下，也能生成语法和语义上合理的语音续篇，同时保持说话者的身份和韵律。此外，AudioLM还能生成连贯的钢琴音乐续篇，尽管它在训练时没有使用任何音乐的符号表示。

高效、轻量级的量化Llama模型，提升移动设备上的运行速度并减少内存占用。

Llama模型是Meta公司推出的大型语言模型，通过量化技术，使得模型体积更小、运行速度更快，同时保持了模型的质量和安全性。这些模型特别适用于移动设备和边缘部署，能够在资源受限的设备上提供快速的设备内推理，同时减少内存占用。量化Llama模型的开发，标志着在移动AI领域的一个重要进步，使得更多的开发者能够在不需要大量计算资源的情况下，构建和部署高质量的AI应用。

利用大型语言模型（LLM）进行创新研究的智能代理

CoI-Agent是一个基于大型语言模型（LLM）的智能代理，旨在通过链式思维（Chain of Ideas）的方式革新研究领域的新想法开发。该模型通过整合和分析大量数据，为研究人员提供创新的思路和研究方向。它的重要性在于能够加速科研进程，提高研究效率，帮助研究人员在复杂的数据中发现新的模式和联系。CoI-Agent由DAMO-NLP-SG团队开发，是一个开源项目，可以免费使用。

多模态语言模型，融合文本和语音

Spirit LM是一个基础多模态语言模型，能够自由混合文本和语音。该模型基于一个7B预训练的文本语言模型，通过持续在文本和语音单元上训练来扩展到语音模式。语音和文本序列被串联为单个令牌流，并使用一个小的自动策划的语音-文本平行语料库，采用词级交错方法进行训练。Spirit LM有两个版本：基础版使用语音音素单元（HuBERT），而表达版除了音素单元外，还使用音高和风格单元来模拟表达性。对于两个版本，文本都使用子词BPE令牌进行编码。该模型不仅展现了文本模型的语义能力，还展现了语音模型的表达能力。此外，我们展示了Spirit LM能够在少量样本的情况下跨模态学习新任务（例如ASR、TTS、语音分类）。

高效能小型语言模型

Zamba2-7B是由Zyphra团队开发的一款小型语言模型，它在7B规模上超越了当前领先的模型，如Mistral、Google的Gemma和Meta的Llama3系列，无论是在质量还是性能上。该模型专为在设备上和消费级GPU上运行以及需要强大但紧凑高效模型的众多企业应用而设计。Zamba2-7B的发布，展示了即使在7B规模上，前沿技术仍然可以被小团队和适度预算所触及和超越。

为复杂企业打造的AI工具

LLMWare.ai是一个为金融、法律、合规和监管密集型行业设计的AI工具，专注于私有云中的小型专业化语言模型和专为SLMs设计的AI框架。它提供了一个集成的、高质量的、组织良好的框架，用于开发AI代理工作流、检索增强生成（RAG）和其他用例的LLM应用程序，包括许多核心对象，以便开发者可以立即开始。

AI在医学领域的初步研究

o1 in Medicine是一个专注于医学领域的人工智能模型，旨在通过先进的语言模型技术，提升医学数据的处理能力和诊断准确性。该模型由UC Santa Cruz、University of Edinburgh和National Institutes of Health的研究人员共同开发，通过在多个医学数据集上的测试，展示了其在医学领域的应用潜力。o1模型的主要优点包括高准确率、多语言支持以及对复杂医学问题的深入理解能力。该模型的开发背景是基于当前医疗领域对于高效、准确的数据处理和分析的需求，尤其是在诊断和治疗建议方面。目前，该模型的研究和应用还处于初步阶段，但其在医学教育和临床实践中的应用前景广阔。

快速获取高质量提示信息

Platea AI是一个提供高质量提示信息的平台，用户可以快速地获取和比较不同语言模型提供商和模型的结果。它支持并行运行提示，并能快速比较结果，帮助用户选择最合适的模型。

基于熵的采样技术，优化模型输出的多样性和准确性

Entropy-based sampling 是一种基于熵理论的采样技术，用于提升语言模型在生成文本时的多样性和准确性。该技术通过计算概率分布的熵和方差熵来评估模型的不确定性，从而在模型可能陷入局部最优或过度自信时调整采样策略。这种方法有助于避免模型输出的单调重复，同时在模型不确定性较高时增加输出的多样性。

高性能浏览器内语言模型推理引擎

WebLLM是一个高性能的浏览器内语言模型推理引擎，利用WebGPU进行硬件加速，使得强大的语言模型操作可以直接在网页浏览器内执行，无需服务器端处理。这个项目旨在将大型语言模型（LLM）直接集成到客户端，从而实现成本降低、个性化增强和隐私保护。它支持多种模型，并与OpenAI API兼容，易于集成到项目中，支持实时交互和流式处理，是构建个性化AI助手的理想选择。

AMD训练的高性能语言模型

AMD-Llama-135m是一个基于LLaMA2模型架构训练的语言模型，能够在AMD MI250 GPU上流畅加载使用。该模型支持生成文本和代码，适用于多种自然语言处理任务。

加速模型评估和微调的智能评估工具

SFR-Judge 是 Salesforce AI Research 推出的一系列评估模型，旨在通过人工智能技术加速大型语言模型（LLMs）的评估和微调过程。这些模型能够执行多种评估任务，包括成对比较、单项评分和二元分类，同时提供解释，避免黑箱问题。SFR-Judge 在多个基准测试中表现优异，证明了其在评估模型输出和指导微调方面的有效性。

可视化和透明的开源ChatGPT替代品

Show-Me是一个开源应用程序，旨在提供传统大型语言模型(如ChatGPT)交互的可视化和透明替代方案。它通过将复杂问题分解成一系列推理子任务，使用户能够理解语言模型的逐步思考过程。该应用程序使用LangChain与语言模型交互，并通过动态图形界面可视化推理过程。

高效准确的AI语言模型

Llama-3.1-Nemotron-51B是由NVIDIA基于Meta的Llama-3.1-70B开发的新型语言模型，通过神经架构搜索（NAS）技术优化，实现了高准确率和高效率。该模型能够在单个NVIDIA H100 GPU上运行，显著降低了内存占用，减少了内存带宽和计算量，同时保持了优秀的准确性。它代表了AI语言模型在准确性和效率之间取得的新平衡，为开发者和企业提供了成本可控的高性能AI解决方案。

通过生成式AI激活人类潜能

Stability AI是一个专注于生成式人工智能技术的公司，提供多种AI模型，包括文本到图像、视频、音频、3D和语言模型。这些模型能够处理复杂提示，生成逼真的图像和视频，以及高质量的音乐和音效。公司提供灵活的许可选项，包括自托管许可和平台API，以满足不同用户的需求。Stability AI致力于通过开放模型，为全球每个人提供高质量的AI服务。

连接大型语言模型与谷歌数据共享平台，减少AI幻觉现象。

DataGemma是世界上首个开放模型，旨在通过谷歌数据共享平台的大量真实世界统计数据，帮助解决AI幻觉问题。这些模型通过两种不同的方法增强了语言模型的事实性和推理能力，从而减少幻觉现象，提升AI的准确性和可靠性。DataGemma模型的推出，是AI技术在提升数据准确性和减少错误信息传播方面的重要进步，对于研究人员、决策者以及普通用户来说，都具有重要的意义。

与文档进行自然语言对话的Python应用

Chat With Your Docs 是一个Python应用程序，允许用户与多种文档格式（如PDF、网页和YouTube视频）进行对话。用户可以使用自然语言提问，应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意，应用仅回应与加载的文档相关的问题。

轻量级语言模型编程库，将提示视为函数。

ell是一个轻量级的语言模型编程库，它将提示视为函数，而不是简单的字符串。ell的设计基于在OpenAI和创业生态系统中多年构建和使用语言模型的经验。它提供了一种全新的编程方式，允许开发者通过定义函数来生成发送给语言模型的字符串提示或消息列表。这种封装方式为用户创建了一个清晰的接口，用户只需关注LMP所需的数据。ell还提供了丰富的工具，支持监控、版本控制和可视化，使得提示工程从一门黑艺术转变为一门科学。

通过自博弈相互推理，提升小型语言模型的解决问题能力。

rStar是一个自我博弈相互推理方法，它通过将推理过程分解为解决方案生成和相互验证，显著提升了小型语言模型（SLMs）的推理能力，无需微调或使用更高级的模型。rStar通过蒙特卡洛树搜索（MCTS）和人类推理动作的结合，构建更高质量的推理轨迹，并通过另一个类似能力的SLM作为鉴别器来验证这些轨迹的正确性。这种方法在多个SLMs上进行了广泛的实验，证明了其在解决多样化推理问题方面的有效性。

高效能的第三代MiniCPM系列模型

MiniCPM3-4B是MiniCPM系列的第三代产品，整体性能超越了Phi-3.5-mini-Instruct和GPT-3.5-Turbo-0125，与许多近期的7B至9B模型相当。与前两代相比，MiniCPM3-4B具有更强大的多功能性，支持函数调用和代码解释器，使其能够更广泛地应用于各种场景。此外，MiniCPM3-4B拥有32k的上下文窗口，配合LLMxMapReduce技术，理论上可以处理无限上下文，而无需大量内存。