产品库

系统性调研生成式AI的提示技术

The Prompt Report 是一份系统性调研报告，专注于生成式人工智能（GenAI）的提示技术。它通过结合人类和机器的努力，从多个数据库中处理了4797条记录，提取出1565篇相关论文。报告提供了58种基于文本的技术，并补充了多模态和多语言技术的广泛集合。其目标是提供一个易于理解和实施的提示技术目录，并回顾了作为提示扩展的代理，包括评估输出和设计有助于安全性和安全性的提示的方法。此外，报告还应用提示技术在两个案例研究中进行了实践。

AI与产品管理领域的知识社区

觅识AI社区是一个专注于人工智能与产品管理领域的知识社区，提供AI产品管理的相关知识体系和研发产品用例。社区成员有机会成为'超级个体和一人公司'。可通过邮件或社交媒体与主理人联系，加入AI PM社区。

123B参数的大型语言模型，具备先进推理和编码能力。

Mistral-Large-Instruct-2411是由Mistral AI提供的一款具有123B参数的大型语言模型，它在推理、知识、编码等方面具有最先进的能力。该模型支持多种语言，并在80多种编程语言上进行了训练，包括但不限于Python、Java、C、C++等。它以代理为中心，具备原生函数调用和JSON输出能力，是进行科研和开发的理想选择。

Qwen2.5-Coder系列的1.5B参数指令调优模型

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专为代码生成、代码推理和代码修复而设计。基于强大的Qwen2.5，通过增加训练令牌至5.5万亿，包括源代码、文本代码基础、合成数据等，Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型，其编码能力与GPT-4o相匹配。此模型是1.5B参数的指令调优版本，采用GGUF格式，具有因果语言模型、预训练和后训练阶段、transformers架构等特点。

一站式OCR代理，快速从图像中生成洞见。

TurboLens是一个集OCR、计算机视觉和生成式AI于一体的全功能平台，它能够自动化地从非结构化图像中快速生成洞见，简化工作流程。产品背景信息显示，TurboLens旨在通过其创新的OCR技术和AI驱动的翻译及分析套件，从印刷和手写文档中提取定制化的洞见。此外，TurboLens还提供了数学公式和表格识别功能，将图像转换为可操作的数据，并将数学公式翻译成LaTeX格式，表格转换为Excel格式。产品价格方面，TurboLens提供免费和付费两种计划，满足不同用户的需求。

数据驱动的框架，增强大型语言模型的工作流编排能力

WorkflowLLM是一个以数据为中心的框架，旨在增强大型语言模型（LLMs）在工作流编排方面的能力。核心是WorkflowBench，这是一个大规模的监督式微调数据集，包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型，创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明，WorkflowLlama在编排复杂工作流方面表现出色，并且能够很好地泛化到未见过的API。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-8b是一个基于预训练的Llama3.1-8B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊的<|audio|>伪标记将输入音频转换为嵌入，并生成输出文本。未来版本计划扩展标记词汇以支持生成语义和声学音频标记，进而可以用于声码器产生语音输出。该模型在翻译评估中表现出色，且没有偏好调整，适用于语音代理、语音到语音翻译、语音分析等场景。

Hermes系列的最新版大型语言模型

Hermes 3是Nous Research公司推出的Hermes系列最新版大型语言模型（LLM），相较于Hermes 2，它在代理能力、角色扮演、推理、多轮对话、长文本连贯性等方面都有显著提升。Hermes系列模型的核心理念是将LLM与用户对齐，赋予终端用户强大的引导能力和控制权。Hermes 3在Hermes 2的基础上，进一步增强了功能调用和结构化输出能力，提升了通用助手能力和代码生成技能。

Nous Research推出的首款无限制AI聊天机器人

Nous Chat是AI研究组织Nous Research推出的首款面向用户的聊天机器人，它提供了对大型语言模型Hermes 3-70B的访问权限。Hermes 3-70B是Meta的Llama 3.1的一个变体，经过微调后，以ChatGPT等流行AI聊天工具的形式提供服务。该聊天机器人以其复古的设计语言和早期PC终端的字体和字符为特色，提供暗色和亮色模式供用户选择。尽管Nous Chat旨在允许用户部署和控制自己的AI模型，但它实际上设置了一些防护措施，包括禁止制造非法药物。此外，该模型的知识截止日期为2023年4月，因此在获取最新事件方面可能不如其他竞争对手有用。尽管如此，Nous Chat是一个有趣的实验，随着新功能的添加，它可能成为企业聊天机器人和AI模型的一个有吸引力的替代品。

跨平台通信协议，使不同的大型语言模型（LLMs）能够高效沟通。

Agora是一个简单的跨平台协议，允许异构的大型语言模型（LLMs）通过谈判高效地相互通信。该协议通过自然语言进行罕见通信，并为频繁通信协商出一种通信协议，通常涉及结构化数据（例如JSON）。一旦协议确定，它们将使用LLMs实现例程，即简单的脚本（例如Python），用于发送或接收数据。未来通信将使用这些例程处理，这意味着不再需要LLMs，从而实现了效率、多功能性和可移植性。

视频序列理解的GPU实现模型

PPLLaVA是一个高效的视频大型语言模型，它结合了细粒度视觉提示对齐、用户指令的卷积风格池化的视觉令牌压缩以及CLIP上下文扩展。该模型在VideoMME、MVBench、VideoChatGPT Bench和VideoQA Bench等数据集上建立了新的最先进结果，仅使用1024个视觉令牌，吞吐量提高了8倍。

利用NVIDIA AI构建视频搜索和摘要代理

NVIDIA AI Blueprint for Video Search and Summarization是一个基于NVIDIA NIM微服务和生成式AI模型的参考工作流程，用于构建能够理解自然语言提示并执行视觉问题回答的视觉AI代理。这些代理可以部署在工厂、仓库、零售店、机场、交通路口等多种场景中，帮助运营团队从自然交互中生成的丰富洞察中做出更好的决策。

简单易用，释放AI的强大力量

5ire是一个以简洁和用户友好为核心的AI产品，旨在让即使是初学者也能轻松利用大型语言模型。它支持多种文档格式的解析和向量化，具备本地知识库、使用分析、提示库、书签和快速关键词搜索等功能。作为一个开源项目，5ire提供免费下载，并且提供了按需付费的大型语言模型API服务。

O1复制之旅：战略进展报告第一部分

O1-Journey是由上海交通大学GAIR研究组发起的一个项目，旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式，并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程，成为处理复杂推理任务的有效方法。

使用生成式AI快速回顾你喜爱的剧集

Prime Video的X-Ray Recaps功能利用生成式人工智能技术，为用户提供电视剧集的简短、易于消化的总结。这项功能可以创建整季、单集甚至片段的个性化摘要，精确到观众观看的确切分钟。X-Ray Recaps在用户需要时提供关键情节、角色驱动的情节点和其他细节的文本片段，增强了流媒体体验，让用户无需担心剧透或重看已看过的内容。

基于Llama-3-8B的多模态大型语言模型，专注于UI任务。

Ferret-UI是首个以用户界面为中心的多模态大型语言模型（MLLM），专为指代表达、定位和推理任务设计。它基于Gemma-2B和Llama-3-8B构建，能够执行复杂的用户界面任务。这个版本遵循了Apple的研究论文，是一个强大的工具，可以用于图像文本到文本的任务，并且在对话和文本生成方面具有优势。

在线URL解析器，将URL转换为适合大型语言模型的输入格式。

URL Parser Online是一个在线工具，它能够将复杂的URL转换为适合大型语言模型（LLMs）使用的输入格式。这项技术的重要性在于它能够帮助开发者和研究人员更有效地处理和解析URL数据，尤其是在进行网页内容分析和数据抽取时。产品背景信息显示，随着互联网数据量的爆炸式增长，对URL的解析和处理需求日益增加。URL Parser Online以其简洁的用户界面和高效的解析能力，为用户提供了一个便捷的解决方案。该产品目前提供免费服务，定位于开发者和数据分析师。

SELA通过结合蒙特卡洛树搜索和基于LLM的代理来增强自动化机器学习。

SELA是一个创新系统，它通过将蒙特卡洛树搜索(MCTS)与基于大型语言模型(LLM)的代理结合起来，增强了自动化机器学习（AutoML）。传统的AutoML方法经常产生低多样性和次优的代码，限制了它们在模型选择和集成方面的有效性。SELA通过将管道配置表示为树，使代理能够智能地探索解决方案空间，并根据实验反馈迭代改进其策略。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

1位大型语言模型推理框架

BitNet是由微软开发的官方推理框架，专为1位大型语言模型（LLMs）设计。它提供了一套优化的核心，支持在CPU上进行快速且无损的1.58位模型推理（NPU和GPU支持即将推出）。BitNet在ARM CPU上实现了1.37倍到5.07倍的速度提升，能效比提高了55.4%到70.0%。在x86 CPU上，速度提升范围从2.37倍到6.17倍，能效比提高了71.9%到82.2%。此外，BitNet能够在单个CPU上运行100B参数的BitNet b1.58模型，实现接近人类阅读速度的推理速度，拓宽了在本地设备上运行大型语言模型的可能性。

由NVIDIA定制的大型语言模型，提升查询回答的帮助性。

Llama-3.1-Nemotron-70B-Instruct是NVIDIA定制的大型语言模型，专注于提升大型语言模型（LLM）生成回答的帮助性。该模型在多个自动对齐基准测试中表现优异，例如Arena Hard、AlpacaEval 2 LC和GPT-4-Turbo MT-Bench。它通过使用RLHF（特别是REINFORCE算法）、Llama-3.1-Nemotron-70B-Reward和HelpSteer2-Preference提示在Llama-3.1-70B-Instruct模型上进行训练。此模型不仅展示了NVIDIA在提升通用领域指令遵循帮助性方面的技术，还提供了与HuggingFace Transformers代码库兼容的模型转换格式，并可通过NVIDIA的build平台进行免费托管推理。

文本到图像生成的自适应工作流

ComfyGen 是一个专注于文本到图像生成的自适应工作流系统，它通过学习用户提示来自动化并定制有效的工作流。这项技术的出现，标志着从使用单一模型到结合多个专业组件的复杂工作流的转变，旨在提高图像生成的质量。ComfyGen 背后的主要优点是能够根据用户的文本提示自动调整工作流，以生成更高质量的图像，这对于需要生成特定风格或主题图像的用户来说非常重要。

企业级生成式AI客服代理

Decagon是一个企业级的客户支持AI平台，提供生成式AI代理，以提供令人惊叹的顾客体验。它被大型企业和高增长初创公司所信赖。Decagon的AI支持代理能够实现真正的自动解决，提供100%的生成式响应和行动，无需复杂的决策树或预设响应。它还提供无缝集成，能够与现有的工具和数据源进行零提升集成，最大化AI的潜力。此外，Decagon还提供AI驱动的洞察力，帮助企业识别主题、发现异常，并解锁对有价值对话的分析。Decagon在2024年完成了6500万美元的B轮融资，由Bain和Elad Gil领投，这显示了其在AI客服领域的强大背景和市场定位。

高效能的语言模型，支持本地智能和设备端计算。

Ministral-8B-Instruct-2410是由Mistral AI团队开发的一款大型语言模型，专为本地智能、设备端计算和边缘使用场景设计。该模型在类似的大小模型中表现优异，支持128k上下文窗口和交错滑动窗口注意力机制，能够在多语言和代码数据上进行训练，支持函数调用，词汇量达到131k。Ministral-8B-Instruct-2410模型在各种基准测试中表现出色，包括知识与常识、代码与数学以及多语言支持等方面。该模型在聊天/竞技场（gpt-4o判断）中的性能尤为突出，能够处理复杂的对话和任务。

多模态大型语言模型的优化与分析

MM1.5是一系列多模态大型语言模型（MLLMs），旨在增强文本丰富的图像理解、视觉指代表明和接地以及多图像推理的能力。该模型基于MM1架构，采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中不同数据混合的影响。MM1.5模型从1B到30B参数不等，包括密集型和混合专家（MoE）变体，并通过广泛的实证研究和消融研究，提供了详细的训练过程和决策见解，为未来MLLM开发研究提供了宝贵的指导。

突破大型语言模型限制的自动化框架

AutoDAN-Turbo是一个自动化的、无需人为干预的框架，旨在自动发现并实施多种策略，以突破大型语言模型（LLMs）的限制。该框架能够自动开发出多样的攻击策略，显著提高了攻击成功率，并且可以作为一个统一的框架整合现有的人为设计的越狱策略。AutoDAN-Turbo的重要性在于其能够提升LLMs在对抗环境中的安全性和可靠性，为红队评估工具提供了一种新的自动化方法。

自动化的生成式AI评估平台

AutoArena是一个自动化的生成式AI评估平台，专注于评估大型语言模型（LLMs）、检索增强生成（RAG）系统和生成式AI应用。它通过自动化的头对头判断来提供可信的评估，帮助用户快速、准确、经济地找到系统的最佳版本。该平台支持使用来自不同供应商的判断模型，如OpenAI、Anthropic等，也可以使用本地运行的开源权重判断模型。AutoArena还提供了Elo评分和置信区间计算，帮助用户将多次头对头投票转化为排行榜排名。此外，AutoArena支持自定义判断模型的微调，以实现更准确、特定领域的评估，并可以集成到持续集成（CI）流程中，以自动化评估生成式AI系统。

AI模型选择助手

Lumigator 是 Mozilla.ai 开发的一款产品，旨在帮助开发者从众多大型语言模型（LLM）中选择最适合其特定项目的模型。它通过提供任务特定的指标框架来评估模型，确保所选模型能够满足项目需求。Lumigator 的愿景是成为一个开源平台，促进道德和透明的AI开发，并填补行业工具链中的空白。