产品库

Octopus-V2-2B是一款在移动设备上运行的2B LLMs，性能优于GPT-4

Octopus-V2-2B是由斯坦福大学NexaAI开发的开源大型语言模型，具有20亿参数，专门为Android API的功能调用定制。它采用了独特的功能性标记策略，用于训练和推理阶段，使其达到与GPT-4相当的性能水平，并提高了推理速度。Octopus-V2-2B特别适合边缘计算设备，能够在设备上直接运行，支持广泛的应用场景。

多轮交互式图像生成技术

AutoStudio是一个基于大型语言模型的多轮交互式图像生成框架，它通过三个代理与一个基于稳定扩散的代理来生成高质量图像。该技术在多主题一致性方面取得了显著进步，通过并行UNet结构和主题初始化生成方法，提高了图像生成的质量和一致性。

用于训练大型语言模型的开源合成数据生成管道。

Nemotron-4 340B是NVIDIA发布的一系列开放模型，专为生成合成数据以训练大型语言模型（LLMs）而设计。这些模型经过优化，可以与NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用，以提高训练和推理的效率。Nemotron-4 340B包括基础、指令和奖励模型，形成一个生成合成数据的管道，用于训练和完善LLMs。这些模型在Hugging Face上提供下载，并很快将在ai.nvidia.com上提供，作为NVIDIA NIM微服务的一部分。

实时表情生成人类模型

PROTEUS是Apparate Labs推出的一款下一代基础模型，用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型，创新的潜在空间设计实现了实时效率，并能通过进一步的架构和算法改进，达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现，为人工对话实体提供直观的接口，并且与多种大型语言模型兼容，可定制用于多种不同应用。

使用反思工作流的代理翻译模型

Translation Agent 是一个使用反思工作流的机器翻译演示项目。它由 Andrew Ng 以及合作者开发，主要利用大型语言模型(LLM)进行文本翻译，并反思翻译结果以提出改进建议。该模型的可定制性高，可以调整翻译风格、处理习语和专有名词，以及针对特定地区或方言进行优化。尽管目前该软件还不够成熟，但已经显示出与传统机器翻译系统相比有时更具竞争力的潜力。

高效的分布式数据并行框架，专为大型语言模型设计。

YaFSDP是一个分布式数据并行框架，专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%，并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。

视频生成的前沿模型

WorldDreamer是一个创新的视频生成模型，它通过预测遮蔽的视觉令牌来理解并模拟世界动态。它在图像到视频合成、文本到视频生成、视频修复、视频风格化以及动作到视频生成等多个方面表现出色。该模型借鉴了大型语言模型的成功经验，将世界建模视为一个无监督的视觉序列建模挑战，通过将视觉输入映射到离散的令牌并预测被遮蔽的令牌来实现。

自回归模型在可扩展图像生成领域的新突破

LlamaGen是一个新的图像生成模型家族，它将大型语言模型的原始下一个token预测范式应用于视觉生成领域。该模型通过适当的扩展，无需对视觉信号的归纳偏差即可实现最先进的图像生成性能。LlamaGen重新审视了图像分词器的设计空间、图像生成模型的可扩展性属性以及它们的训练数据质量。

AI对编程的辅助，提升代码效率。

aider 是一款集成在终端的AI配对编程工具，它允许开发者与大型语言模型(LLMs)进行配对编程，以编辑本地Git仓库中的代码。aider 与 GPT-4o 和 Claude 3 Opus 等模型配合使用效果最佳，并且可以连接到几乎所有的LLM。它通过自动提交代码变更，并使用合理的提交信息来帮助开发者提高编程效率。aider 支持多种流行编程语言，包括 Python、JavaScript、TypeScript 等，并且能够处理大型代码库中的协调变更。

提升大型语言模型的推理准确性和效率

Buffer of Thoughts (BoT) 是一种新型的思考增强推理方法，旨在提高大型语言模型（LLMs）的准确性、效率和鲁棒性。通过引入一个元缓冲区来存储从各种任务的问题解决过程中提取的高级思考模板，称为思考模板。对于每个问题，检索一个相关的思考模板，并适应性地将其实例化为特定的推理结构以进行高效推理。此外，还提出了一个缓冲区管理器来动态更新元缓冲区，从而随着解决更多任务而增强其容量。

生物医学领域的专业通用模型

UltraMedical项目旨在开发生物医学领域的专业通用模型，这些模型旨在回答与考试、临床场景和研究问题相关的问题，同时保持广泛的通用知识基础，以有效处理跨领域问题。通过使用先进的对齐技术，包括监督微调(SFT)、直接偏好优化(DPO)和赔率比偏好优化(ORPO)，训练大型语言模型在UltraMedical数据集上，以创建强大且多功能的模型，有效服务于生物医学社区的需求。

智能媒体分析，简化复杂话题，深入行业洞察。

Debriefs AI是一个利用人工智能技术提供媒体分析和新闻消费的智能平台。它通过强大的AI助手帮助用户快速找到、总结并理解信息，节省时间，同时提供实时的语义网数据，增强用户体验。Debriefs AI通过深度学习和大型语言模型（LLMs）为用户提供定制化的信息摘要和分析，帮助用户从大量更新中提取有价值的洞察，并将信息转化为可操作的见解。

AI驱动的市场研究工具，快速获取客户洞察。

OpinioAI是一个利用大型语言模型的AI市场研究平台，它可以帮助企业通过AI生成的合成样本来获取客户洞察，无需进行成本高昂的调查或访谈。该平台可以分析现有数据，合成新的洞见，并评估现有内容，以从目标受众的角度获取反馈。OpinioAI旨在帮助公司以更快、更简单、更经济的方式替代传统的数据收集和分析方法。

专为角色扮演优化的大型语言模型

Higgs-Llama-3-70B是一个基于Meta-Llama-3-70B的后训练模型，特别针对角色扮演进行了优化，同时在通用领域指令执行和推理方面保持竞争力。该模型通过监督式微调，结合人工标注者和私有大型语言模型构建偏好对，进行迭代偏好优化以对齐模型行为，使其更贴近系统消息。与其它指令型模型相比，Higgs模型更紧密地遵循其角色。

ComfyUI实现的Omost模型

ComfyUI_omost是一个基于ComfyUI框架实现的Omost模型，它允许用户与大型语言模型(LLM)进行交互，以获取类似JSON的结构化布局提示。该模型目前处于开发阶段，其节点结构可能会有变化。它通过LLM Chat和Region Condition两个部分，将JSON条件转换为ComfyUI的区域格式，用于图像生成和编辑。

为Windows、macOS和Ubuntu提供GPT计算机助手

gpt-computer-assistant是一个为Windows、macOS和Ubuntu操作系统设计的应用程序，旨在提供一个替代的ChatGPT应用。它允许用户通过Python库轻松安装，并计划提供原生安装脚本（.exe）。该产品由Upsonic Tiger支持，是一个为大型语言模型（LLM）代理提供功能中心的平台。产品的主要优点包括跨平台兼容性、易于安装和使用，以及未来将支持本地模型。

连接ModelScope模型与世界的代理框架

ModelScope-Agent是一个可定制且可扩展的代理框架，具备角色扮演、大型语言模型调用、工具使用、规划和记忆等能力。它简化了代理应用的实现过程，提供了丰富的模型和工具接口，统一的接口和高可扩展性，低耦合性，使得开发者可以轻松使用内置工具、LLM、记忆等组件，而无需绑定更高层次的代理。

一个集成了Django、Llamaindex和Google Drive的RAG应用框架。

Omakase RAG Orchestrator是一个旨在解决构建RAG应用时遇到的挑战的项目，它通过提供一个综合的Web应用程序和API来封装大型语言模型(LLMs)及其包装器。该项目整合了Django、Llamaindex和Google Drive，以提高应用的可用性、可扩展性和数据及用户访问管理。

基于人类长期记忆的新型RAG框架

HippoRAG是一个启发自人类长期记忆的新型检索增强生成(RAG)框架，它使得大型语言模型(LLMs)能够持续地整合跨外部文档的知识。该框架通过实验表明，HippoRAG能够以更低的计算成本提供通常需要昂贵且高延迟迭代LLM流水线的RAG系统能力。

首个全面评估多模态大型语言模型在视频分析中的性能基准。

Video-MME是一个专注于多模态大型语言模型（MLLMs）在视频分析领域性能评估的基准测试。它填补了现有评估方法中对MLLMs处理连续视觉数据能力的空白，为研究者提供了一个高质量和全面的评估平台。该基准测试覆盖了不同长度的视频，并针对MLLMs的核心能力进行了评估。

强大的结构化文本生成工具

Outlines是一个用于生成结构化文本的开源库，它支持多种模型集成，如OpenAI、transformers等，并提供了基于Jinja模板引擎的简单而强大的提示原语。它通过多种方式控制语言模型的生成，使输出更加可预测，从而提高模型效率并减少所需的示例数量。Outlines是提高包含大型语言模型的系统可靠性的第一步，通过确保模型输出与用户定义的代码之间有明确定义的接口。

将大型语言模型的编码能力转换为图像生成能力。

Omost是一个旨在将大型语言模型(LLM)的编码能力转化为图像生成（更准确地说是图像组合）能力的项目。它提供了基于Llama3和Phi3变体的预训练LLM模型，这些模型能够编写代码以使用Omost的虚拟Canvas代理来组合图像视觉内容。Canvas可以由特定的图像生成器实现来实际生成图像。Omost项目背后的技术包括Direct Preference Optimization (DPO)和OpenAI GPT4o的多模态能力。

利用大型语言模型生成交互式图表

Interactive Graph by LLM 是一个基于大型语言模型(LLM)的网站，它允许用户通过自然语言提示生成交互式图表。这项技术的重要性在于它简化了数据可视化的过程，使得非技术用户也能够轻松创建和理解复杂的数据。产品背景信息包括其创新的交互方式和对数据可视化的贡献。目前产品处于免费试用阶段，定位于希望简化数据展示流程的企业和个人。

自然对话场景下的文字转语音模型

ChatTTS是一个为对话场景设计的声音生成模型，特别适用于大型语言模型助手的对话任务，以及对话式音频和视频介绍等应用。它支持中英文，通过使用约10万小时的中英文数据训练，展现出高质量和自然度的语音合成能力。

无需编码即可从任何网站提取数据。

No-Code Scraper是一个无需编码即可从任何网站提取数据的工具。它利用大型语言模型简化数据提取过程，使每个人都能轻松使用。该平台能够适应任何网站的变化，提供最简单和最快的网络抓取体验。

AI助力的快速洞察和全面研究助手

GPT Researcher是一个领先的自主研究代理，专为多代理框架设计，提供实时、准确和事实性的结果。它能够简化数据收集，通过一个函数调用提供可信赖、聚合和策划的结果。它支持超过100种不同的大型语言模型(LLMs)，并且可以与任何搜索引擎协作，从Google到DuckDuckGo。用户可以轻松搜索本地文档和文件，并生成超过2000字的长篇报告，支持多种格式的导出，如PDF、Word、Markdown、JSON和CSV。

一款支持80+编程语言的AI代码生成模型

Codestral-22B-v0.1是由Mistral AI Team开发的大型语言模型，它经过了80多种编程语言的训练，包括Python、Java、C、C++、JavaScript和Bash等。该模型能够根据指令生成代码，或对代码片段进行解释、重构等。它还支持Fill in the Middle (FIM)功能，用于预测代码中的中间部分，特别适合软件开发工具的插件使用，如VS Code。该模型目前没有内容审查机制，但开发团队正在寻求社区合作，以实现在需要内容审查的环境中部署。

安全数据湖，为生成式AI开发提供数据

Tonic Textual 是全球首个为大型语言模型（LLMs）设计的Secure Data Lakehouse。它通过自动化流程，帮助企业从云存储中提取、治理、丰富和部署非结构化数据，以支持生成式AI的发展。该产品强调数据隐私保护，利用其专有的命名实体识别（NER）模型自动检测和去标识化敏感信息，同时通过数据合成保持数据的语义真实性。它支持多种数据格式，并通过AWS Marketplace、Google Cloud Marketplace和Snowflake Marketplace提供服务。

开放的大型语言模型排行榜

Open LLM Leaderboard是一个由Hugging Face提供的空间，旨在展示和比较各种大型语言模型的性能。它为开发者、研究人员和企业提供了一个平台，可以查看不同模型在特定任务上的表现，从而帮助用户选择最适合自己需求的模型。

大型语言模型排行榜，实时评估模型性能。

OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。它使用多个闭源数据集进行多维度评估，为模型提供整体平均分和专业技能分数。该平台通过实时更新排行榜，帮助开发者和研究人员了解不同模型在语言、知识、推理、数学和编程等方面的性能表现。