产品库

多粒度视觉指令调优的创新MLLM

MG-LLaVA是一个增强模型视觉处理能力的机器学习语言模型（MLLM），通过整合多粒度视觉流程，包括低分辨率、高分辨率和以对象为中心的特征。提出了一个额外的高分辨率视觉编码器来捕捉细节，并通过Conv-Gate融合网络与基础视觉特征融合。此外，通过离线检测器识别的边界框整合对象级特征，以进一步细化模型的对象识别能力。MG-LLaVA仅在公开可用的多模态数据上通过指令调优进行训练，展现出卓越的感知技能。

多模态智能代理框架，解决复杂任务

OmAgent是一个复杂的多模态智能代理系统，致力于利用多模态大型语言模型和其他多模态算法来完成引人入胜的任务。该项目包括一个轻量级的智能代理框架omagent_core，精心设计以应对多模态挑战。OmAgent由三个核心组件构成：Video2RAG、DnCLoop和Rewinder Tool，分别负责长视频理解、复杂问题分解和信息回溯。

探索大型语言和视觉语言模型的漏洞与防护

JailbreakZoo是一个专注于破解大型模型（包括大型语言模型和视觉语言模型）的资源库。该项目旨在探索这些高级AI模型的漏洞、利用方法和防御机制，目的是促进对大规模AI系统安全方面的更深入理解和认识。

定制化大型语言模型的专业微调工具

Expert Specialized Fine-Tuning (ESFT) 是一种针对具有专家混合(MoE)架构的大型语言模型(LLMs)的高效定制化微调方法。它通过仅调整与任务相关的部分来优化模型性能，提高效率，同时减少资源和存储的使用。

7B参数的文本图像理解与合成模型

InternLM-XComposer2.5是一款专注于文本图像理解与合成应用的大型语言模型，具有7B参数的后端支持，能够处理长达96K的长文本上下文，适合需要广泛输入输出的复杂任务。

基于大型语言模型的智能代理研究

xLAM是一个由Salesforce AI Research团队开发的基于大型语言模型(Large Language Models, LLMs)的智能代理研究项目。它通过聚合来自不同环境的智能代理轨迹，标准化并统一这些轨迹到一致的格式，以创建一个优化的通用数据加载器，专门用于智能代理的训练。xLAM-v0.1-r是此模型系列的0.1版本，专为研究目的设计，与VLLM和FastChat平台兼容。

一款多功能大型视觉语言模型

InternLM-XComposer-2.5是一款支持长上下文输入和输出的多功能大型视觉语言模型。它在各种文本图像理解和创作应用中表现出色，实现了与GPT-4V相当的水平，但仅使用了7B的LLM后端。该模型通过24K交错图像文本上下文进行训练，能够无缝扩展到96K长上下文，通过RoPE外推。这种长上下文能力使其在需要广泛输入和输出上下文的任务中表现突出。此外，它还支持超高分辨率理解、细粒度视频理解、多轮多图像对话、网页制作以及撰写高质量图文文章等功能。

大型语言模型，高效文本生成。

InternLM2.5-7B-Chat GGUF是一个大型语言模型，专为文本生成而设计。它基于开源框架llama.cpp，支持多种硬件平台的本地和云推理。该模型具有7.74亿参数，采用先进的架构设计，能够提供高质量的文本生成服务。

集成自动化生成AI，无需AI专业知识或数据迁移。

Oracle HeatWave GenAI提供了集成和自动化的生成AI技术，它结合了数据库内大型语言模型(LLMs)、自动化的数据库内向量存储、扩展向量处理以及自然语言上下文对话的能力，使用户能够利用生成AI而无需AI专业知识或数据迁移。

快速易用的LLM推理和服务平台

vLLM是一个为大型语言模型(LLM)推理和提供服务的快速、易用且高效的库。它通过使用最新的服务吞吐量技术、高效的内存管理、连续批处理请求、CUDA/HIP图快速模型执行、量化技术、优化的CUDA内核等，提供了高性能的推理服务。vLLM支持与流行的HuggingFace模型无缝集成，支持多种解码算法，包括并行采样、束搜索等，支持张量并行性，适用于分布式推理，支持流式输出，并兼容OpenAI API服务器。此外，vLLM还支持NVIDIA和AMD GPU，以及实验性的前缀缓存和多lora支持。

掌握RAG技术，提升AI生成内容的准确性和相关性。

Retrieval-Augmented Generation (RAG) 是一种前沿技术，通过整合外部知识源来增强生成模型的能力，提高生成内容的质量和可靠性。LangChain是一个强大的框架，专为构建和部署稳健的语言模型应用而设计。本教程系列将提供全面的、分步骤的指南，帮助您使用LangChain实现RAG，从基础RAG流程的介绍开始，逐步深入到查询转换、文档嵌入、路由机制、查询构建、索引策略、检索技术以及生成阶段，最终将所有概念整合到一个实际场景中，展示RAG的强大和灵活性。

AI驱动的多语言翻译服务

Spoken AI是一个独立的在线服务，致力于通过先进的机器学习语言模型，提供超越传统逐字翻译的更准确、更流畅的机器翻译服务。作为全球首家大规模方言翻译器，我们的平台能够准确翻译超过300种语言和方言，这使我们与其他翻译服务区别开来。

轻量级、先进的文本生成模型

Gemma是由Google开发的一系列轻量级、先进的开放模型，基于与Gemini模型相同的研究和技术构建。它们是文本到文本的解码器仅大型语言模型，适用于多种文本生成任务，如问答、摘要和推理。Gemma模型的相对较小的尺寸使其能够在资源有限的环境中部署，如笔记本电脑、桌面或您自己的云基础设施，使每个人都能接触到最先进的AI模型，并促进创新。

轻量级、先进的文本生成模型

Gemma-2-9b-it是由Google开发的一系列轻量级、最先进的开放模型，基于与Gemini模型相同的研究和技术构建而成。这些模型是文本到文本的解码器仅大型语言模型，以英文提供，适用于问答、摘要和推理等多样化文本生成任务。由于其相对较小的尺寸，可以在资源有限的环境中部署，如笔记本电脑、桌面或个人云基础设施，使先进的AI模型更加普及，促进创新。

高效紧凑的7B参数语言模型

Arcee Spark是一个7B参数的语言模型，它在紧凑的包体中提供高性能，证明小型模型也能与大型模型相媲美。它是7B-15B范围内得分最高的模型，并且在MT-Bench基准测试中超越了GPT 3.5和Claude 2.1等更大模型。它适用于实时应用、边缘计算场景、成本效益高的AI实施、快速原型设计和增强数据隐私的本地部署。

轻量级、先进的文本生成模型

Gemma 2是Google开发的一系列轻量级、先进的开放模型，基于与Gemini模型相同的研究和技术构建。它们是文本到文本的解码器仅大型语言模型，仅提供英文版本，具有开放的权重，适用于预训练变体和指令调整变体。Gemma模型非常适合各种文本生成任务，包括问答、摘要和推理。其相对较小的体积使其能够部署在资源有限的环境中，如笔记本电脑、桌面或您自己的云基础设施，使先进的AI模型的访问民主化，并帮助为每个人促进创新。

大规模合成数据集，助力个性化研究

Persona Hub 是腾讯AI实验室发布的一个大规模合成数据集，旨在促进以人物角色为驱动的数据合成研究。该数据集包含数百万不同人物角色的合成数据样本，可用于模拟真实世界用户的多样化输入，对大型语言模型（LLM）进行测试和研究。

多功能中文英文对话模型

Gemma-2-9B-Chinese-Chat是一款基于google/gemma-2-9b-it的指令调整型语言模型，专为中英文用户设计，具备角色扮演和工具使用等多种能力。该模型通过ORPO算法进行微调，显著提升了对中文问题的响应准确性，减少了中英文混合使用的问题，并在角色扮演、工具使用和数学计算方面表现出色。

先进的编译器优化大型语言模型

Meta Large Language Model Compiler (LLM Compiler-13b-ftd) 是一个基于Code Llama构建的先进大型语言模型，专注于编译器优化和代码推理。它在预测LLVM优化效果和汇编代码反编译方面展现出了卓越的性能，能够显著提高代码效率和减小代码体积。

先进的编译器优化大型语言模型

Meta Large Language Model Compiler (LLM Compiler-13b) 是基于Code Llama构建的，专注于代码优化和编译器推理的先进大型语言模型。它在编译器优化任务上展现出比现有公开可用的大型语言模型更强的理解能力，能够完美模拟编译器输出20%的时间。LLM Compiler提供了两种模型尺寸：7B和13B参数，针对不同的服务和延迟需求进行了训练。该模型是免费的，适用于研究和商业用途，旨在支持编译器研究人员和工程师，并激发创新工具的开发。

先进的编译器优化大型语言模型

LLM Compiler-7b-ftd是由Meta开发的大型语言模型，它基于Code Llama，针对代码优化和编译器推理进行了改进。它在预测LLVM优化效果方面表现卓越，能够完美模拟编译器输出，是编译器优化任务的理想工具。

先进的代码优化和编译器推理的大型语言模型。

LLM Compiler-7b是Meta开发的一款专注于代码优化和编译器推理的大型语言模型。它基于Code Llama模型，通过深度学习优化代码，支持编译器中间表示、汇编语言和优化的理解。此模型在减少代码大小和从汇编到编译器中间表示的反编译方面展现出卓越的性能，是编译器研究人员和工程师的有力工具。

快速生成问答数据，评估语言模型。

FiddleCube是一个专注于数据科学领域的产品，它能够快速地从用户的数据中生成问答对，帮助用户评估大型语言模型（LLMs）。它提供了准确的黄金数据集，支持多种问题类型，并能够通过度量标准来评估数据的准确性。此外，FiddleCube还提供了诊断工具，帮助用户找出并改进性能不佳的查询。

集成大型语言模型的SDK

Semantic Kernel是一个集成了大型语言模型（LLMs）如OpenAI、Azure OpenAI和Hugging Face的软件开发工具包（SDK），它允许开发者通过定义可串联的插件，在几行代码内实现与AI的交互。其特色在于能够自动编排AI插件，使用户能够通过LLM生成实现特定目标的计划，并由Semantic Kernel执行该计划。

实时语音AI代理，500毫秒内响应语音查询。

Real-time Voice AI Agent是一个高度灵活的实时语音交互模型，它能够在大约500毫秒内通过语音回答任何查询。该模型支持用户选择任何大型语言模型、文本到语音(TTS)模型和语音到文本(STT)模型。它非常适合用于客户服务机器人、接待员等涉及语音的应用场景。

使用GPT解析PDF为Markdown

gptpdf是一个利用大型视觉语言模型（如GPT-4o）将PDF文件解析为Markdown格式的工具。它通过PyMuPDF库识别非文本区域，并使用OpenAI API进行内容解析，几乎可以完美地处理排版、数学公式、表格、图片和图表等。平均成本为每页0.013美元，具有高效和低成本的特点。

RAG-based LLM agents的Elo排名工具

RAGElo是一个工具集，使用Elo评分系统帮助选择最佳的基于检索增强生成（RAG）的大型语言模型（LLM）代理。随着生成性LLM在生产中的原型设计和整合变得更加容易，评估仍然是解决方案中最具有挑战性的部分。RAGElo通过比较不同RAG管道和提示对多个问题的答案，计算不同设置的排名，提供了一个良好的概览，了解哪些设置有效，哪些无效。

AI驱动的演示平台，提供人性化交互体验。

DemoDazzle是一个利用OpenAI高级语言模型的AI驱动演示平台，旨在自动化各种产品和服务的演示和引导过程。该平台通过创建定制化的虚拟形象，提供实时的AI会话和问题解答，以提升用户体验和满意度。产品的主要优点包括智能化、个性化和高效率。DemoDazzle即将上线，目前处于测试模式。

利用知识图谱和文档网络增强语言模型性能

Knowledge Graph RAG 是一个开源的Python库，它通过创建知识图谱和文档网络来增强大型语言模型（LLM）的性能。这个库允许用户通过图谱结构来搜索和关联信息，从而为语言模型提供更丰富的上下文。它主要应用于自然语言处理领域，尤其是在文档检索和信息抽取任务中。

智能卖货主播大模型，提升销售效率，增强购物体验。

Streamer-Sales 销冠是一个基于大语言模型的智能卖货主播系统，它能够根据商品特点从激发用户购买意愿的角度出发进行商品解说。该模型在 InternLM2 的基础上通过指令微调而来，集成了 LMDeploy 加速推理，支持 ASR 语音生成文字，RAG 检索增强生成，Agent 网络查询等功能，并通过 TTS 技术生成带有感情的语音，最终生成主播数字人视频，为商品解说提供全方位的技术支持。