产品库

使大型语言模型在长文本问答中生成细粒度引用

LongCite是一个开源的模型，它通过训练大型语言模型（LLMs）来实现在长文本问答场景中生成准确的回答和精确的句级引用。该技术的重要性在于它能够提高问答系统的准确性和可信度，使用户能够验证输出信息的来源。LongCite支持高达128K的上下文长度，并且提供了两个模型：LongCite-glm4-9b和LongCite-llama3.1-8b，分别基于GLM-4-9B和Meta-Llama-3.1-8B进行训练。

长文本问答增强型检索生成模型

LongRAG是一个基于大型语言模型（LLM）的双视角、鲁棒的检索增强型生成系统范式，旨在增强对复杂长文本知识的理解和检索能力。该模型特别适用于长文本问答（LCQA），能够处理全局信息和事实细节。产品背景信息显示，LongRAG通过结合检索和生成技术，提升了对长文本问答任务的性能，特别是在需要多跳推理的场景中。该模型是开源的，可以免费使用，主要面向研究者和开发者。

大型语言模型，高效文本生成。

InternLM2.5-7B-Chat GGUF是一个大型语言模型，专为文本生成而设计。它基于开源框架llama.cpp，支持多种硬件平台的本地和云推理。该模型具有7.74亿参数，采用先进的架构设计，能够提供高质量的文本生成服务。

多语言大型语言模型，支持多领域文本生成。

XVERSE-MoE-A36B是由深圳元象科技自主研发的多语言大型语言模型，采用混合专家模型（MoE）架构，具有2554亿的总参数规模和360亿的激活参数量。该模型支持包括中、英、俄、西等40多种语言，特别在中英双语上表现优异。模型使用8K长度的训练样本，并通过精细化的数据采样比例和动态数据切换策略，保证了模型的高质量和多样性。此外，模型还针对MoE架构进行了定制优化，提升了计算效率和整体吞吐量。

一种用于测试长文本语言模型的合理性的评估基准

RULER 是一种新的合成基准，为长文本语言模型提供了更全面的评估。它扩展了普通检索测试，涵盖了不同类型和数量的信息点。此外，RULER 引入了新的任务类别，如多跳跟踪和聚合，以测试超出检索从上下文中的行为。在 RULER 上评估了 10 个长文本语言模型，并在 13 个代表性任务中获得了表现。尽管这些模型在普通检索测试中取得了几乎完美的准确性，但在上下文长度增加时，它们表现得非常差。只有四个模型（GPT-4、Command-R、Yi-34B 和 Mixtral）在长度为 32K 时表现得相当不错。我们公开源 RULER，以促进对长文本语言模型的全面评估。

处理长文本的大型语言模型

LongLLaMA 是一个大型语言模型，能够处理长篇文本。它基于 OpenLLaMA，并使用 Focused Transformer (FoT) 方法进行了微调。它能够处理长达 256k 标记甚至更多的文本。我们提供了一个较小的 3B 基础模型（未经过指令调整），并在 Hugging Face 上提供了支持更长上下文的推断代码。我们的模型权重可以作为现有实现中 LLaMA 的替代品（适用于最多 2048 个标记的短上下文）。此外，我们还提供了评估结果和与原始 OpenLLaMA 模型的比较。

多语言大型语言模型，优化对话和文本生成。

Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型（LLMs），包含8B、70B和405B三种大小的模型，专门针对多语言对话使用案例进行了优化，并在行业基准测试中表现优异。该模型使用优化的transformer架构，并通过监督式微调（SFT）和人类反馈的强化学习（RLHF）进一步与人类偏好对齐，以确保其有用性和安全性。

大型视频-语言模型，提供视觉问答和视频字幕生成。

VideoLLaMA2-7B是由DAMO-NLP-SG团队开发的多模态大型语言模型，专注于视频内容的理解和生成。该模型在视觉问答和视频字幕生成方面具有显著的性能，能够处理复杂的视频内容，并生成准确、自然的语言描述。它在空间-时间建模和音频理解方面进行了优化，为视频内容的智能分析和处理提供了强大的支持。

70亿参数的大型多语言文本生成模型

Meta Llama 3.1是Meta公司推出的大型语言模型，拥有70亿个参数，支持8种语言的文本生成。该模型采用优化的Transformer架构，并通过监督式微调和人类反馈强化学习进一步优化，以符合人类对帮助性和安全性的偏好。模型在多语言对话使用案例中表现优异，超越了许多现有的开源和封闭聊天模型。

专注长文本、多语言、垂直化

达观 “曹植” 大模型是专注于长文本、多语言、垂直化发展的国产大语言模型。具有自动化写作、翻译、专业性报告写作能力，支持多语言应用和垂直行业定制。可提供高质量文案撰写服务，广泛适用于各行业，是解决企业实际问题的智能工具。

一款由Gradient AI团队开发的高性能语言模型，支持长文本生成和对话。

Llama-3 70B Instruct Gradient 1048k是一款由Gradient AI团队开发的先进语言模型，它通过扩展上下文长度至超过1048K，展示了SOTA（State of the Art）语言模型在经过适当调整后能够学习处理长文本的能力。该模型使用了NTK-aware插值和RingAttention技术，以及EasyContext Blockwise RingAttention库，以高效地在高性能计算集群上进行训练。它在商业和研究用途中具有广泛的应用潜力，尤其是在需要长文本处理和生成的场景中。

释放长文本生成能力的LLM模型

LongWriter是由清华大学团队开发的长文本生成模型，它基于大规模语言模型（LLMs），能够生成超过10,000字的文本内容。该模型特别适用于需要生成长篇连贯文本的场景，如写作辅助、内容创作等。LongWriter通过精细调整和优化，提高了生成文本的质量和一致性，同时保持了模型的高效性和可扩展性。

先进的医疗领域大型语言模型

HuatuoGPT-o1-8B 是一个专为高级医疗推理设计的医疗领域大型语言模型（LLM）。它在提供最终响应之前会生成一个复杂的思考过程，反映并完善其推理过程。该模型基于LLaMA-3.1-8B构建，支持英文，并且采用'thinks-before-it-answers'的方法，输出格式包括推理过程和最终响应。此模型在医疗领域具有重要意义，因为它能够处理复杂的医疗问题并提供深思熟虑的答案，这对于提高医疗决策的质量和效率至关重要。

业界首个llama3中文指令微调模型，支持长文本输入，实现高质量中文问答。

Unichat-llama3-Chinese是中国联通AI创新中心发布的业界首个基于Meta Llama 3模型的中文指令微调模型。该模型通过增加中文数据进行训练，实现了高质量的中文问答功能，支持长达28K的上下文输入，并计划发布支持长度64K的版本。模型的微调指令数据经过人工筛查，确保了数据的高质量。此外，该模型还计划陆续发布700亿参数的中文微调版本，包括长文本版本和加入中文二次预训练的版本。

一款经过优化的大型语言模型，擅长文本生成和对话。

OLMo-2-1124-13B-Instruct是由Allen AI研究所开发的一款大型语言模型，专注于文本生成和对话任务。该模型在多个任务上表现出色，包括数学问题解答、科学问题解答等。它是基于13B参数的版本，经过在特定数据集上的监督微调和强化学习训练，以提高其性能和安全性。作为一个开源模型，它允许研究人员和开发者探索和改进语言模型的科学。

基于大型语言模型的文本生成工具

TextSynth是一个基于大型语言模型的文本生成工具。它使用Falcon 7B和Llama2 7B等先进的语言模型，可以帮助用户完成文本的自动补全和生成。无论是写作、聊天还是翻译，TextSynth都能提供准确、流畅的文本输出。它支持多种语言和领域，具有强大的功能和灵活的参数设置。TextSynth是提高生产力和创造力的理想工具。

高效开源的大型语言模型

OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型（LLM），于2024年9月发布。该模型在成本相似的模型中表现卓越，与更大的模型如Llama2-13B竞争。OLMoE完全开源，支持多种功能，包括文本生成、模型训练和部署等。

70亿参数的多语言大型语言模型

Llama-3.3-70B-Instruct是由Meta开发的一个70亿参数的大型语言模型，专门针对多语言对话场景进行了优化。该模型使用优化的Transformer架构，并通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)来提高其有用性和安全性。它支持多种语言，并能够处理文本生成任务，是自然语言处理领域的一项重要技术。

大型语言模型，支持多语言和编程语言文本生成。

Nemotron-4-340B-Base是由NVIDIA开发的大型语言模型，拥有3400亿参数，支持4096个token的上下文长度，适用于生成合成数据，帮助研究人员和开发者构建自己的大型语言模型。模型经过9万亿token的预训练，涵盖50多种自然语言和40多种编程语言。NVIDIA开放模型许可允许商业使用和派生模型的创建与分发，不声明对使用模型或派生模型生成的任何输出拥有所有权。

多模态语音大型语言模型

fixie-ai/ultravox-v0_4_1-llama-3_1-70b是一个基于预训练的Llama3.1-70B-Instruct和whisper-large-v3-turbo的大型语言模型，能够处理语音和文本输入，生成文本输出。该模型通过特殊伪标记<|audio|>将输入音频转换为嵌入，并与文本提示合并后生成输出文本。Ultravox的开发旨在扩展语音识别和文本生成的应用场景，如语音代理、语音到语音翻译和口语音频分析等。该模型遵循MIT许可，由Fixie.ai开发。

多模态大型语言模型，支持图像与文本的交互理解。

InternVL2_5-8B是由OpenGVLab开发的一款多模态大型语言模型（MLLM），它在InternVL 2.0的基础上进行了显著的训练和测试策略增强，以及数据质量提升。该模型采用'ViT-MLP-LLM'架构，集成了新增量预训练的InternViT与多种预训练语言模型，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP projector。InternVL 2.5系列模型在多模态任务上展现出卓越的性能，包括图像和视频理解、多语言理解等。

高效处理长文本的先进语言模型

Qwen2.5-Turbo是阿里巴巴开发团队推出的一款能够处理超长文本的语言模型，它在Qwen2.5的基础上进行了优化，支持长达1M个token的上下文，相当于约100万英文单词或150万中文字符。该模型在1M-token Passkey Retrieval任务中实现了100%的准确率，并在RULER长文本评估基准测试中得分93.1，超越了GPT-4和GLM4-9B-1M。Qwen2.5-Turbo不仅在长文本处理上表现出色，还保持了短文本处理的高性能，且成本效益高，每1M个token的处理成本仅为0.3元。

基于特定模型的量化大型语言模型，适用于自然语言处理等任务。

该模型是量化版大型语言模型，采用4位量化技术，降低存储与计算需求，适用于自然语言处理，参数量8.03B，免费且可用于非商业用途，适合资源受限环境下高性能语言应用需求者。

12B参数的大型语言模型

Mistral-Nemo-Base-2407是由Mistral AI和NVIDIA联合训练的12B参数大型预训练生成文本模型。该模型在多语言和代码数据上进行了训练，显著优于相同或更小规模的现有模型。其主要特点包括：Apache 2.0许可证发布，支持预训练和指令版本，128k上下文窗口训练，支持多种语言和代码数据，是Mistral 7B的替代品。模型架构包括40层、5120维、128头维、14364隐藏维、32头数、8个kv头（GQA）、词汇量约128k、旋转嵌入（theta=1M）。该模型在多个基准测试中表现出色，如HellaSwag、Winogrande、OpenBookQA等。

视频理解与推理的免训练大型语言模型。

SlowFast-LLaVA是一个无需训练的多模态大型语言模型，专为视频理解和推理设计。它无需在任何数据上进行微调，就能在多种视频问答任务和基准测试中达到与最先进视频大型语言模型相当甚至更好的性能。

多模态大型语言模型，支持图像和文本理解

InternVL 2.5是一系列先进的多模态大型语言模型(MLLM)，它在InternVL 2.0的基础上，通过引入显著的训练和测试策略增强以及数据质量提升，保持了其核心模型架构。该模型集成了新增量预训练的InternViT与各种预训练的大型语言模型(LLMs)，如InternLM 2.5和Qwen 2.5，使用随机初始化的MLP投影器。InternVL 2.5支持多图像和视频数据，通过动态高分辨率训练方法，增强了模型处理多模态数据的能力。

一种大型语言模型，具有扩展词汇量。

Mistral-7B-v0.3是由Mistral AI团队开发的大型语言模型(Large Language Model, LLM)，它是Mistral-7B-v0.2的升级版，具有扩展到32768的词汇量。该模型支持文本生成，适合于需要文本生成能力的应用场景。目前，该模型没有内容审核机制，团队正在寻求社区合作，以实现更精细的内容审核，满足需要内容审核的部署环境。

使用大型语言模型改进文本嵌入

E5-mistral-7b-instruct 是一个具有 32 层和 4096 个嵌入大小的文本嵌入模型。它可以用于编码查询和文档，以生成语义向量表示。该模型使用自然语言任务描述指导文本嵌入过程，可以根据不同的任务进行定制。该模型在 MS-MARCO passage ranking 数据集上进行了训练，可用于信息检索、问答等自然语言处理任务。

谷歌开源的大型语言模型,能够生成高质量的文本内容

RecurrentGemma是谷歌开发的一系列开放语言模型,采用创新的循环架构设计,在文本生成任务上性能优异,包括问答、摘要和推理等。与Gemma模型相比,RecurrentGemma所需的内存更少,生成长序列的推理速度更快。该模型提供了预训练和针对指令的微调版本,可广泛应用于内容创作、对话AI等场景。

多模态大型语言模型，支持图像和文本处理。

Llama-3.2-11B-Vision 是 Meta 发布的一款多模态大型语言模型（LLMs），它结合了图像和文本处理的能力，旨在提高视觉识别、图像推理、图像描述和回答有关图像的一般问题的性能。该模型在常见的行业基准测试中的表现超过了众多开源和封闭的多模态模型。