产品库

分析Transformer语言模型的内部工作机制

LLM Transparency Tool（LLM-TT）是一个开源的交互式工具包，用于分析基于Transformer的语言模型的内部工作机制。它允许用户选择模型、添加提示并运行推理，通过可视化的方式展示模型的注意力流动和信息传递路径。该工具旨在提高模型的透明度，帮助研究人员和开发者更好地理解和改进语言模型。

强大的多模态LLM，商业解决方案

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。

领先的代码生成大语言模型

CodeGemma是谷歌公司推出的先进大语言模型，专注于生成代码、理解和追踪指令，旨在为全球开发人员提供高质量的代码辅助工具。包括20亿参数的基础模型，70亿参数的基础模型和用于指导追踪的70亿参数模型，针对代码开发场景进行优化和微调。在各种编程语言中表现卓越，具有超凡的逻辑和数学推理能力。

支持同时理解和生成图像的多模态大型语言模型

Mini-Gemini是一个多模态视觉语言模型,支持从2B到34B的系列密集和MoE大型语言模型,同时具备图像理解、推理和生成能力。它基于LLaVA构建,利用双视觉编码器提供低分辨率视觉嵌入和高分辨率候选区域,采用补丁信息挖掘在高分辨率区域和低分辨率视觉查询之间进行补丁级挖掘,将文本与图像融合用于理解和生成任务。支持包括COCO、GQA、OCR-VQA、VisualGenome等多个视觉理解基准测试。

基于大语言模型的问答系统,可回答各种问题

Search4All是一个基于大语言模型的问答系统。它可以回答各种问题,包括事实性问题、解释性问题、分析问题等。该系统使用先进的自然语言处理技术,能够深入理解问题的含义并给出准确的答复。它具有广泛的知识储备,涵盖了历史、地理、科学、艺术、体育等多个领域。同时,它还具备一定的推理和分析能力,可以对复杂问题进行逻辑分析和建议性回答。使用Search4All可以帮助用户快速获取所需信息,提高工作效率。

Grok-1.5带有改进的推理能力和128,000个标记的上下文长度。

Grok-1.5是一种先进的大型语言模型,具有出色的长文本理解和推理能力。它可以处理高达128,000个标记的长上下文,远超以前模型的能力。在数学和编码等任务中,Grok-1.5表现出色,在多个公认的基准测试中获得了极高的分数。该模型建立在强大的分布式训练框架之上,确保高效和可靠的训练过程。Grok-1.5旨在为用户提供强大的语言理解和生成能力,助力各种复杂的语言任务。

一个新的高效开源大型语言模型标准

DBRX是一个由Databricks的Mosaic研究团队构建的通用大型语言模型(LLM),在标准基准测试中表现优于所有现有开源模型。它采用Mixture-of-Experts (MoE)架构,使用362亿个参数,拥有出色的语言理解、编程、数学和逻辑推理能力。DBRX旨在推动高质量开源LLM的发展,并且便于企业根据自身数据对模型进行定制。Databricks为企业用户提供了交互式使用DBRX、利用其长上下文能力构建检索增强系统,并基于自身数据构建定制DBRX模型的能力。

下一代开源和双语大型语言模型

Yi-9B是01.AI研发的下一代开源双语大型语言模型系列之一。训练数据量达3T,展现出强大的语言理解、常识推理、阅读理解等能力。在代码、数学、常识推理和阅读理解等方面表现卓越,是同尺寸开源模型中的佼佼者。适用于个人、学术和商业用途。

东南亚地区定制的开放语言模型

Sailor是一套专为东南亚地区定制的开放语言模型，支持印尼语、泰语、越南语、马来语和老挝语等。这些模型通过精心的数据策划，旨在理解和生成东南亚地区多样化的语言文本。Sailor模型基于Qwen 1.5构建，包含从0.5B到7B不同大小的模型版本，以满足不同需求。在东南亚语言的任务中，如问答、常识推理、阅读理解等，Sailor展现出强大的性能。

Mistral Large是Mistral AI的旗舰模型，具有顶级推理能力。

Mistral Large是Mistral AI团队最新推出的旗舰语言模型，具有顶级推理能力。它可用于复杂的多语言推理任务，包括文本理解、转换和代码生成。该模型在常用基准测试中取得了强大的成绩，是继GPT-4之后全球第二大可通过API进行使用的模型。

给视觉语言模型赋予空间推理能力

SpatialVLM是一个由谷歌DeepMind开发的视觉语言模型,能够对空间关系进行理解和推理。它通过大规模合成数据的训练,获得了像人类一样直观地进行定量空间推理的能力。这不仅提高了其在空间VQA任务上的表现,还为链式空间推理和机器人控制等下游任务打开了新的可能。

人类启发式阅读代理,具有非常长上下文的要点记忆

ReadAgent是一个简单的提示系统,它利用大型语言模型(LLM)的先进语言能力来决定将哪些内容存储在记忆集中,将这些记忆集压缩成称为要点记忆的短篇回忆,并在ReadAgent需要提醒自己相关细节以完成任务时,采取行动查阅原始文本。ReadAgent可以通过使用要点记忆来捕获全局上下文,并关注局部细节,从而有效地推理非常长的上下文,在需要一次处理的信息量方面具有高效性,这对理解也很重要。

通用型视觉语言模型

Qwen-VL 是阿里云推出的通用型视觉语言模型,具有强大的视觉理解和多模态推理能力。它支持零样本图像描述、视觉问答、文本理解、图像地标定位等任务,在多个视觉基准测试中达到或超过当前最优水平。该模型采用 Transformer 结构,以 7B 参数规模进行预训练,支持 448x448 分辨率,可以端到端处理图像与文本的多模态输入与输出。Qwen-VL 的优势包括通用性强、支持多语种、细粒度理解等。它可以广泛应用于图像理解、视觉问答、图像标注、图文生成等任务。

多语言预训练语言模型

「书生·浦语2.0」InternLM2是一个面向中文和英文的大型多语言预训练语言模型。它具有语言理解、自然语言生成、多模式推理、代码理解等强大的能力。模型采用Transformer架构并进行海量数据的预训练,在长文本理解、对话、数学运算等多个方向上都达到了业界领先水平。该系列模型包含多种规模,用户可以选择合适的模型进行下游任务微调或构建聊天机器人等应用。

语言模型隐藏表示检查统一框架

Patchscope是一个用于检查大型语言模型（LLM）隐藏表示的统一框架。它能解释模型行为，验证其与人类价值观的一致性。通过利用模型本身生成人类可理解的文本，我们提出利用模型本身来解释其自然语言内部表示。我们展示了Patchscopes框架如何用于回答关于LLM计算的广泛研究问题。我们发现，基于将表示投影到词汇空间和干预LLM计算的先前可解释性方法，可以被视为此框架的特殊实例。此外，Patchscope还开辟了新的可能性，例如使用更强大的模型来解释较小模型的表示，并解锁了自我纠正等新应用，如多跳推理。

表格理解中的推理链表

Chain-of-Table是一种表格理解的推理链表框架，专门用于处理基于表格的问答和事实验证等任务。它采用了表格数据作为推理链的一部分，通过在上下文中学习的方式指导大型语言模型进行操作生成和表格更新，从而形成一个连续的推理链，展示了给定表格问题的推理过程。这种推理链包含了中间结果的结构化信息，能够实现更准确可靠的预测。Chain-of-Table在WikiTQ、FeTaQA和TabFact等多个基准测试中取得了新的最先进性能。

3D世界中的全能代理人

LEO是一个基于大型语言模型的多模态、多任务全能代理人，能够在3D世界中感知、定位、推理、规划和执行任务。LEO通过两个阶段的训练实现：（i）3D视觉语言对齐和（ii）3D视觉语言动作指令调整。我们精心策划和生成了一个包含物体级和场景级多模态任务的大规模数据集，需要对3D世界进行深入的理解和交互。通过严格的实验，我们展示了LEO在3D字幕、问答、推理、导航和机器人操作等广泛任务中的出色表现。

小型语言模型用于推理和理解任务

Orca 2 是一个用于研究目的的助手，通过提供单轮响应来帮助推理和理解任务，如数据推理、阅读理解、数学问题解决和文本摘要。该模型特别擅长推理。我们公开发布 Orca 2，以促进在开发、评估和对齐更小的语言模型方面的进一步研究。

SALMONN: 语音音频语言音乐开放神经网络

SALMONN是由清华大学电子工程系和字节跳动开发的大型语言模型（LLM），支持语音、音频事件和音乐输入。与仅支持语音或音频事件输入的模型不同，SALMONN可以感知和理解各种音频输入，从而获得多语言语音识别和翻译以及音频-语音共推理等新兴能力。这可以被视为给予LLM“听觉”和认知听觉能力，使SALMONN成为通向具有听觉能力的人工通用智能的一步。

构建定制的大型语言模型（LLM）以增强聊天机器人的能力。

ChatRTX 是 NVIDIA 提供的一个用于构建定制大型语言模型（LLM）的平台，旨在提升聊天机器人的智能水平和交互能力。它利用先进的 AI 技术，通过理解自然语言处理（NLP）来提供更加人性化的对话体验。ChatRTX 的主要优点包括高度的可定制性、强大的语言理解能力和高效的交互设计，适合需要高级对话系统的各种商业应用。

一款专为生物医学领域设计的开源大型语言模型

OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型，并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。

先进的开源生物医学大型语言模型，专为医疗领域设计。

OpenBioLLM-70B是由Saama AI Labs开发的先进开源语言模型，专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调，能够理解和生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中展示了超越其他类似规模开源生物医学语言模型的优越性能，并且在与更大的专有和开源模型如GPT-4、Gemini、Medtron-70B、Med-PaLM-1和Med-PaLM-2的比较中也展现了更好的结果。

开源的基于深度文档理解的RAG（检索增强生成）引擎

RAGFlow是一个开源的RAG（Retrieval-Augmented Generation）引擎，基于深度文档理解，提供流线型的RAG工作流程，适用于各种规模的企业。它结合了大型语言模型（LLM）提供真实的问答能力，支持从各种复杂格式数据中引用确凿的引文。

结合文本提取、网络分析和大型语言模型提示与总结的端到端系统

GraphRAG (Graphs + Retrieval Augmented Generation) 是一种通过结合文本提取、网络分析以及大型语言模型（LLM）的提示和总结，来丰富理解文本数据集的技术。该技术即将在GitHub上开源，是微软研究项目的一部分，旨在通过先进的算法提升文本数据的处理和分析能力。

深度学习算法与大模型面试指南，持续更新的面试题目集合。

DeepLearing-Interview-Awesome-2024 是一个开源的面试题目集合项目，专注于深度学习算法和大模型领域的面试准备。该项目由社区成员共同维护，旨在提供最新的面试题目和答案解析，帮助求职者和研究人员深入理解深度学习领域的前沿技术和应用。它包含了丰富的面试题目，覆盖了大语言模型、视觉模型、通用问题等多个方面，是准备深度学习相关职位的宝贵资源。

探索不同的文本生成模型，通过草拟消息和微调响应来提升体验。

Workers AI LLM Playground是一个在线平台，允许用户通过草拟消息和微调响应来探索不同的文本生成模型。该平台由先进的人工智能技术驱动，旨在为开发者和研究人员提供一个实验和学习的环境，以更好地理解和利用大型语言模型（LLM）的能力。

用于构建理解和模拟人类语音表情的声控人工智能接口。

Hume AI的同理心语音接口(EVI)是一种由同理心大型语言模型(eLLM)驱动的API,可以理解和模拟语音音调、词语重音等,从而优化人机交互。它基于10多年的研究成果、数百万专利数据点和30多篇发表在顶尖期刊的论文。EVI旨在为任何应用程序提供更自然、富有同情心的语音界面,让人与AI的互动更加人性化。该技术可广泛应用于销售/会议分析、健康与保健、AI研究服务、社交网络等领域。

基于7B参数的强大对话智能语言模型

360Zhinao是由奇虎360开源的一系列7B规模的智能语言模型,包括基础模型和三个不同长度上下文的对话模型。这些模型经过大规模中英文语料预训练,在自然语言理解、知识、数学、代码生成等多种任务上表现出色,并具有强大的长文本对话能力。模型可用于各种对话式应用的开发和部署。

面向长期视频理解的大规模多模态模型

MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

文档理解的模块化多模态大语言模型

mPLUG-DocOwl 是一款用于文档理解的模块化多模态大语言模型，能够处理 OCR-free 文档理解任务。该模型具有出色的性能表现，支持文档视觉问答、信息问答、图表问答等多种任务。用户可以通过模型提供的在线演示来体验其强大功能。