产品库

Flash-Decoding for long-context inference

Flash-Decoding是一种针对长上下文推理的技术，可以显著加速推理中的注意力机制，从而使生成速度提高8倍。该技术通过并行加载键和值，然后分别重新缩放和组合结果来维护正确的注意力输出，从而实现了更快的推理速度。Flash-Decoding适用于大型语言模型，可以处理长文档、长对话或整个代码库等长上下文。Flash-Decoding已经在FlashAttention包和xFormers中提供，可以自动选择Flash-Decoding或FlashAttention方法，也可以使用高效的Triton内核。

开源工具包，用于大型语言模型水印技术的研究和应用。

MarkLLM是一个开源工具包，旨在促进大型语言模型(Large Language Models, LLM)中水印技术的研究和应用。随着LLM的广泛使用，确保机器生成文本的真实性和来源变得至关重要。MarkLLM通过提供一个统一的、可扩展的平台，简化了水印技术的访问、理解和评估。它支持多种水印算法，包括KGW家族和EXP家族的算法，并提供了可视化工具和评估模块，帮助研究人员和开发者评估水印技术的可检测性、稳健性和对文本质量的影响。

提升英语词汇量，实现渐进式和可持续的词汇增长

混阅是一个利用先进的LLM技术，将中文网页文章转换为中英混合文章的阅读工具。它强调在真实语境中理解和运用单词，帮助用户在阅读中文的同时，提升英语词汇量，实现渐进式和可持续的词汇增长。混阅的设计灵感来源于大语言模型的工作原理，保留了充足的中文上下文，使用户能够在阅读时轻松预测和理解英文单词的含义。

一站式构建、部署和测试提示语的工具。

BasicPrompt是一个可以帮助您构建、部署和测试通用提示语的工具。它提供了一个编辑器，您可以使用其中的U块来编写通用的提示语。BasicPrompt会自动优化您的提示语以适应不同的语言模型。您可以通过内置的测试工具来评估提示语在不同模型上的性能。BasicPrompt还支持一键部署提示语到应用程序中，无需编码。通过BasicPrompt，您可以快速构建、部署和共享提示语，让团队成员轻松贡献。

比较不同大型语言模型的输出

LLM Comparator是一个在线工具，用于比较不同大型语言模型（LLMs）的输出。它允许用户输入问题或提示，然后由多个模型生成回答。通过比较这些回答，用户可以了解不同模型在理解、生成文本和遵循指令方面的能力。该工具对于研究人员、开发者和任何对人工智能语言模型有兴趣的人来说都非常重要。

让人工智能成为孩子的私人家教。

小窗 ® 对话式 AI 问答机是一款基于大语言模型（LLM）的人工智能技术产品，主要面向孩子群体，帮助他们在学习和生活中获取知识，提升独立思考、提问和语言表达能力。该产品的优点包括博学多知的超级博士、随时交谈的外语陪练、无穷创意的写作助手、善解人意的倾诉对象等。该产品定位为面向家庭和教育场景的 AI 助手，为孩子提供全方位的知识获取和交流互动。

为GPT/GLM等LLM大语言模型提供实用化交互接口

GPT Academic是一个针对GPT、GLM等大型语言模型（LLM）的实用化交互接口，特别优化了论文阅读、润色和写作体验。它采用模块化设计，支持自定义快捷按钮和函数插件，能够对Python和C++等项目进行剖析和自译解。此外，它还具备PDF和LaTeX论文翻译和总结功能，支持并行问询多种LLM模型，如chatglm3等本地模型，并接入了通义千问、deepseekcoder、讯飞星火、文心一言、llama2、rwkv、claude2、moss等。

一站式AI资讯平台，连接开发者与AI技术的最新动态。

掘金大模型子站是一个专注于AI领域的技术社区平台，提供从基础设施到最终应用的全景图，旨在帮助个人开发者和企业更好地理解和应用大语言模型技术。该平台通过提供资讯、工具和资源，促进AI技术的创新和应用，推动整个AI生态的发展。

独立分析AI语言模型和API提供商，帮助选择适合的模型和API。

Artificial Analysis是一个专注于AI语言模型和API提供商的独立分析平台。它提供详细的性能评估，帮助用户理解AI领域的格局，并为他们的具体用例选择最佳的模型和API提供商。该平台通过质量指数、吞吐量和价格等多个维度对不同的AI模型进行比较，使用户能够做出更明智的选择。

小米开发的大规模预训练语言模型，参数规模64亿。

MiLM-6B是由小米公司开发的大规模预训练语言模型，参数规模达到64亿，它在中文基础模型评测数据集C-Eval和CMMLU上均取得同尺寸最好的效果。该模型代表了自然语言处理领域的最新进展，具有强大的语言理解和生成能力，可以广泛应用于文本生成、机器翻译、问答系统等多种场景。

Google的尖端开放视觉语言模型

PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。

专为数据标注、清洗和丰富设计的先进语言模型

Refuel LLM-2 是一款为数据标注、清洗和丰富而设计的先进语言模型。它在约30种数据标注任务的基准测试中超越了所有现有的最先进语言模型，包括GPT-4-Turbo、Claude-3-Opus和Gemini-1.5-Pro。Refuel LLM-2 旨在提高数据团队的工作效率，减少在数据清洗、规范化、标注等前期工作上的手动劳动，从而更快地实现数据的商业价值。

Aloe是一款专为医疗领域设计的高性能语言模型，提供先进的文本生成和对话能力。

Aloe是由HPAI开发的一款医疗领域的语言模型，基于Meta Llama 3 8B模型进行优化。它通过模型融合和先进的提示策略，达到了与其规模相匹配的最先进水平。Aloe在伦理和事实性指标上得分较高，这得益于红队和对齐工作的结合。该模型提供了医疗特定的风险评估，以促进这些系统的安全使用和部署。

尽情体验LawBotica的法律AI助手的强大功能。轻松审查、总结和与法律文件交流。立即尝试！

LawBotica是一款革命性的法律工具，通过自动化摘要生成、制作案件时间线、提供全面的尽职调查文件审核、交互式对话和协作工作空间，将数月的工作转化为高效的几分钟。它通过定制的法律语言模型实现智能文档摘要、聊天和合作功能，并提供详细的分析、关键见解和实用建议。

Fugaku-LLM是一个专注于文本生成的人工智能模型。

Fugaku-LLM是一个由Fugaku-LLM团队开发的人工智能语言模型，专注于文本生成领域。它通过先进的机器学习技术，能够生成流畅、连贯的文本，适用于多种语言和场景。Fugaku-LLM的主要优点包括其高效的文本生成能力、对多种语言的支持以及持续的模型更新，以保持技术领先。该模型在社区中拥有广泛的应用，包括但不限于写作辅助、聊天机器人开发和教育工具。

一个由LLMs驱动的智能Siri，无需专用硬件即可使用。

Siri-Ultra是一个基于云的智能助手，可以在Cloudflare Workers上运行，并且可以与任何大型语言模型（LLM）配合使用。它利用了LLaMA 3模型，并且通过自定义函数调用来获取天气数据和在线搜索。这个项目允许用户通过Apple Shortcuts来使用Siri，从而消除了对专用硬件设备的需求。

一款具有128k有效上下文长度的70B参数的大型语言模型。

Llama-3-Giraffe-70B-Instruct是Abacus.AI推出的一款大型语言模型，它通过PoSE和动态NTK插值的训练方法，具有更长的有效上下文长度，能够处理大量的文本数据。该模型在训练中使用了约1.5B个token，并且通过适配器转换技术，将Llama-3-70B-Base模型的适配器应用到Llama-3-Giraffe-70B-Instruct上，以提高模型的性能。

构建高级语音AI，由LLM提供支持，实现人类般的交互体验。

Retell AI是一个强大的AI代理构建平台，允许用户快速构建和测试复杂的工作流程，并通过电话呼叫、网络呼叫或任何其他地方部署它们。该平台支持使用任何大型语言模型（LLM），并提供了实时的交互体验，包括人类般的声音和语音克隆支持。Retell AI的主要优点包括低延迟、高稳定性和符合HIPAA标准的安全性。

一个完全开源的大型语言模型，提供先进的自然语言处理能力。

MAP-NEO是一个完全开源的大型语言模型，它包括预训练数据、数据处理管道（Matrix）、预训练脚本和对齐代码。该模型从零开始训练，使用了4.5T的英文和中文token，展现出与LLaMA2 7B相当的性能。MAP-NEO在推理、数学和编码等具有挑战性的任务中表现出色，超越了同等规模的模型。为了研究目的，我们致力于实现LLM训练过程的完全透明度，因此我们全面发布了MAP-NEO，包括最终和中间检查点、自训练的分词器、预训练语料库以及高效稳定的优化预训练代码库。

开源的、专为大型语言模型优化的网页爬虫与抓取工具。

Crawl4AI是一个强大的、免费的网页爬取服务，旨在从网页中提取有用信息，并使其对大型语言模型（LLMs）和AI应用可用。它支持高效的网页爬取，提供对LLM友好的输出格式，如JSON、清理过的HTML和Markdown，支持同时爬取多个URL，并完全免费且开源。

不仅自动，还很智能。

VMind 是智能可视化组件，基于规则算法、机器学习、大语言模型等多种方式提供智能化接口，最大限度降低开发者的心智负担。

为企业提供开源、灵活的AI模型开发、测试和运行平台。

Red Hat Enterprise Linux AI 是一个基于开源的模型平台，旨在无缝地开发、测试和运行企业级应用的大型语言模型（LLMs）。它结合了开源许可的IBM Granite LLMs、InstructLab模型对齐工具、Red Hat Enterprise Linux的可启动镜像以及Red Hat提供的技术支持和模型知识产权保障。该平台支持跨混合云环境的可移植性，并能与Red Hat OpenShift® AI集成，进一步推进企业AI开发、数据管理和模型治理。

提升大型语言模型解决数学问题的能力

ChatGLM-Math 是一个基于自我批评流程定制的数学问题解决模型，旨在提高大型语言模型（LLMs）在数学问题解决方面的能力。该模型通过训练一个通用的Math-Critique模型来提供反馈信号，并采用拒绝采样微调和直接偏好优化来增强LLM的数学问题解决能力。它在学术数据集和新创建的挑战性数据集MathUserEval上进行了实验，显示出在保持语言能力的同时，显著提升了数学问题解决能力。

使用Kolmogorov-Arnold网络实现的预训练生成式变换器（GPTs）的语言模型

kan-gpt是一个基于PyTorch的Generative Pre-trained Transformers (GPTs) 实现，它利用Kolmogorov-Arnold Networks (KANs) 进行语言建模。该模型在文本生成任务中展现出了潜力，特别是在处理长距离依赖关系时。它的重要性在于为自然语言处理领域提供了一种新的模型架构，有助于提升语言模型的性能。

Prompto是一个开源的网络应用程序，旨在使与LLM的交互简单高效。

Prompto是一个开源的网页应用程序，旨在使与大型语言模型（LLMs）的交互简单高效。它可以轻松切换不同的LLMs，通过调整温度设置来调整LLM的创造力和风险水平，提供聊天机器人界面和笔记本界面，可以创建常用提示的模板，并且在浏览器中运行，确保流畅响应的体验。所有设置和聊天记录仅存储在浏览器的本地存储中，保护用户隐私。

在浏览器中尝试Cleanlab的可信任语言模型（TLM）

TLM Playground是Cleanlab的一个工具，用于在浏览器中使用可信任语言模型（TLM）。它提供了一个交互式界面，用户可以输入文本并获得模型生成的响应。TLM是一种基于深度学习的语言模型，它可以用于生成自然语言文本，例如回答问题、翻译、文本摘要等。

一个用于创意写作的大型语言模型，具有出色的写作风格。

Meta-Llama-3-120B-Instruct 是一个基于 Meta-Llama-3-70B-Instruct 通过 MergeKit 自我合并的大型语言模型。它在创意写作方面表现出色，但在其他任务上可能存在挑战。该模型使用 Llama 3 聊天模板，默认上下文窗口为 8K，可以通过绳索theta扩展。模型在生成文本时有时会出现错别字，并且喜欢使用大写字母。

一款高效经济的语言模型，具有强大的专家混合特性。

DeepSeek-V2是一个由236B参数构成的混合专家（MoE）语言模型，它在保持经济训练和高效推理的同时，激活每个token的21B参数。与前代DeepSeek 67B相比，DeepSeek-V2在性能上更强，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，并提升了最大生成吞吐量至5.76倍。该模型在8.1万亿token的高质量语料库上进行了预训练，并通过监督式微调（SFT）和强化学习（RL）进一步优化，使其在标准基准测试和开放式生成评估中表现出色。

低代码生成AI应用程序的生成性AI RAG工具包。

create-tsi是一个生成性AI RAG（Retrieval-Augmented Generation）工具包，用于低代码生成AI应用程序。它利用LlamaIndex和T-Systems在Open Telekom Cloud上托管的大型语言模型（LLMs），简化了AI应用程序的创建过程，使其变得快捷、灵活。用户可以使用create-tsi生成聊天机器人、编写代理并针对特定用例进行定制。

用于评估其他语言模型的开源工具集

Prometheus-Eval 是一个用于评估大型语言模型（LLM）在生成任务中表现的开源工具集。它提供了一个简单的接口，使用 Prometheus 模型来评估指令和响应对。Prometheus 2 模型支持直接评估（绝对评分）和成对排名（相对评分），能够模拟人类判断和专有的基于语言模型的评估，解决了公平性、可控性和可负担性的问题。