产品库

高性能的开源代码模型

Mamba-Codestral-7B-v0.1 是 Mistral AI Team 开发的基于 Mamba2 架构的开源代码模型，性能与最先进的基于 Transformer 的代码模型相当。它在多个行业标准基准测试中表现出色，提供高效的代码生成和理解能力，适用于编程和软件开发领域。

深入理解Transformer模型的可视化工具

Transformer Explainer是一个致力于帮助用户深入理解Transformer模型的在线可视化工具。它通过图形化的方式展示了Transformer模型的各个组件，包括自注意力机制、前馈网络等，让用户能够直观地看到数据在模型中的流动和处理过程。该工具对于教育和研究领域具有重要意义，可以帮助学生和研究人员更好地理解自然语言处理领域的先进技术。

基于 Transformer 的图像识别模型

Google Vision Transformer 是一款基于 Transformer 编码器的图像识别模型，使用大规模图像数据进行预训练，可用于图像分类等任务。该模型在 ImageNet-21k 数据集上进行了预训练，并在 ImageNet 数据集上进行了微调，具备良好的图像特征提取能力。该模型通过将图像切分为固定大小的图像块，并线性嵌入这些图像块来处理图像数据。同时，模型在输入序列前添加了位置编码，以便在 Transformer 编码器中处理序列数据。用户可以通过在预训练的编码器之上添加线性层进行图像分类等任务。Google Vision Transformer 的优势在于其强大的图像特征学习能力和广泛的适用性。该模型免费提供使用。

大规模代码生成预训练模型

StarCoder2是一个1500亿参数的Transformer模型,在包括GitHub在内的600多种编程语言数据集上进行了预训练,使用了Grouped Query Attention等技术。该模型可用于代码生成任务,支持多种编程语言。

开源代码生成模型

Code Llama 70B是一个大型开源代码生成语言模型,可以从自然语言提示或现有代码片段生成多种编程语言的代码。它基于175亿参数的通用语言模型Llama 2,经过专门针对代码生成任务的微调,可以高效准确地生成Python、C++、Java等语言的代码。Code Llama 70B在人工评估基准测试中取得了67.8的高分,性能超过了以往的开源模型,可与专利模型媲美。它强大的代码生成能力可以提升编程效率,降低编码门槛,启发更多创新应用。

开源代码生成大型语言模型

Qwen2.5-Coder是一系列专为代码生成设计的Qwen大型语言模型，包含0.5、1.5、3、7、14、32亿参数的六种主流模型尺寸，以满足不同开发者的需求。该模型在代码生成、代码推理和代码修复方面有显著提升，基于强大的Qwen2.5，训练令牌扩展到5.5万亿，包括源代码、文本代码基础、合成数据等。Qwen2.5-Coder-32B是目前最先进的开源代码生成大型语言模型，其编码能力与GPT-4o相匹配。它不仅增强了编码能力，还保持了在数学和通用能力方面的优势，并支持长达128K令牌的长上下文。

开源自然语言生成模型

OLMo是一个开源的自然语言生成模型,由Allen AI研究所开发,基于Transformer架构,可用于生成高质量的英文文本。它具有生成长度可达4096个token的长文本的能力。OLMo-7B是目前公开的参数量最大的开源英文语言模型之一,拥有69亿参数,在多个英文NLP任务上的表现优于同类模型。它可用于文本生成、任务导向的微调等多种自然语言处理任务。

开源代码生成大型语言模型

Qwen2.5-Coder是一系列针对代码生成优化的大型语言模型，覆盖了0.5、1.5、3、7、14、32亿参数的六种主流模型尺寸，以满足不同开发者的需求。Qwen2.5-Coder在代码生成、代码推理和代码修复方面有显著提升，基于强大的Qwen2.5，训练令牌扩展到5.5万亿，包括源代码、文本代码接地、合成数据等，成为当前最先进的开源代码LLM，其编码能力与GPT-4o相匹配。此外，Qwen2.5-Coder还提供了更全面的基础，适用于现实世界中的代码代理等应用场景。

开源的多语言代码生成模型

CodeGeeX4-ALL-9B是CodeGeeX4系列模型的最新开源版本，基于GLM-4-9B持续训练，显著提升了代码生成能力。它支持代码补全、生成、代码解释、网页搜索、函数调用、代码问答等功能，覆盖软件开发的多个场景。在公共基准测试如BigCodeBench和NaturalCodeBench上表现优异，是参数少于10亿的最强代码生成模型，实现了推理速度与模型性能的最佳平衡。

集代码生成与执行于一体的开源系统

OpenCodeInterpreter是一个开源的代码生成系统,将代码生成、执行和迭代优化结合在一起。它利用包含6.8万段交互的Code-Feedback数据集进行训练,可以根据执行输出和人类反馈对代码进行动态优化。在HumanEval、MBPP等基准测试上的评估显示了它在代码生成方面的突出表现。具有33B参数量的OpenCodeInterpreter在HumanEval和MBPP的平均准确率可达83.2%,与GPT-4代码解释器的84.2%不相上下,并可通过人工反馈提升至91.6%。OpenCodeInterpreter缩小了开源代码生成模型与GPT-4等专有系统之间的差距。

开源代码生成语言模型

Qwen2.5-Coder-32B-Instruct-GPTQ-Int8是Qwen系列中针对代码生成优化的大型语言模型，拥有32亿参数，支持长文本处理，是当前开源代码生成领域最先进的模型之一。该模型基于Qwen2.5进行了进一步的训练和优化，不仅在代码生成、推理和修复方面有显著提升，而且在数学和通用能力上也保持了优势。模型采用GPTQ 8-bit量化技术，以减少模型大小并提高运行效率。

基于Transformer的通用领域文本到图像生成

CogView是一个用于通用领域文本到图像生成的预训练Transformer模型。该模型包含410亿参数,能够生成高质量、多样化的图像。模型的训练思路采用抽象到具体的方式,先 pretrain 获得通用知识,然后 finetune 在特定域生成图像,能显著提升生成质量。值得一提的是,论文还提出了两种帮助大模型稳定训练的技巧:PB-relax 和 Sandwich-LN。

Stability AI 生成模型是一个开源的生成模型库。

Stability AI 生成模型是一个开源的生成模型库，提供了各种生成模型的训练、推理和应用功能。该库支持各种生成模型的训练，包括基于 PyTorch Lightning 的训练，提供了丰富的配置选项和模块化的设计。用户可以使用该库进行生成模型的训练，并通过提供的模型进行推理和应用。该库还提供了示例训练配置和数据处理的功能，方便用户进行快速上手和定制。

开源代码生成语言模型

Qwen2.5-Coder 是针对代码生成的模型，在代码生成等方面显著提升，参数规模多样，支持量化。免费，面向开发者提高效率和质量。

基于Transformer的文本到音乐生成模型

MusiConGen是一个基于Transformer的文本到音乐生成模型，它通过时间条件增强对节奏和和弦的控制。该模型从预训练的MusicGen-melody框架中微调而来。它使用符号表示的和弦和节奏控制，并结合五种不同风格的文本描述来生成样本。生成样本的和弦通过BTC和弦识别模型进行估计，如论文中所述。

商汤自研代码大模型赋能

代码小浣熊（Raccoon）是商汤自研的代码大模型赋能工具，提供多种编程语言支持，包括 Python、C#、C/C++、Java、Go、JavaScript 等。它以 IDE 插件的形式为用户提供智能编程服务，帮助用户在日常编程中随时随地开启 AI 编程。代码小浣熊能够快速定位代码中的问题，提供自动补全、代码纠错、语法优化等功能，大大提升编程效率。

IBM开源的一系列代码生成模型，旨在简化编程过程。

IBM Research 开源的Granite代码模型家族，目标是让编程尽可能简单化，服务于尽可能多的开发者。这些模型通过AI技术，帮助开发者提高编写、测试、调试和发布可靠软件的效率，支持从旧版语言到现代企业级语言的代码转换，以及基于自然语言指令的代码编写。

开源代码语言模型，提升编程智能。

DeepSeek-Coder-V2是一个开源的Mixture-of-Experts (MoE) 代码语言模型，性能与GPT4-Turbo相当，在代码特定任务上表现卓越。它在DeepSeek-Coder-V2-Base的基础上，通过6万亿token的高质量多源语料库进一步预训练，显著增强了编码和数学推理能力，同时保持了在通用语言任务上的性能。支持的编程语言从86种扩展到338种，上下文长度从16K扩展到128K。

基于Linux环境快速部署开源大模型的教程

该项目是一个围绕开源大模型的全流程指导教程,包括环境配置、模型部署、高效微调等,简化开源大模型的使用和应用,让更多普通学习者能够使用开源大模型。项目面向对开源大模型感兴趣且想自主上手的学习者,提供详细的环境配置、模型部署和微调方法。

开源代码和库的搜索引擎

kandi是一个开源代码和库的搜索引擎,可以帮助开发者快速找到可重用的库、代码片段和云API,加速应用程序的开发。它拥有超过6.5亿个知识条目,开发者可以通过关键词检索相关函数、代码片段等。

谷歌推出的开源预训练语言模型

Gemma-2b是谷歌推出的开源预训练语言模型系列,提供了多个不同规模的变体。它可以生成高质量的文本,广泛应用于问答、摘要、推理等领域。相比其他同类模型,它模型规模较小,可以部署在不同的硬件环境中。Gemma系列追求安全、高效的人工智能技术,使更多研究者和开发者可以接触前沿的语言模型技术。

开源代码语言模型，支持多编程语言。

DeepSeek-Coder-V2是一个开源的Mixture-of-Experts代码语言模型，性能可与GPT4-Turbo相媲美，在代码特定任务上表现突出。它通过额外的6万亿个token进一步预训练，增强了编码和数学推理能力，同时保持了在一般语言任务上的相似性能。与DeepSeek-Coder-33B相比，在代码相关任务、推理和一般能力方面都有显著进步。此外，它支持的编程语言从86种扩展到338种，上下文长度从16K扩展到128K。

开源版Anthropic Artifacts UI，支持AI代码执行。

Anthropic Power Artifacts是一个开源项目，它复现了Anthropic公司在其Claude聊天应用中的Artifacts用户界面。该项目使用E2B的代码解释器SDK来安全地执行AI生成的代码。E2B提供了一个云沙箱环境，可以安全地运行AI生成的代码，并且能够处理安装库、运行shell命令、执行Python、JavaScript、R以及Nextjs应用程序等。

开源代码语言模型，提升编程和数学推理能力。

DeepSeek-Coder-V2是一个开源的专家混合模型(Mixture-of-Experts, MoE)，专为代码语言设计，其性能与GPT4-Turbo相当。它在代码特定任务上表现优异，同时在通用语言任务上保持了相当的性能。与DeepSeek-Coder-33B相比，V2版本在代码相关任务和推理能力上都有显著提升。此外，它支持的编程语言从86种扩展到了338种，上下文长度也从16K扩展到了128K。

开源代码生成与推理的大型语言模型

Qwen2.5-Coder是一系列特定于代码的大型语言模型，覆盖了从0.5亿到32亿参数的不同模型大小，以满足不同开发者的需求。该模型在代码生成、代码推理和代码修复方面有显著提升，基于强大的Qwen2.5，训练令牌扩展到5.5万亿，包括源代码、文本代码基础、合成数据等。Qwen2.5-Coder-32B是目前最先进的开源代码生成大型语言模型，其编码能力与GPT-4o相匹配。此外，该模型还支持长达128K令牌的长上下文，并采用AWQ 4-bit量化技术，以提高模型的效率和性能。

1T开源多语言大型语言模型

Tele-FLM-1T是一个开源的1T多语言大型语言模型，基于解码器仅Transformer架构，经过约2T tokens的训练。该模型在规模上展现出卓越的性能，有时甚至超越了更大的模型。除了分享模型权重外，还提供了核心设计、工程实践和训练细节，期待对学术和工业社区都有所裨益。

使用GPT4和CodeLlama的开源代码解释器

Octogen是一个由GPT4和CodeLlama驱动的开源代码解释器，它可以帮助开发者在编写代码时进行实时的语法检查和提示，支持多种编程语言。Octogen通过结合GPT4的智能预测能力和CodeLlama的代码解析技术，可以提供更准确和高效的代码补全、错误检查和语法纠正等功能。Octogen具有易于使用、开放源代码和灵活的定价模型等优势。

开源的32亿参数代码生成语言模型

Qwen2.5-Coder-32B-Instruct-GPTQ-Int4是基于Qwen2.5的代码生成大型语言模型，具有32.5亿参数量，支持长文本处理，最大支持128K tokens。该模型在代码生成、代码推理和代码修复方面有显著提升，是当前开源代码语言模型中的佼佼者。它不仅增强了编码能力，还保持了在数学和通用能力方面的优势。

为 Diffusion Transformer 提供高效灵活的控制框架。

EasyControl 是一个为 Diffusion Transformer（扩散变换器）提供高效灵活控制的框架，旨在解决当前 DiT 生态系统中存在的效率瓶颈和模型适应性不足等问题。其主要优点包括：支持多种条件组合、提高生成灵活性和推理效率。该产品是基于最新研究成果开发的，适合在图像生成、风格转换等领域使用。

Qwen2.5-Coder系列中的1.5B参数代码生成模型

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专为代码生成、推理和修复而设计。基于强大的Qwen2.5，该模型在训练时包含了5.5万亿的源代码、文本代码基础、合成数据等，使其在代码能力上达到了开源代码LLM的最新水平。它不仅增强了编码能力，还保持了在数学和通用能力方面的优势。