需求人群:
"Nemotron-4-340B-Instruct模型面向需要构建或定制大型语言模型的开发者和企业。它特别适合于那些需要在英文对话、数学推理、编程指导等领域应用AI技术的用户。"
使用场景示例:
用于生成训练数据,帮助开发者训练定制化的对话系统。
在数学问题解答领域,提供准确的逻辑推理和解答生成。
辅助编程人员快速理解代码逻辑,提供编程指导和代码生成。
产品特色:
支持4096个token的上下文长度,适用于长文本处理。
经过SFT、DPO和RPO等对齐步骤,优化了对话和指令遵循能力。
能够生成高质量的合成数据,助力开发者构建自己的LLM。
使用了Grouped-Query Attention (GQA)和Rotary Position Embeddings (RoPE)技术。
支持NeMo Framework的定制工具,包括参数高效微调和模型对齐。
在多种评估基准上表现优异,如MT-Bench、IFEval、MMLU等。
使用教程:
1. 使用NeMo Framework创建一个Python脚本与部署的模型进行交互。
2. 创建一个Bash脚本来启动推理服务器。
3. 使用Slurm作业调度系统将模型分布在多个节点上,并与推理服务器关联。
4. 定义Python脚本中的文本生成函数,设置请求头和数据结构。
5. 调用文本生成函数,传入提示(prompt)和生成参数,获取模型响应。
6. 根据需要调整生成参数,如温度(temperature)、top_k、top_p等,以控制文本生成的风格和多样性。
7. 通过调整系统提示(system prompt)来优化模型的输出,以达到更好的对话效果。
浏览量:47
最新流量情况
月访问量
29742.94k
平均访问时长
00:04:44
每次访问页数
5.85
跳出率
44.20%
流量来源
直接访问
50.45%
自然搜索
33.93%
邮件
0.03%
外链引荐
12.90%
社交媒体
2.67%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
21.55%
印度
7.98%
日本
2.93%
俄罗斯
5.29%
美国
16.06%
NVIDIA的高级语言模型,优化于英文对话场景。
Nemotron-4-340B-Instruct是由NVIDIA开发的大型语言模型(LLM),专为英文单轮和多轮对话场景优化。该模型支持4096个token的上下文长度,经过监督式微调(SFT)、直接偏好优化(DPO)和奖励感知偏好优化(RPO)等额外的对齐步骤。模型在约20K人工标注数据的基础上,通过合成数据生成管道合成了超过98%的用于监督微调和偏好微调的数据。这使得模型在人类对话偏好、数学推理、编码和指令遵循方面表现良好,并且能够为多种用例生成高质量的合成数据。
一个基于Qwen2.5-Coder系列训练的大型语言模型,专注于代理应用。
Dria-Agent-a-7B是一个基于Qwen2.5-Coder系列训练的大型语言模型,专注于代理应用。它采用Pythonic函数调用方式,与传统JSON函数调用方法相比,具有单次并行多函数调用、自由形式推理和动作以及即时复杂解决方案生成等优势。该模型在多个基准测试中表现出色,包括Berkeley Function Calling Leaderboard (BFCL)、MMLU-Pro和Dria-Pythonic-Agent-Benchmark (DPAB)。模型大小为76.2亿参数,采用BF16张量类型,支持文本生成任务。其主要优点包括强大的编程辅助能力、高效的函数调用方式以及在特定领域的高准确率。该模型适用于需要复杂逻辑处理和多步骤任务执行的应用场景,如自动化编程、智能代理等。目前,该模型在Hugging Face平台上提供,供用户免费使用。
Qwen2.5-Coder系列的1.5B参数指令调优模型
Qwen2.5-Coder是Qwen大型语言模型的最新系列,专为代码生成、代码推理和代码修复而设计。基于强大的Qwen2.5,通过增加训练令牌至5.5万亿,包括源代码、文本代码基础、合成数据等,Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型,其编码能力与GPT-4o相匹配。此模型是1.5B参数的指令调优版本,采用GGUF格式,具有因果语言模型、预训练和后训练阶段、transformers架构等特点。
基于Llama-3-8B的多模态大型语言模型,专注于UI任务。
Ferret-UI是首个以用户界面为中心的多模态大型语言模型(MLLM),专为指代表达、定位和推理任务设计。它基于Gemma-2B和Llama-3-8B构建,能够执行复杂的用户界面任务。这个版本遵循了Apple的研究论文,是一个强大的工具,可以用于图像文本到文本的任务,并且在对话和文本生成方面具有优势。
多语言大型语言模型,优化对话场景。
Meta Llama 3.1是一系列多语言的大型预训练和指令调整的生成模型,包含8B、70B和405B大小的版本。这些模型专为多语言对话用例而优化,并在常见行业基准测试中表现优于许多开源和闭源聊天模型。模型使用优化的transformer架构,并通过监督式微调(SFT)和强化学习与人类反馈(RLHF)进行调整,以符合人类对有用性和安全性的偏好。
多语言对话生成模型
Meta Llama 3.1系列模型是一套预训练和指令调整的多语言大型语言模型(LLMs),包含8B、70B和405B三种规模的模型,专为多语言对话使用案例优化,性能优于许多开源和闭源聊天模型。
8B参数的大型多语言生成模型
Meta Llama 3.1是一系列预训练和指令调整的多语言大型语言模型(LLMs),包含8B、70B和405B大小的版本,支持8种语言,专为多语言对话用例优化,并在行业基准测试中表现优异。Llama 3.1模型采用自回归语言模型,使用优化的Transformer架构,并通过监督式微调(SFT)和强化学习结合人类反馈(RLHF)来提高模型的有用性和安全性。
基于Dolphin-2.9-Mixtral-8x22b的先进AI模型
Dolphin 2.9.1 Mixtral 1x22b是由Cognitive Computations团队精心训练和策划的AI模型,基于Dolphin-2.9-Mixtral-8x22b版本,拥有Apache-2.0许可。该模型具备64k上下文容量,通过16k序列长度的全权重微调,经过27小时在8个H100 GPU上的训练完成。Dolphin 2.9.1具有多样的指令、对话和编码技能,还具备初步的代理能力和支持函数调用。该模型未进行审查,数据集已过滤去除对齐和偏见,使其更加合规。建议在作为服务公开之前,实施自己的对齐层。
一个强大的文本生成模型,适用于多种对话应用。
DeepSeek-V3-0324 是一个先进的文本生成模型,具有 685 亿参数,采用 BF16 和 F32 张量类型,能够支持高效的推理和文本生成。该模型的主要优点在于其强大的生成能力和开放源码的特性,使其可以被广泛应用于多种自然语言处理任务。该模型的定位是为开发者和研究人员提供一个强大的工具,帮助他们在文本生成领域取得突破。
Inception Labs 推出新一代扩散式大语言模型,提供极速、高效和高质量的语言生成能力。
Inception Labs 是一家专注于开发扩散式大语言模型(dLLMs)的公司。其技术灵感来源于先进的图像和视频生成系统,如 Midjourney 和 Sora。通过扩散模型,Inception Labs 提供了比传统自回归模型快 5-10 倍的速度、更高的效率和更强的生成控制能力。其模型支持并行文本生成,能够纠正错误和幻觉,适合多模态任务,并且在推理和结构化数据生成方面表现出色。公司由斯坦福、UCLA 和康奈尔大学的研究人员和工程师组成,是扩散模型领域的先驱。
Scira 是一个极简主义的 AI 驱动搜索引擎,帮助用户在互联网上查找信息。
Scira 是一个基于 AI 技术的搜索引擎,旨在通过强大的语言模型和搜索能力,为用户提供更高效、更精准的信息检索体验。它支持多种语言模型,如 Grok 2.0 和 Claude 3.5 Sonnet,并集成了 Tavily 等搜索工具,能够提供网页搜索、编程代码运行、天气查询等多种功能。Scira 的主要优点在于其简洁的界面和强大的功能集成,适合对传统搜索引擎不满意、希望借助 AI 提升搜索效率的用户。该项目开源免费,用户可以根据自己的需求进行本地部署或使用其提供的在线服务。
LLaDA是一种大规模语言扩散模型,具备强大的语言生成能力,与LLaMA3 8B性能相当。
LLaDA是一种新型的扩散模型,通过扩散过程生成文本,与传统的自回归模型不同。它在语言生成的可扩展性、指令遵循、上下文学习、对话能力和压缩能力等方面表现出色。该模型由中国人民大学和蚂蚁集团的研究人员开发,具有8B的规模,完全从零开始训练。其主要优点是能够通过扩散过程灵活地生成文本,支持多种语言任务,如数学问题解答、代码生成、翻译和多轮对话等。LLaDA的出现为语言模型的发展提供了新的方向,尤其是在生成质量和灵活性方面。
通过强化学习提升大型语言模型在开源软件演变中的推理能力
SWE-RL 是由 Facebook Research 提出的一种基于强化学习的大型语言模型推理技术,旨在利用开源软件演变数据提升模型在软件工程任务中的表现。该技术通过规则驱动的奖励机制,优化模型的推理能力,使其能够更好地理解和生成高质量的代码。SWE-RL 的主要优点在于其创新性的强化学习方法和对开源数据的有效利用,为软件工程领域带来了新的可能性。该技术目前处于研究阶段,尚未明确商业化定价,但其在提升开发效率和代码质量方面具有显著潜力。
DeepSeek 是一款先进的 AI 语言模型,擅长逻辑推理、数学和编程任务,提供免费使用。
DeepSeek 是由 High-Flyer 基金支持的中国 AI 实验室开发的先进语言模型,专注于开源模型和创新训练方法。其 R1 系列模型在逻辑推理和问题解决方面表现出色,采用强化学习和混合专家框架优化性能,以低成本实现高效训练。DeepSeek 的开源策略推动了社区创新,同时引发了关于 AI 竞争和开源模型影响力的行业讨论。其免费且无需注册的使用方式进一步降低了用户门槛,适合广泛的应用场景。
探索大型语言模型作为编程辅导工具的潜力,提出Trace-and-Verify工作流。
Coding-Tutor是一个基于大型语言模型(LLM)的编程辅导工具,旨在通过对话式交互帮助学习者提升编程能力。它通过Trace-and-Verify(Traver)工作流,结合知识追踪和逐轮验证,解决编程辅导中的关键挑战。该工具不仅适用于编程教育,还可扩展到其他任务辅导场景,帮助根据学习者的知识水平调整教学内容。项目开源,支持社区贡献。
Goedel-Prover 是一款开源的自动化定理证明模型,专注于数学问题的形式化证明。
Goedel-Prover 是一款专注于自动化定理证明的开源大型语言模型。它通过将自然语言数学问题翻译为形式化语言(如 Lean 4),并生成形式化证明,显著提升了数学问题的自动化证明效率。该模型在 miniF2F 基准测试中达到了 57.6% 的成功率,超越了其他开源模型。其主要优点包括高性能、开源可扩展性以及对数学问题的深度理解能力。Goedel-Prover 旨在推动自动化定理证明技术的发展,并为数学研究和教育提供强大的工具支持。
OmniParser 是一款通用屏幕解析工具,可将 UI 截图转换为结构化格式,提升基于 LLM 的 UI 代理性能。
OmniParser 是微软开发的一种先进的图像解析技术,旨在将不规则的屏幕截图转换为结构化的元素列表,包括可交互区域的位置和图标的功能描述。它通过深度学习模型,如 YOLOv8 和 Florence-2,实现了对 UI 界面的高效解析。该技术的主要优点在于其高效性、准确性和广泛的适用性。OmniParser 可以显著提高基于大型语言模型(LLM)的 UI 代理的性能,使其能够更好地理解和操作各种用户界面。它在多种应用场景中表现出色,如自动化测试、智能助手开发等。OmniParser 的开源特性和灵活的许可证使其成为开发者和研究人员的有力工具。
Qwen2.5-Max是一个大规模的Mixture-of-Expert (MoE)模型,致力于提升模型智能。
Qwen2.5-Max是一个大规模的Mixture-of-Expert (MoE)模型,经过超过20万亿tokens的预训练和监督微调与人类反馈强化学习的后训练。它在多个基准测试中表现优异,展示了强大的知识和编码能力。该模型通过阿里巴巴云提供API接口,支持开发者在各种应用场景中使用。其主要优点包括强大的性能、灵活的部署方式和高效的训练技术,旨在为人工智能领域提供更智能的解决方案。
本地运行的人工智能代理,无缝自动化工程任务。
Codename Goose 是一款本地运行的人工智能代理工具,旨在帮助开发者高效完成工程任务。它强调开源和本地运行,确保用户对任务执行有完全控制权。通过连接外部服务器或API,Goose 可以根据用户需求进行扩展,实现复杂任务的自动化处理,从而让开发者专注于更重要的工作。Goose 的开源特性鼓励开发者参与贡献和创新,其本地运行的模式保障了数据隐私和任务执行效率。
Dolphin R1是一个用于训练推理模型的数据集,包含80万条样本。
Dolphin R1是一个由Cognitive Computations团队创建的数据集,旨在训练类似DeepSeek-R1 Distill模型的推理模型。该数据集包含30万条来自DeepSeek-R1的推理样本、30万条来自Gemini 2.0 flash thinking的推理样本以及20万条Dolphin聊天样本。这些数据集的组合为研究人员和开发者提供了丰富的训练资源,有助于提升模型的推理能力和对话能力。该数据集的创建得到了Dria、Chutes、Crusoe Cloud等多家公司的赞助支持,这些赞助商为数据集的开发提供了计算资源和资金支持。Dolphin R1数据集的发布,为自然语言处理领域的研究和开发提供了重要的基础,推动了相关技术的发展。
Mistral Small 24B 是一款多语言、高性能的指令微调型大型语言模型,适用于多种应用场景。
Mistral Small 24B 是一款由 Mistral AI 团队开发的大型语言模型,拥有 240 亿参数,支持多语言对话和指令处理。该模型通过指令微调,能够生成高质量的文本内容,适用于聊天、写作、编程辅助等多种场景。其主要优点包括强大的语言生成能力、多语言支持以及高效推理能力。该模型适合需要高性能语言处理的个人和企业用户,具有开源许可,支持本地部署和量化优化,适合对数据隐私有要求的场景。
DeepSeek-R1-Distill-Llama-70B 是一款基于强化学习优化的大型语言模型,专注于推理和对话能力。
DeepSeek-R1-Distill-Llama-70B 是由 DeepSeek 团队开发的一款大型语言模型,基于 Llama-70B 架构并通过强化学习进行优化。该模型在推理、对话和多语言任务中表现出色,支持多种应用场景,包括代码生成、数学推理和自然语言处理。其主要优点是高效的推理能力和对复杂问题的解决能力,同时支持开源和商业使用。该模型适用于需要高性能语言生成和推理能力的企业和研究机构。
Kimi k1.5 是一个通过强化学习扩展的多模态语言模型,专注于提升推理和逻辑能力。
Kimi k1.5 是由 MoonshotAI 开发的多模态语言模型,通过强化学习和长上下文扩展技术,显著提升了模型在复杂推理任务中的表现。该模型在多个基准测试中达到了行业领先水平,例如在 AIME 和 MATH-500 等数学推理任务中超越了 GPT-4o 和 Claude Sonnet 3.5。其主要优点包括高效的训练框架、强大的多模态推理能力以及对长上下文的支持。Kimi k1.5 主要面向需要复杂推理和逻辑分析的应用场景,如编程辅助、数学解题和代码生成等。
这是一个基于Qwen2.5-32B模型的4位量化版本,专为高效推理和低资源部署设计。
该产品是一个基于Qwen2.5-32B的4位量化语言模型,通过GPTQ技术实现高效推理和低资源消耗。它在保持较高性能的同时,显著降低了模型的存储和计算需求,适合在资源受限的环境中使用。该模型主要面向需要高性能语言生成的应用场景,如智能客服、编程辅助、内容创作等。其开源许可和灵活的部署方式使其在商业和研究领域具有广泛的应用前景。
Cursor Convo Export:将你的 Cursor 对话导出到新窗口或文件
Cursor Convo Export 是由 Edwin Klesman 开发的一款 Cursor AI 扩展插件,旨在帮助用户将与 Cursor AI 的聊天历史导出到新窗口或时间戳文件中。该插件对于编程人员来说非常实用,因为它可以保存 AI 给出的重要指令和信息,如部署步骤、架构推理等,方便用户日后查阅。此外,当与 Cursor 的对话出现中断时,用户可以利用该插件将对话内容复制到新对话中,以便继续工作。该插件售价为 5 欧元,大小为 6.25 MB,提供 30 天退款保证。
这是一个先进的多模态大型语言模型系列,展示了卓越的整体性能。
InternVL2.5-MPO是一个基于InternVL2.5和混合偏好优化(MPO)的多模态大型语言模型系列。它在多模态任务中表现出色,通过整合新近增量预训练的InternViT与多种预训练的大型语言模型(LLMs),如InternLM 2.5和Qwen 2.5,使用随机初始化的MLP投影器。该模型系列在多模态推理偏好数据集MMPR上进行了训练,包含约300万个样本,通过有效的数据构建流程和混合偏好优化技术,提升了模型的推理能力和回答质量。
一个实时适应未见任务的自适应大型语言模型框架。
SakanaAI/self-adaptive-llms是一个名为Transformer²的自适应框架,旨在解决传统微调方法计算密集且处理多样化任务能力静态的挑战。该框架能够在推理过程中通过两步机制实时调整大型语言模型(LLMs)以适应未见任务:首先,调度系统识别任务属性;然后,使用强化学习训练的任务特定'专家'向量被动态混合,以获得针对输入提示的目标行为。主要优点包括实时任务适应性、计算效率和灵活性。该项目由SakanaAI团队开发,目前在GitHub上开源,拥有195颗星和12次分叉。
InternLM3-8B-Instruct是一个开源的80亿参数指令模型,用于通用用途和高级推理。
InternLM3-8B-Instruct是InternLM团队开发的大型语言模型,具有卓越的推理能力和知识密集型任务处理能力。该模型在仅使用4万亿高质量词元进行训练的情况下,实现了比同级别模型低75%以上的训练成本,同时在多个基准测试中超越了Llama3.1-8B和Qwen2.5-7B等模型。它支持深度思考模式,能够通过长思维链解决复杂的推理任务,同时也具备流畅的用户交互能力。该模型基于Apache-2.0许可证开源,适用于需要高效推理和知识处理的各种应用场景。
MinMo是一款多模态大型语言模型,用于无缝语音交互。
MinMo是阿里巴巴集团通义实验室开发的一款多模态大型语言模型,拥有约80亿参数,专注于实现无缝语音交互。它通过多个阶段的训练,包括语音到文本对齐、文本到语音对齐、语音到语音对齐和全双工交互对齐,在140万小时的多样化语音数据和广泛的语音任务上进行训练。MinMo在语音理解和生成的各种基准测试中达到了最先进的性能,同时保持了文本大型语言模型的能力,并支持全双工对话,即用户和系统之间的同时双向通信。此外,MinMo还提出了一种新颖且简单的语音解码器,在语音生成方面超越了以往的模型。MinMo的指令遵循能力得到了增强,支持根据用户指令控制语音生成,包括情感、方言和语速等细节,并模仿特定的声音。MinMo的语音到文本延迟约为100毫秒,全双工延迟理论上约为600毫秒,实际约为800毫秒。MinMo的开发旨在克服以往对齐多模态模型的主要限制,为用户提供更自然、流畅和人性化的语音交互体验。
© 2025 AIbase 备案号:闽ICP备08105208号-14