需求人群:
"目标受众主要是从事人工智能研究和开发的专业人士,特别是那些专注于自然语言处理和大型语言模型训练的科学家和工程师。Nemotron-CC为他们提供了一个高质量、大规模的数据集,能够帮助他们训练更准确、更强大的模型,推动自然语言处理技术的发展。"
使用场景示例:
使用Nemotron-CC数据集训练一个8B参数的模型,在MMLU指标上比DCLM提高了5.6
一个8B参数模型使用该数据集训练15T tokens后,在多个任务上表现优于Llama 3.1 8B模型
研究人员可以利用其不同质量等级的分区,进行针对性的模型训练和研究
产品特色:
提供6.3万亿token的数据集,包含原始和合成token
通过多种方法优化数据质量,提高模型训练效果
支持长期预训练,解锁先进的训练能力
数据集包含多个质量等级和种类的分区,满足不同需求
提供jsonl和parquet两种格式的数据,方便不同场景使用
使用教程:
1. 访问Nemotron-CC的官方网站,了解数据集的详细信息和下载方式
2. 根据研究需求,选择合适的数据分区和格式进行下载
3. 使用下载的数据集对语言模型进行预训练
4. 在预训练过程中,根据模型表现调整训练参数和策略
5. 利用预训练好的模型进行特定任务的微调和应用
浏览量:7
最新流量情况
月访问量
11.95k
平均访问时长
00:01:17
每次访问页数
1.56
跳出率
44.21%
流量来源
直接访问
31.06%
自然搜索
33.27%
邮件
0.10%
外链引荐
31.42%
社交媒体
3.52%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
德国
14.89%
法国
4.56%
英国
18.02%
印度
15.64%
美国
15.88%
将Common Crawl转化为精细的长期预训练数据集
Nemotron-CC是一个基于Common Crawl的6.3万亿token的数据集。它通过分类器集成、合成数据改写和减少启发式过滤器的依赖,将英文Common Crawl转化为一个6.3万亿token的长期预训练数据集,包含4.4万亿全球去重的原始token和1.9万亿合成生成的token。该数据集在准确性和数据量之间取得了更好的平衡,对于训练大型语言模型具有重要意义。
一种用于生成超详细图像描述的模型,用于训练视觉语言模型。
ImageInWords (IIW) 是一个由人类参与的循环注释框架,用于策划超详细的图像描述,并生成一个新的数据集。该数据集通过评估自动化和人类并行(SxS)指标来实现最先进的结果。IIW 数据集在生成描述时,比以往的数据集和GPT-4V输出在多个维度上有了显著提升,包括可读性、全面性、特异性、幻觉和人类相似度。此外,使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色,能够生成更接近原始图像的描述。
高质量英文网页数据集
FineWeb数据集包含超过15万亿个经过清洗和去重的英文网页数据,来源于CommonCrawl。该数据集专为大型语言模型预训练设计,旨在推动开源模型的发展。数据集经过精心处理和筛选,以确保高质量,适用于各种自然语言处理任务。
与您的应用程序进行自然语言交互,提升工作效率和便捷性。
Concierge AI 是一款通过自然语言与应用程序交互的产品,它利用先进的自然语言处理技术,让用户能够以更直观、更便捷的方式与各种应用程序进行沟通和操作。这种技术的重要性在于它能够打破传统界面操作的限制,让用户以更自然表达的方式需求,从而提高工作效率和用户体验。产品目前处于推广阶段,具体价格和详细定位尚未明确,但其目标是为用户提供一种全新的交互方式,以满足现代工作环境中对效率和便捷性的高要求。
Zyphra是一家专注于人工智能技术的公司,提供聊天模型和相关服务。
Zyphra通过其开发的人工智能聊天模型Maia,为用户提供高效、智能的聊天体验。该技术基于先进的自然语言处理算法,能够理解并生成自然流畅的对话内容。其主要优点包括高效率的交互、个性化服务以及强大的语言理解能力。Zyphra的目标是通过智能聊天技术改善人机交互体验,推动AI在日常生活中的应用。目前,Zyphra提供免费试用服务,具体定价策略尚未明确。
RAG-FiT是一个用于提升LLMs利用外部信息能力的库,通过特别创建的RAG增强数据集对模型进行微调。
RAG-FiT是一个强大的工具,旨在通过检索增强生成(RAG)技术提升大型语言模型(LLMs)的能力。它通过创建专门的RAG增强数据集,帮助模型更好地利用外部信息。该库支持从数据准备到模型训练、推理和评估的全流程操作。其主要优点包括模块化设计、可定制化工作流以及对多种RAG配置的支持。RAG-FiT基于开源许可,适合研究人员和开发者进行快速原型开发和实验。
Qwen2.5-Max是一个大规模的Mixture-of-Expert (MoE)模型,致力于提升模型智能。
Qwen2.5-Max是一个大规模的Mixture-of-Expert (MoE)模型,经过超过20万亿tokens的预训练和监督微调与人类反馈强化学习的后训练。它在多个基准测试中表现优异,展示了强大的知识和编码能力。该模型通过阿里巴巴云提供API接口,支持开发者在各种应用场景中使用。其主要优点包括强大的性能、灵活的部署方式和高效的训练技术,旨在为人工智能领域提供更智能的解决方案。
DeepSeek是一个智能聊天助手,提供高效的人工智能对话服务。
DeepSeek是一个基于人工智能技术的智能聊天助手,旨在通过自然语言处理技术为用户提供高效、智能的对话体验。它能够理解用户的问题并提供准确的回答,适用于多种场景,包括日常对话、信息查询和问题解答。DeepSeek的核心优势在于其强大的语言理解和生成能力,能够为用户提供流畅的交互体验。该产品目前以网站形式提供服务,适合需要快速获取信息和进行智能对话的用户。
Xwen-Chat是专注中文对话的大语言模型集合,提供多版本模型及语言生成服务
Xwen-Chat由xwen-team开发,为满足高质量中文对话模型需求而生,填补领域空白。其有多个版本,具备强大语言理解与生成能力,可处理复杂语言任务,生成自然对话内容,适用于智能客服等场景,在Hugging Face平台免费提供。
Dolphin R1是一个用于训练推理模型的数据集,包含80万条样本。
Dolphin R1是一个由Cognitive Computations团队创建的数据集,旨在训练类似DeepSeek-R1 Distill模型的推理模型。该数据集包含30万条来自DeepSeek-R1的推理样本、30万条来自Gemini 2.0 flash thinking的推理样本以及20万条Dolphin聊天样本。这些数据集的组合为研究人员和开发者提供了丰富的训练资源,有助于提升模型的推理能力和对话能力。该数据集的创建得到了Dria、Chutes、Crusoe Cloud等多家公司的赞助支持,这些赞助商为数据集的开发提供了计算资源和资金支持。Dolphin R1数据集的发布,为自然语言处理领域的研究和开发提供了重要的基础,推动了相关技术的发展。
Tülu 3 405B 是一个大规模开源语言模型,通过强化学习提升性能。
Tülu 3 405B 是由 Allen Institute for AI 开发的开源语言模型,具有 4050 亿参数。该模型通过创新的强化学习框架(RLVR)提升性能,尤其在数学和指令跟随任务中表现出色。它基于 Llama-405B 模型进行优化,采用监督微调、偏好优化等技术。Tülu 3 405B 的开源性质使其成为研究和开发领域的强大工具,适用于需要高性能语言模型的各种应用场景。
首个面向语境智能的人类级实时交互系统,支持多情感、多风格语音交互。
SpeechGPT 2.0-preview 是一款由复旦大学自然语言处理实验室开发的先进语音交互模型。它通过海量语音数据训练,实现了低延迟、高自然度的语音交互能力。该模型能够模拟多种情感、风格和角色的语音表达,同时支持工具调用、在线搜索和外部知识库访问等功能。其主要优点包括强大的语音风格泛化能力、多角色模拟以及低延迟交互体验。目前该模型仅支持中文语音交互,未来计划扩展到更多语言。
Tarsier 是由字节跳动推出的用于生成高质量视频描述的大型视频语言模型。
Tarsier 是由字节跳动研究团队开发的一系列大规模视频语言模型,旨在生成高质量的视频描述,并具备强大的视频理解能力。该模型通过两阶段训练策略(多任务预训练和多粒度指令微调)显著提升了视频描述的精度和细节。其主要优点包括高精度的视频描述能力、对复杂视频内容的理解能力以及在多个视频理解基准测试中取得的 SOTA(State-of-the-Art)结果。Tarsier 的背景基于对现有视频语言模型在描述细节和准确性上的不足进行改进,通过大规模高质量数据训练和创新的训练方法,使其在视频描述领域达到了新的高度。该模型目前未明确定价,主要面向学术研究和商业应用,适合需要高质量视频内容理解和生成的场景。
百川智能开发的专为医疗场景优化的开源大语言模型,具备卓越的通用能力和医疗领域性能。
Baichuan-M1-14B 是由百川智能开发的开源大语言模型,专为医疗场景优化。它基于20万亿token的高质量医疗与通用数据训练,覆盖20多个医疗科室,具备强大的上下文理解和长序列任务表现能力。该模型在医疗领域表现出色,同时在通用任务中也达到了同尺寸模型的效果。其创新的模型结构和训练方法使其在医疗推理、病症判断等复杂任务中表现出色,为医疗领域的人工智能应用提供了强大的支持。
UPDF AI 助力用户对 PDF 文档进行总结、翻译、解释、重写、构思,提升阅读效率。
UPDF AI 是一款基于人工智能技术的 PDF 智能处理工具。它通过与 PDF 文档的交互,帮助用户快速提取和分析文档中的关键信息,从而提高阅读和学习效率。该产品利用先进的自然语言处理技术,能够精准地对文档内容进行总结、翻译、解释等操作。其主要优点包括高效的信息提取能力、精准的语言处理能力以及便捷的用户交互体验。UPDF AI 面向需要处理大量 PDF 文档的用户,无论是学生、研究人员还是专业人士,都能从中受益。目前,该产品的具体价格和定位尚未明确,但其强大的功能和高效的表现使其在市场上具有较高的竞争力。
WebWalker是一个用于评估大型语言模型在网页遍历能力上的基准测试框架。
WebWalker是一个由阿里巴巴集团通义实验室开发的多智能体框架,用于评估大型语言模型(LLMs)在网页遍历任务中的表现。该框架通过模拟人类浏览网页的方式,通过探索和评估范式来系统地提取高质量数据。WebWalker的主要优点在于其创新的网页遍历能力,能够深入挖掘多层级信息,弥补了传统搜索引擎在处理复杂问题时的不足。该技术对于提升语言模型在开放域问答中的表现具有重要意义,尤其是在需要多步骤信息检索的场景中。WebWalker的开发旨在推动语言模型在信息检索领域的应用和发展。
强大的语言模型,拥有4560亿总参数,可处理长达400万token的上下文。
MiniMax-01是一个具有4560亿总参数的强大语言模型,其中每个token激活459亿参数。它采用混合架构,结合了闪电注意力、softmax注意力和专家混合(MoE),通过先进的并行策略和创新的计算-通信重叠方法,如线性注意力序列并行主义加(LASP+)、varlen环形注意力、专家张量并行(ETP)等,将训练上下文长度扩展到100万tokens,在推理时可处理长达400万tokens的上下文。在多个学术基准测试中,MiniMax-01展现了顶级模型的性能。
提供高质量中文语料资源,助力人工智能大模型预训练。
中文互联网语料资源平台是由中国网络空间安全协会主办的专业网站,旨在为人工智能大模型的预训练提供高质量、安全合规的中文语料资源。该平台汇聚了来自企业、高校和科研单位的协同优势,依托‘共建-共享’机制,形成了包括中文互联网基础语料2.0、人民网主流价值数据集、国家版本馆明清文献语料等多个高质量语料库。这些语料库经过严格的信源筛选、格式清洗、语言过滤、数据去重、内容过滤、隐私过滤等处理步骤,确保了数据的合法性、真实性、准确性和客观性。平台的资源对于推动国家人工智能技术创新和产业发展具有重要意义,可帮助大模型更好地理解和生成中文内容,提升其知识能力与价值观对齐。
高质量的数据集、工具和概念,用于大型语言模型的微调。
mlabonne/llm-datasets 是一个专注于大型语言模型(LLM)微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集,帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量,能够覆盖多种使用场景,从而提高模型的泛化能力和准确性。此外,该产品还提供了一些工具和概念,帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护,旨在推动 LLM 领域的发展。
Sonus-1:开启大型语言模型(LLMs)的新时代
Sonus-1是Sonus AI推出的一系列大型语言模型(LLMs),旨在推动人工智能的边界。这些模型以其高性能和多应用场景的多功能性而设计,包括Sonus-1 Mini、Sonus-1 Air、Sonus-1 Pro和Sonus-1 Pro (w/ Reasoning)等不同版本,以满足不同需求。Sonus-1 Pro (w/ Reasoning)在多个基准测试中表现突出,特别是在推理和数学问题上,展现了其超越其他专有模型的能力。Sonus AI致力于开发高性能、可负担、可靠且注重隐私的大型语言模型。
知识增强型故事角色定制的统一世界模型
StoryWeaver是一个为知识增强型故事角色定制而设计的统一世界模型,旨在实现单一和多角色故事可视化。该模型基于AAAI 2025论文,能够通过统一的框架处理故事中角色的定制和可视化,这对于自然语言处理和人工智能领域具有重要意义。StoryWeaver的主要优点包括其能够处理复杂故事情境的能力,以及能够持续更新和扩展其功能。产品背景信息显示,该模型将不断更新arXiv论文,并添加更多实验结果。
一款高效率的2.4亿参数轻量级语言模型
YuLan-Mini是由中国人民大学AI Box团队开发的一款轻量级语言模型,具有2.4亿参数,尽管仅使用1.08T的预训练数据,但其性能可与使用更多数据训练的行业领先模型相媲美。该模型特别擅长数学和代码领域,为了促进可复现性,团队将开源相关的预训练资源。
场景感知的语义导航与指令引导控制模型
SCENIC是一个文本条件的场景交互模型,能够适应具有不同地形的复杂场景,并支持使用自然语言进行用户指定的语义控制。该模型通过用户指定的轨迹作为子目标和文本提示,来导航3D场景。SCENIC利用层次化推理场景的方法,结合运动与文本之间的帧对齐,实现不同运动风格之间的无缝过渡。该技术的重要性在于其能够生成符合真实物理规则和用户指令的角色导航动作,对于虚拟现实、增强现实以及游戏开发等领域具有重要意义。
一站式大模型算法、模型及优化工具开源项目
FlagAI是由北京智源人工智能研究院推出的一站式、高质量开源项目,集成了全球各种主流大模型算法技术以及多种大模型并行处理和训练加速技术。它支持高效训练和微调,旨在降低大模型开发和应用的门槛,提高开发效率。FlagAI涵盖了多个领域明星模型,如语言大模型OPT、T5,视觉大模型ViT、Swin Transformer,多模态大模型CLIP等。智源研究院也持续将“悟道2.0”“悟道3.0”大模型项目成果开源至FlagAI,目前该项目已经加入Linux基金会,吸引全球科研力量共同创新、共同贡献。
开源的端到端视觉语言模型(VLM)基础的GUI代理
CogAgent是一个基于视觉语言模型(VLM)的GUI代理,它通过屏幕截图和自然语言实现双语(中文和英文)交云。CogAgent在GUI感知、推理预测准确性、操作空间完整性和任务泛化方面取得了显著进步。该模型已经在ZhipuAI的GLM-PC产品中得到应用,旨在帮助研究人员和开发者推进基于视觉语言模型的GUI代理的研究和应用。
将语音转换为博客文章的助手
Robo Blogger是一个专注于将语音转换为博客文章的人工智能助手。它通过捕捉自然语言中的创意,将其结构化为有条理的博客内容,同时可以结合参考资料以确保文章的准确性和深度。这个工具基于之前Report mAIstro项目的概念,专为博客文章创作优化。通过分离创意捕捉和内容结构化,Robo Blogger帮助保持原始想法的真实性,同时确保专业呈现。
高效、多语种的语音合成模型
CosyVoice语音生成大模型2.0-0.5B是一个高性能的语音合成模型,支持零样本、跨语言的语音合成,能够根据文本内容直接生成相应的语音输出。该模型由通义实验室提供,具有强大的语音合成能力和广泛的应用场景,包括但不限于智能助手、有声读物、虚拟主播等。模型的重要性在于其能够提供自然、流畅的语音输出,极大地丰富了人机交互的体验。
WePOINTS项目,提供多模态模型的统一框架
WePOINTS是由微信AI团队开发的一系列多模态模型,旨在创建一个统一框架,容纳各种模态。这些模型利用最新的多模态模型进展和技术,推动内容理解和生成的无缝统一。WePOINTS项目不仅提供了模型,还包括了预训练数据集、评估工具和使用教程,是多模态人工智能领域的重要贡献。
© 2025 AIbase 备案号:闽ICP备08105208号-14