Level-Navi Agent是一个无需训练即可使用的框架,利用大语言模型进行深度查询理解和精准搜索。
Level-Navi Agent是一个开源的通用网络搜索代理框架,能够将复杂问题分解并逐步搜索互联网上的信息,直至回答用户问题。它通过提供Web24数据集,覆盖金融、游戏、体育、电影和事件等五大领域,为评估模型在搜索任务上的表现提供了基准。该框架支持零样本和少样本学习,为大语言模型在中文网络搜索代理领域的应用提供了重要参考。
一个利用人工智能帮助学习和贡献美国手语(ASL)的平台。
Signs 是一个由 NVIDIA 支持的创新平台,旨在通过人工智能技术帮助用户学习美国手语(ASL),并允许用户通过录制手语视频贡献数据,以构建全球最大的开放手语数据集。该平台利用 AI 实时反馈和 3D 动画技术,为初学者提供友好的学习体验,同时为手语社区提供数据支持,推动手语学习的普及和多样性。平台计划在 2025 年下半年公开数据集,以促进更多相关技术和服务的开发。
一个专注于整理最佳开源推理数据集的社区项目
Open Thoughts 是一个由 Bespoke Labs 和 DataComp 社区主导的项目,旨在整理高质量的开源推理数据集,用于训练先进的小模型。该项目汇集了来自斯坦福大学、加州大学伯克利分校、华盛顿大学等多所高校和研究机构的研究人员与工程师,致力于通过优质数据集推动推理模型的发展。其背景是当前推理模型在数学和代码推理等领域的应用需求日益增长,而高质量的数据集是提升模型性能的关键。该项目目前免费开放,主要面向研究人员、开发者以及对推理模型感兴趣的专业人士,其数据集和工具的开源性使其成为推动人工智能教育和研究的重要资源。
Dolphin R1是一个用于训练推理模型的数据集,包含80万条样本。
Dolphin R1是一个由Cognitive Computations团队创建的数据集,旨在训练类似DeepSeek-R1 Distill模型的推理模型。该数据集包含30万条来自DeepSeek-R1的推理样本、30万条来自Gemini 2.0 flash thinking的推理样本以及20万条Dolphin聊天样本。这些数据集的组合为研究人员和开发者提供了丰富的训练资源,有助于提升模型的推理能力和对话能力。该数据集的创建得到了Dria、Chutes、Crusoe Cloud等多家公司的赞助支持,这些赞助商为数据集的开发提供了计算资源和资金支持。Dolphin R1数据集的发布,为自然语言处理领域的研究和开发提供了重要的基础,推动了相关技术的发展。
将Common Crawl转化为精细的长期预训练数据集
Nemotron-CC是一个基于Common Crawl的6.3万亿token的数据集。它通过分类器集成、合成数据改写和减少启发式过滤器的依赖,将英文Common Crawl转化为一个6.3万亿token的长期预训练数据集,包含4.4万亿全球去重的原始token和1.9万亿合成生成的token。该数据集在准确性和数据量之间取得了更好的平衡,对于训练大型语言模型具有重要意义。
高质量的数据集、工具和概念,用于大型语言模型的微调。
mlabonne/llm-datasets 是一个专注于大型语言模型(LLM)微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集,帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量,能够覆盖多种使用场景,从而提高模型的泛化能力和准确性。此外,该产品还提供了一些工具和概念,帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护,旨在推动 LLM 领域的发展。
数据定制化服务,助力模型精准微调
Bespoke Labs专注于提供高质量的定制化数据集服务,以支持工程师进行精确的模型微调。公司由Google DeepMind的前员工Mahesh和UT Austin的Alex共同创立,旨在改善高质量数据的获取,这对于推动领域发展至关重要。Bespoke Labs提供的工具和平台,如Minicheck、Evalchemy和Curator,都是围绕数据集的创建和管理设计的,以提高数据的质量和模型的性能。
AI工具集,助力效率释放,更高效的办公学习体验。
Winihelper是一款由大学生团队开发的AI工具集,旨在通过先进的multi-agent系统架构和自研技术,优化工作流程,释放个人的全部潜能。产品依托北京绘感科技有限公司的万亿级专业数据库,提供高质量论文和专业百科词条,以专业写手的语气定制算法生成文本,让AI成为超级打工人。
快速生成高质量视频的模型
FastHunyuan是由Hao AI Lab开发的加速版HunyuanVideo模型,能够在6次扩散步骤中生成高质量视频,相比原始HunyuanVideo模型的50步扩散,速度提升约8倍。该模型在MixKit数据集上进行一致性蒸馏训练,具有高效率和高质量的特点,适用于需要快速生成视频的场景。
大规模多语言文本数据集
allenai/tulu-3-sft-olmo-2-mixture是一个大规模的多语言数据集,包含了用于训练和微调语言模型的多样化文本样本。该数据集的重要性在于它为研究人员和开发者提供了丰富的语言资源,以改进和优化多语言AI模型的性能。产品背景信息包括其由多个来源的数据混合而成,适用于教育和研究领域,且遵循特定的许可协议。
用于强化学习验证的数学问题数据集
RLVR-GSM-MATH-IF-Mixed-Constraints数据集是一个专注于数学问题的数据集,它包含了多种类型的数学问题和相应的解答,用于训练和验证强化学习模型。这个数据集的重要性在于它能够帮助开发更智能的教育辅助工具,提高学生解决数学问题的能力。产品背景信息显示,该数据集由allenai在Hugging Face平台上发布,包含了GSM8k和MATH两个子集,以及带有可验证约束的IF Prompts,适用于MIT License和ODC-BY license。
大规模多模态推理与指令调优平台
MAmmoTH-VL是一个大规模多模态推理平台,它通过指令调优技术,显著提升了多模态大型语言模型(MLLMs)在多模态任务中的表现。该平台使用开放模型创建了一个包含1200万指令-响应对的数据集,覆盖了多样化的、推理密集型的任务,并提供了详细且忠实的理由。MAmmoTH-VL在MathVerse、MMMU-Pro和MuirBench等基准测试中取得了最先进的性能,展现了其在教育和研究领域的重要性。
基于InternViT-300M-448px的增强版本,提升视觉特征提取能力。
InternViT-300M-448px-V2_5是一个基于InternViT-300M-448px的增强版本,通过采用ViT增量学习与NTP损失(Stage 1.5),提升了视觉编码器提取视觉特征的能力,尤其是在大规模网络数据集中代表性不足的领域,如多语言OCR数据和数学图表等。该模型是InternViT 2.5系列的一部分,保留了与前代相同的“ViT-MLP-LLM”模型架构,并集成了新的增量预训练的InternViT与各种预训练的LLMs,如InternLM 2.5和Qwen 2.5,使用随机初始化的MLP投影器。
多语言预训练数据集
FineWeb2是由Hugging Face提供的一个大规模多语言预训练数据集,覆盖超过1000种语言。该数据集经过精心设计,用于支持自然语言处理(NLP)模型的预训练和微调,特别是在多种语言上。它以其高质量、大规模和多样性而闻名,能够帮助模型学习跨语言的通用特征,提升在特定语言任务上的表现。FineWeb2在多个语言的预训练数据集中表现出色,甚至在某些情况下,比一些专门为单一语言设计的数据库表现更好。
多功能代码沙箱,适用于大型语言模型。
Sandbox Fusion是一个多功能代码沙箱,专为大型语言模型(LLMs)设计。它支持多达20种编程语言,能够全面测试包括编程、数学和硬件编程在内的多个领域。Sandbox Fusion集成了超过10个与编码相关的评估数据集,这些数据集具有标准化的数据格式,并且可以通过统一的HTTP API访问。此外,Sandbox Fusion针对云基础设施部署进行了优化,并在有特权容器时提供内置的安全隔离。产品背景信息显示,Sandbox Fusion由字节跳动有限公司开发,旨在为开发者提供一个安全、高效的代码测试环境。
大规模文本数据集,用于偏好混合研究
OLMo 2 1124 7B Preference Mixture 是一个大规模的文本数据集,由 Hugging Face 提供,包含366.7k个生成对。该数据集用于训练和微调自然语言处理模型,特别是在偏好学习和用户意图理解方面。它结合了多个来源的数据,包括SFT混合数据、WildChat数据以及DaringAnteater数据,覆盖了广泛的语言使用场景和用户交互模式。
大规模多语言偏好混合数据集
OLMo 2 1124 13B Preference Mixture是一个由Hugging Face提供的大型多语言数据集,包含377.7k个生成对,用于训练和优化语言模型,特别是在偏好学习和指令遵循方面。该数据集的重要性在于它提供了一个多样化和大规模的数据环境,有助于开发更加精准和个性化的语言处理技术。
高质量数据集,用于OLMo2训练的第二阶段。
DOLMino dataset mix for OLMo2 stage 2 annealing training是一个混合了多种高质数据的数据集,用于在OLMo2模型训练的第二阶段。这个数据集包含了网页页面、STEM论文、百科全书等多种类型的数据,旨在提升模型在文本生成任务中的表现。它的重要性在于为开发更智能、更准确的自然语言处理模型提供了丰富的训练资源。
© 2025 AIbase 备案号:闽ICP备08105208号-14