需求人群:
"该产品主要面向研究人员和开发者,特别是那些需要对大型语言模型进行微调和优化的用户。它适合那些需要高质量数据集来训练和测试自己的模型的用户,以及那些需要工具来评估和生成数据的用户。"
使用场景示例:
研究人员可以使用该产品中的数学数据集来训练和优化他们的语言模型,提高模型在数学推理和逻辑推理方面的能力。
开发者可以使用该产品中的代码数据集来训练和优化他们的语言模型,提高模型在代码理解和生成方面的能力。
企业可以使用该产品中的通用混合数据集来训练和优化他们的语言模型,提高模型在多种场景下的应用能力。
产品特色:
提供多种高质量的数据集,包括通用混合数据集、数学数据集、代码数据集等,满足不同场景的需求。
支持数据集的多样化和复杂性,确保数据的准确性和多样性,提高模型的泛化能力。
提供数据质量评估工具,帮助用户筛选和优化数据集,提高数据质量。
支持数据生成工具,帮助用户生成更多高质量的数据,填补数据缺口。
提供数据探索工具,帮助用户更好地理解和分析数据集,发现数据中的规律和特点。
提供详细的文档和教程,帮助用户更好地使用这些数据集和工具。
支持多种编程语言和框架,方便用户在不同的开发环境中使用。
提供社区支持和协作平台,促进用户之间的交流和合作,共同推动 LLM 领域的发展。
使用教程:
访问 mlabonne/llm-datasets 的 GitHub 页面,查看可用的数据集和工具。
选择适合您需求的数据集,下载或克隆到本地。
使用提供的数据质量评估工具对数据集进行筛选和优化。
使用数据生成工具生成更多高质量的数据,填补数据缺口。
使用数据探索工具分析数据集,发现数据中的规律和特点。
根据需要将数据集用于模型训练和测试。
参考提供的文档和教程,了解如何更好地使用这些数据集和工具。
参与社区讨论和协作,与其他用户交流经验和心得。
浏览量:8
最新流量情况
月访问量
4.91m
平均访问时长
00:06:18
每次访问页数
5.57
跳出率
37.92%
流量来源
直接访问
51.73%
自然搜索
32.88%
邮件
0.04%
外链引荐
13.01%
社交媒体
2.27%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.81%
德国
3.69%
印度
9.16%
俄罗斯
4.47%
美国
18.04%
高质量的数据集、工具和概念,用于大型语言模型的微调。
mlabonne/llm-datasets 是一个专注于大型语言模型(LLM)微调的高质量数据集和工具的集合。该产品为研究人员和开发者提供了一系列经过精心筛选和优化的数据集,帮助他们更好地训练和优化自己的语言模型。其主要优点在于数据集的多样性和高质量,能够覆盖多种使用场景,从而提高模型的泛化能力和准确性。此外,该产品还提供了一些工具和概念,帮助用户更好地理解和使用这些数据集。其背景信息包括由 mlabonne 创建和维护,旨在推动 LLM 领域的发展。
强大的多模态LLM,商业解决方案
Reka Core是一个GPT-4级别的多模态大型语言模型(LLM),具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。
FlashInfer是一个用于大型语言模型服务的高性能GPU内核库。
FlashInfer是一个专为大型语言模型(LLM)服务而设计的高性能GPU内核库。它通过提供高效的稀疏/密集注意力机制、负载平衡调度、内存效率优化等功能,显著提升了LLM在推理和部署时的性能。FlashInfer支持PyTorch、TVM和C++ API,易于集成到现有项目中。其主要优点包括高效的内核实现、灵活的自定义能力和广泛的兼容性。FlashInfer的开发背景是为了满足日益增长的LLM应用需求,提供更高效、更可靠的推理支持。
Eurus-2-7B-SFT是一个经过数学能力优化的大型语言模型,专注于推理和问题解决.
Eurus-2-7B-SFT是基于Qwen2.5-Math-7B模型进行微调的大型语言模型,专注于数学推理和问题解决能力的提升。该模型通过模仿学习(监督微调)的方式,学习推理模式,能够有效解决复杂的数学问题和编程任务。其主要优点在于强大的推理能力和对数学问题的准确处理,适用于需要复杂逻辑推理的场景。该模型由PRIME-RL团队开发,旨在通过隐式奖励的方式提升模型的推理能力。
将本地文件转换为大型语言模型的结构化提示工具
CodebaseToPrompt 是一个简单工具,能够将本地目录转换为大型语言模型(LLM)的结构化提示。它帮助用户选择需要包含或忽略的文件,然后以可以直接复制到 LLM 中的格式输出,适用于代码审查、分析或文档生成。该工具的主要优点在于其交互性强、操作简便,并且能够在浏览器中直接使用,无需上传任何文件,确保了数据的安全性和隐私性。产品背景信息显示,它是由 path-find-er 团队开发,旨在提高开发者在使用 LLM 进行代码相关任务时的效率。
Sonus-1:开启大型语言模型(LLMs)的新时代
Sonus-1是Sonus AI推出的一系列大型语言模型(LLMs),旨在推动人工智能的边界。这些模型以其高性能和多应用场景的多功能性而设计,包括Sonus-1 Mini、Sonus-1 Air、Sonus-1 Pro和Sonus-1 Pro (w/ Reasoning)等不同版本,以满足不同需求。Sonus-1 Pro (w/ Reasoning)在多个基准测试中表现突出,特别是在推理和数学问题上,展现了其超越其他专有模型的能力。Sonus AI致力于开发高性能、可负担、可靠且注重隐私的大型语言模型。
数据驱动的框架,增强大型语言模型的工作流编排能力
WorkflowLLM是一个以数据为中心的框架,旨在增强大型语言模型(LLMs)在工作流编排方面的能力。核心是WorkflowBench,这是一个大规模的监督式微调数据集,包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型,创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明,WorkflowLlama在编排复杂工作流方面表现出色,并且能够很好地泛化到未见过的API。
多智能体系统,解决复杂任务
Magentic-One是由微软研究团队开发的一个通用多智能体系统,旨在解决开放性网络和文件任务。该系统代表了人工智能领域向代理系统发展的重要一步,这些系统能够完成人们在工作和生活中遇到的复杂多步骤任务。Magentic-One采用了一个名为Orchestrator的主智能体,负责规划、跟踪进度和在需要时重新规划,同时指导其他专门智能体执行任务,如操作网络浏览器、导航本地文件或编写和执行Python代码。Magentic-One在多个挑战性的代理基准测试中表现出与最新技术相媲美的性能,且无需对其核心能力或架构进行修改。
精选优质AI内容,遇见未来
360AI导航是一个集合了多种人工智能工具和资源的平台,旨在为用户提供一站式的AI服务体验。该平台涵盖了从AI资讯、AI搜索、AI绘画到AI写作等多个领域的工具,帮助用户更高效地利用AI技术解决实际问题。360AI导航不仅提供了丰富的AI工具,还通过360智脑等产品展示了其在AI领域的技术实力和创新能力。
高效编码的开源大型语言模型
Yi-Coder是一系列开源的代码大型语言模型(LLMs),在少于100亿参数的情况下提供最先进的编码性能。它有两种尺寸—1.5B和9B参数—提供基础和聊天版本,旨在高效推理和灵活训练。Yi-Coder-9B在GitHub的代码库级别代码语料库和从CommonCrawl筛选的代码相关数据上,额外训练了2.4万亿高质量token。Yi-Coder在多种编程任务中表现出色,包括基础和竞技编程、代码编辑和仓库级完成、长上下文理解以及数学推理。
开源版Anthropic的Claude Artifacts界面
AI Artifacts是一个开源的Anthropic Claude Artifacts界面版本,使用E2B的代码解释器SDK和核心SDK执行AI代码。E2B提供了一个云沙箱来安全地运行AI生成的代码,并可以处理安装库、运行shell命令、运行Python、JavaScript、R以及Nextjs应用程序等。
一万亿Token和34亿张图像的多模态数据集
MINT-1T是由Salesforce AI开源的多模态数据集,包含一万亿个文本标记和34亿张图像,规模是现有开源数据集的10倍。它不仅包含HTML文档,还包括PDF文档和ArXiv论文,丰富了数据集的多样性。MINT-1T的数据集构建涉及多种来源的数据收集、处理和过滤步骤,确保了数据的高质量和多样性。
通过GPT等大型语言模型与你的文档对话
IncarnaMind是一个开源项目,旨在通过大型语言模型(LLMs)如GPT、Claude和本地开源LLMs,实现与个人文档(PDF、TXT)的交互对话。该项目利用滑动窗口分块机制和集成检索器,提高查询效率,增强LLMs的准确性。它支持多文档对话问答,突破了单文档限制,并兼容多种文件格式和LLM模型。
大规模图像编辑数据集
UltraEdit是一个大规模的图像编辑数据集,包含约400万份编辑样本,自动生成,基于指令的图像编辑。它通过利用大型语言模型(LLMs)的创造力和人类评估员的上下文编辑示例,提供了一个系统化的方法来生产大规模和高质量的图像编辑样本。UltraEdit的主要优点包括:1) 它通过利用大型语言模型的创造力和人类评估员的上下文编辑示例,提供了更广泛的编辑指令;2) 其数据源基于真实图像,包括照片和艺术作品,提供了更大的多样性和减少了偏见;3) 它还支持基于区域的编辑,通过高质量、自动生成的区域注释得到增强。
集成大型语言模型的SDK
Semantic Kernel是一个集成了大型语言模型(LLMs)如OpenAI、Azure OpenAI和Hugging Face的软件开发工具包(SDK),它允许开发者通过定义可串联的插件,在几行代码内实现与AI的交互。其特色在于能够自动编排AI插件,使用户能够通过LLM生成实现特定目标的计划,并由Semantic Kernel执行该计划。
开源视觉-语言-动作模型,推动机器人操作技术发展。
OpenVLA是一个具有7亿参数的开源视觉-语言-动作(VLA)模型,通过在Open X-Embodiment数据集上的970k机器人剧集进行预训练。该模型在通用机器人操作策略上设定了新的行业标准,支持开箱即用控制多个机器人,并且可以通过参数高效的微调快速适应新的机器人设置。OpenVLA的检查点和PyTorch训练流程完全开源,模型可以从HuggingFace下载并进行微调。
为开发者提供高质量编程、AI等领域阅读体验
BestBlogs.dev 是一个专注于编程、人工智能、产品设计、商业科技及个人成长领域的阅读平台。它通过先进的语言模型,为开发者提供智能摘要、精准评分与多语言辅助,帮助用户高效过滤信息噪音,节约时间,实现技术与认知的双重飞跃。
一种用于生成超详细图像描述的模型,用于训练视觉语言模型。
ImageInWords (IIW) 是一个由人类参与的循环注释框架,用于策划超详细的图像描述,并生成一个新的数据集。该数据集通过评估自动化和人类并行(SxS)指标来实现最先进的结果。IIW 数据集在生成描述时,比以往的数据集和GPT-4V输出在多个维度上有了显著提升,包括可读性、全面性、特异性、幻觉和人类相似度。此外,使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色,能够生成更接近原始图像的描述。
简化 LLM 提示管理和促进团队协作
Langtail 是一个旨在简化大型语言模型(LLM)提示管理的平台。通过Langtail,您可以增强团队协作、提高效率,并更深入地了解您的AI工作原理。尝试Langtail,以更具协作和洞察力的方式构建LLM应用。
将LLM接入Comfy UI的插件
Tara是一款插件,可以将大型语言模型(LLM)接入到Comfy UI中,支持简单的API设置,并集成LLaVa模型。其中包含TaraPrompter节点用于生成精确结果、TaraApiKeyLoader节点管理API密钥、TaraApiKeySaver节点安全保存密钥、TaraDaisyChainNode节点串联输出实现复杂工作流。
基于百度文心大模型的编程辅助工具
Comate是由百度基于文心大模型研发的编程辅助工具,可提供自动代码生成、单元测试生成、注释生成以及智能问答等功能。支持上百种编程语言,旨在帮助开发者大幅提升编码效率。使用Comate,让编程更加高效和便捷。个人版本提供业务代码与测试代码的生成、代码优化与修复、自然语言对话式技术问答等多维度辅助编码能力。企业版本在个人版本的基础之上,同时提供完备的数据报表能力,助力企业分析应用效果、定位效能瓶颈,一站式赋能研发过程降本提效。私有化部署版本涵盖企业版本全部能力,同时支撑大型企业规模化部署与应用,保障使用效果,维护数据安全。
Apollo是一个多语言医学领域的模型、数据集、基准和代码库
Apollo项目由FreedomIntelligence组织维护,旨在通过提供多语言医学领域的大型语言模型(LLMs)来民主化医疗AI,覆盖6亿人。该项目包括模型、数据集、基准测试和相关代码。
数学文本智能标记数据集
AutoMathText是一个广泛且精心策划的数据集,包含约200GB的数学文本。数据集中的每条内容都被最先进的开源语言模型Qwen进行自主选择和评分,确保高标准的相关性和质量。该数据集特别适合促进数学和人工智能交叉领域的高级研究,作为学习和教授复杂数学概念的教育工具,以及为开发和训练专门处理和理解数学内容的AI模型提供基础。
教育AI编程平台
Cyber Square是一家为学校提供计算机科学教育解决方案的公司,包括针对KG1至高中的编程和人工智能课程。他们的平台利用人工智能为教师提供便利,提供云端计算机实验室和个人登录。此外,Cyber Square还举办数字节,展示学生的科技成果,并提供10年以上的经验、风险免费的实施以及国际合作等优势。
提高LLM选择性预测能力的框架
ASPIRE是一个设计精良的框架,用于增强大型语言模型的选择性预测能力。它通过参数高效的微调训练LLM进行自我评估,使其能够针对生成的答案输出置信度分数。实验结果表明,ASPIRE在各种问答数据集上明显优于目前的选择性预测方法。
增强LLM推理能力的ReFT
ReFT是一种增强大型语言模型(LLMs)推理能力的简单而有效的方法。它首先通过监督微调(SFT)对模型进行预热,然后使用在线强化学习,具体来说是本文中的PPO算法,进一步微调模型。ReFT通过自动对给定问题进行大量推理路径的采样,并从真实答案中自然地得出奖励,从而显著优于SFT。ReFT的性能可能通过结合推理时策略(如多数投票和重新排名)进一步提升。需要注意的是,ReFT通过学习与SFT相同的训练问题而获得改进,而无需依赖额外或增强的训练问题。这表明ReFT具有更强的泛化能力。
文本转音乐和音频
MAGNeT是一个提供各种人工智能模型和数据集的社区平台。用户可以在平台上找到各种先进的自然语言处理和机器学习模型,以及相关的数据集。该平台还提供了一系列解决方案,包括文本到语音转换、图像处理等。MAGNeT定位于为开发人员、研究人员和企业提供高质量的人工智能模型和数据集。
Windows AI Studio 简化生成式 AI 应用程序开发
Windows AI Studio 通过将来自 Azure AI Studio Catalog 和 Hugging Face 等目录的先进 AI 开发工具和模型集合在一起,简化了生成式 AI 应用程序的开发。您可以浏览由 Azure ML 和 Hugging Face 提供支持的 AI 模型目录,将其下载到本地,进行微调、测试并在 Windows 应用程序中使用。所有计算都在本地进行,请确保您的设备能够承受负载。未来,我们计划将 ORT/DML 集成到 Windows AI Studio 工作流中,以便开发人员可以在任何 Windows 硬件上运行 AI 模型。
© 2024 AIbase 备案号:闽ICP备08105208号-14