高质量英文网页数据集
FineWeb数据集包含超过15万亿个经过清洗和去重的英文网页数据,来源于CommonCrawl。该数据集专为大型语言模型预训练设计,旨在推动开源模型的发展。数据集经过精心处理和筛选,以确保高质量,适用于各种自然语言处理任务。
生成式室内设计训练框架
StableDesign项目旨在为生成式室内设计提供数据集和训练方法。用户上传空房间图片和文字提示,生成装修效果图。通过爱彼迎数据下载、特征提取和ControlNet模型训练,结合图像处理和自然语言处理技术,提供新思路和方法。
开发中大规模模型系统的组织
LMSYS Org 是一个组织,旨在使大型模型及其系统基础设施的技术民主化。他们开发了 Vicuna 聊天机器人,其在 7B/13B/33B 规模下可以印象 GPT-4,实现了 90% ChatGPT 质量。同时,还提供 Chatbot Arena 以众包和 Elo 评级系统进行大规模、游戏化评估 LLMs。SGLang 提供了复杂 LLM 程序的高效接口和运行时环境。LMSYS-Chat-1M 是一个大规模真实世界 LLM 对话数据集。FastChat 是一个用于训练、提供服务和评估基于 LLM 的聊天机器人的开放平台。MT-Bench 是一个用于评估聊天机器人的一组具有挑战性、多回合、开放式问题。
Apollo是一个多语言医学领域的模型、数据集、基准和代码库
Apollo项目由FreedomIntelligence组织维护,旨在通过提供多语言医学领域的大型语言模型(LLMs)来民主化医疗AI,覆盖6亿人。该项目包括模型、数据集、基准测试和相关代码。
MNBVC是一个超大规模的中文语料集,对标chatGPT训练的40T数据
MNBVC(Massive Never-ending BT Vast Chinese corpus)是一个旨在为AI提供丰富中文语料的项目。它不仅包括主流文化内容,还涵盖了小众文化和网络用语。数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等多种形式的纯文本中文数据。
Aria每日活动数据集,加速机器感知和人工智能发展
Aria每日活动数据集是Aria项目发布的首个试点数据集的重新发布版本,该数据集利用新的工具和位置数据进行了更新,以加速机器感知和人工智能技术的发展。数据集包含日常生活场景下的第一人称视频序列,并配有丰富的传感器数据、注释数据以及由Aria机器感知服务生成的3D点云数据等。研究人员可以使用Aria提供的专用工具快速上手使用该数据集开展研究。
数学文本智能标记数据集
AutoMathText是一个广泛且精心策划的数据集,包含约200GB的数学文本。数据集中的每条内容都被最先进的开源语言模型Qwen进行自主选择和评分,确保高标准的相关性和质量。该数据集特别适合促进数学和人工智能交叉领域的高级研究,作为学习和教授复杂数学概念的教育工具,以及为开发和训练专门处理和理解数学内容的AI模型提供基础。
LiveFood是一个美食视频高光检测数据集和全局原型编码模型
LiveFood是一个包含超过5100个美食视频的数据集,视频包括食材、烹饪、呈现和食用四个领域,所有视频均由专业工人精细注释,并采用严格的双重检查机制进一步保证注释质量。我们还提出了全局原型编码(GPE)模型来处理这个增量学习问题,与传统技术相比获得了竞争性的性能。
文本转音乐和音频
MAGNeT是一个提供各种人工智能模型和数据集的社区平台。用户可以在平台上找到各种先进的自然语言处理和机器学习模型,以及相关的数据集。该平台还提供了一系列解决方案,包括文本到语音转换、图像处理等。MAGNeT定位于为开发人员、研究人员和企业提供高质量的人工智能模型和数据集。
大规模视频自动配音数据集
ANIM-400K是一个包含超过425,000个对齐的日语和英语动画视频片段的综合数据集,支持自动配音、同声翻译、视频摘要、流派/主题/风格分类等各种视频相关任务。该数据集公开用于研究目的。
大规模实景数据集,用于深度学习三维视觉研究
DL3DV-10K是一个包含超过10000个高质量视频的大规模实景数据集,每个视频都经过人工标注场景关键点和复杂程度,并提供相机姿态、NeRF估计深度、点云和3D网格等。该数据集可用于通用NeRF研究、场景一致性跟踪、视觉语言模型等计算机视觉研究。
3D人物生成模型
En3D是一个提供先进自然语言处理模型的平台。他们提供了各种各样的模型和数据集,以帮助开发者构建和部署自然语言处理应用。En3D平台的优势在于提供了大量预训练模型和方便的部署工具,使得开发者能够快速、高效地构建自然语言处理应用。
端到端MLLM,实现精准引用和定位
ml-ferret是一个端到端的机器学习语言模型(MLLM),能够接受各种形式的引用并响应性地在多模态环境中进行精准定位。它结合了混合区域表示和空间感知的视觉采样器,支持细粒度和开放词汇的引用和定位。此外,ml-ferret还包括GRIT数据集(约110万个样本)和Ferret-Bench评估基准。
构建LLM应用的开发平台
LLM Spark是一个开发平台,可用于构建基于LLM的应用程序。它提供多个LLM的快速测试、版本控制、可观察性、协作、多个LLM支持等功能。LLM Spark可轻松构建AI聊天机器人、虚拟助手等智能应用程序,并通过与提供商密钥集成,实现卓越性能。它还提供了GPT驱动的模板,加速了各种AI应用程序的创建,同时支持从零开始定制项目。LLM Spark还支持无缝上传数据集,以增强AI应用程序的功能。通过LLM Spark的全面日志和分析,可以比较GPT结果、迭代和部署智能AI应用程序。它还支持多个模型同时测试,保存提示版本和历史记录,轻松协作,以及基于意义而不仅仅是关键字的强大搜索功能。此外,LLM Spark还支持将外部数据集集成到LLM中,并符合GDPR合规要求,确保数据安全和隐私保护。
模型和数据集的集合
Distil-Whisper是一个提供模型和数据集的平台,用户可以在该平台上访问各种预训练模型和数据集,并进行相关的应用和研究。该平台提供了丰富的模型和数据集资源,帮助用户快速开展自然语言处理和机器学习相关工作。
一站式 AI 开发平台
OpenXLab浦源面向人工智能领域开发者和使用者,提供一站式 AI 开发平台。包括应用开发,模型免费托管,数据集下载等服务。应用中心提供应用构建平台,模型中心提供社区化模型托管平台,数据集中心提供海量优质人工智能数据集。
AI数据引擎,涵盖标注、工作流、数据集和人工智能
V7是一个AI数据引擎,提供企业级训练数据的完整基础设施,涵盖标注、工作流、数据集和人工在循环中。它能够帮助用户快速高效地标注、处理和管理训练数据,提高AI模型的准确性和性能。V7支持自动化标注、视频标注、文档处理等功能,适用于各种行业和应用场景。
生成逼真的人类图像
HyperHuman是一个生成逼真的人类图像的模型。该模型通过捕捉人类图像的结构性特征,从粗略的身体骨架到细粒度的空间几何形状,生成具有连贯性和自然性的人类图像。HyperHuman包括三个部分:1)构建一个大规模的人类数据集HumanVerse,其中包含340M张图像和全面的注释,如人体姿势、深度和表面法线;2)提出一个潜在结构扩散模型,该模型同时去噪深度、表面法线和合成的RGB图像。我们的模型在一个统一的网络中强制学习图像外观、空间关系和几何形状,模型中的每个分支都具有结构感知性和纹理丰富性;3)最后,为了进一步提高视觉质量,我们提出了一个结构引导的细化器,用于更详细的高分辨率生成。大量实验证明,我们的模型在各种场景下生成了具有高真实感和多样性的人类图像,达到了最先进的性能。
© 2024 AIbase 备案号:闽ICP备2023012347号-1