需求人群:
"目标受众为机器学习和人工智能领域的研究人员和开发者,特别是那些专注于图像识别、图像描述生成和视觉问答系统的专家。该数据集的规模和多样性使其成为训练和测试这些系统的理想资源。"
使用场景示例:
研究人员使用PixelProse数据集训练一个图像描述生成模型,以自动为社交媒体上的图片生成描述。
开发者利用该数据集开发了一个视觉问答应用,能够回答用户关于图像内容的问题。
教育机构使用PixelProse作为教学资源,帮助学生了解图像识别和自然语言处理的基本原理。
产品特色:
提供超过16M的图像-文本配对。
支持多种任务,如图像到文本和文本到图像。
包含多种模态,包括表格和文本。
数据格式为parquet,易于机器学习模型处理。
包含详细的图像描述,适用于训练复杂的视觉-语言模型。
数据集分为CommonPool、CC12M和RedCaps三个部分。
提供图像的EXIF信息和SHA256哈希值,确保数据完整性。
使用教程:
第一步:访问Hugging Face网站并搜索PixelProse数据集。
第二步:选择合适的下载方式,例如通过Git LFS、Huggingface API或直接链接下载parquet文件。
第三步:使用parquet文件中的URL下载相应的图像。
第四步:根据研究或开发需要,加载数据集并进行预处理。
第五步:使用数据集训练或测试视觉-语言模型。
第六步:评估模型性能,并根据需要调整模型参数。
第七步:将训练好的模型应用于实际问题或进一步的研究中。
浏览量:29
最新流量情况
月访问量
17788.20k
平均访问时长
00:05:32
每次访问页数
5.42
跳出率
44.87%
流量来源
直接访问
48.44%
自然搜索
36.49%
邮件
0.03%
外链引荐
12.04%
社交媒体
2.98%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
14.62%
印度
7.73%
日本
3.41%
俄罗斯
5.72%
美国
17.44%
大规模图像描述数据集,提供超过16M的合成图像描述。
PixelProse是一个由tomg-group-umd创建的大规模数据集,它利用先进的视觉-语言模型Gemini 1.0 Pro Vision生成了超过1600万个详细的图像描述。这个数据集对于开发和改进图像到文本的转换技术具有重要意义,可以用于图像描述生成、视觉问答等任务。
四足机器人室内移动操作系统
Helpful DoggyBot是一个四足机器人室内移动操作系统,它通过前端夹持装置进行物体操作,使用在模拟环境中训练的低级控制器实现敏捷技能,如攀爬和全身倾斜。此外,它还结合了预训练的视觉-语言模型(VLMs)进行语义理解和命令生成。该系统在没有实际数据收集或训练的情况下,能在未见过的环境中零样本泛化完成任务,如按照用户的指令在攀爬过后的床边取回随机放置的玩具,成功率达到60%。
为机器人提供虚拟模拟和评估的先进世界模型。
1X 世界模型是一种机器学习程序,能够模拟世界如何响应机器人的行为。它基于视频生成和自动驾驶汽车世界模型的技术进步,为机器人提供了一个虚拟模拟器,能够预测未来的场景并评估机器人策略。这个模型不仅能够处理复杂的对象交互,如刚体、掉落物体的影响、部分可观察性、可变形物体和铰接物体,还能够在不断变化的环境中进行评估,这对于机器人技术的发展至关重要。
生成开放世界视频游戏的扩散变换模型
GameGen-O 是首个为生成开放世界视频游戏而定制的扩散变换模型。该模型通过模拟游戏引擎的多种特性,如创新角色、动态环境、复杂动作和多样化事件,实现了高质量、开放领域的生成。此外,它还提供了交互式可控性,允许游戏玩法模拟。GameGen-O 的开发涉及从零开始的全面数据收集和处理工作,包括构建首个开放世界视频游戏数据集(OGameData),通过专有的数据管道进行高效的排序、评分、过滤和解耦标题。这个强大且广泛的 OGameData 构成了模型训练过程的基础。
AI技术快速生成图片描述
AI Describe Pictures是一个利用人工智能大模型构建的平台,能够快速为图片生成详细或简要的描述。它通过AI技术,不仅能够描述图片中的场景和人物,还可以根据用户的需求提供定制化的描述方式。该产品通过AI技术的应用,极大地提高了图片描述的效率和准确性,对于视觉障碍人士、内容创作者和需要图片描述的各类场景都具有重要的意义。
内容风格合成在文本到图像生成中的应用
CSGO是一个基于内容风格合成的文本到图像生成模型,它通过一个数据构建管道生成并自动清洗风格化数据三元组,构建了首个大规模的风格迁移数据集IMAGStyle,包含210k图像三元组。CSGO模型采用端到端训练,明确解耦内容和风格特征,通过独立特征注入实现。它实现了图像驱动的风格迁移、文本驱动的风格合成以及文本编辑驱动的风格合成,具有无需微调即可推理、保持原始文本到图像模型的生成能力、统一风格迁移和风格合成等优点。
大规模多模态医学数据集
MedTrinity-25M是一个大规模多模态数据集,包含多粒度的医学注释。它由多位作者共同开发,旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤,支持多种医学图像分析任务,如视觉问答(VQA)、病理学图像分析等。
一万亿Token和34亿张图像的多模态数据集
MINT-1T是由Salesforce AI开源的多模态数据集,包含一万亿个文本标记和34亿张图像,规模是现有开源数据集的10倍。它不仅包含HTML文档,还包括PDF文档和ArXiv论文,丰富了数据集的多样性。MINT-1T的数据集构建涉及多种来源的数据收集、处理和过滤步骤,确保了数据的高质量和多样性。
用于训练通用目标分割模型的视频数据集
SA-V Dataset是一个专为训练通用目标分割模型设计的开放世界视频数据集,包含51K个多样化视频和643K个时空分割掩模(masklets)。该数据集用于计算机视觉研究,允许在CC BY 4.0许可下使用。视频内容多样,包括地点、对象和场景等主题,掩模从建筑物等大规模对象到室内装饰等细节不等。
一种用于图像和视频的视觉分割基础模型。
Segment Anything Model 2 (SAM 2)是Meta公司AI研究部门FAIR推出的一个视觉分割模型,它通过简单的变换器架构和流式内存设计,实现实时视频处理。该模型通过用户交互构建了一个模型循环数据引擎,收集了迄今为止最大的视频分割数据集SA-V。SAM 2在该数据集上训练,提供了在广泛任务和视觉领域中的强大性能。
高性能语言模型基准测试数据集
DCLM-baseline是一个用于语言模型基准测试的预训练数据集,包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤,从Common Crawl数据集中提取,旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用,不适用于生产环境或特定领域的模型训练,如代码和数学。
大规模图像编辑数据集
UltraEdit是一个大规模的图像编辑数据集,包含约400万份编辑样本,自动生成,基于指令的图像编辑。它通过利用大型语言模型(LLMs)的创造力和人类评估员的上下文编辑示例,提供了一个系统化的方法来生产大规模和高质量的图像编辑样本。UltraEdit的主要优点包括:1) 它通过利用大型语言模型的创造力和人类评估员的上下文编辑示例,提供了更广泛的编辑指令;2) 其数据源基于真实图像,包括照片和艺术作品,提供了更大的多样性和减少了偏见;3) 它还支持基于区域的编辑,通过高质量、自动生成的区域注释得到增强。
自动生成丰富详细的图像描述
image-textualization 是一个自动框架,用于生成丰富和详细的图像描述。该框架利用深度学习技术,能够自动从图像中提取信息,并生成准确、详细的描述文本。这项技术在图像识别、内容生成和辅助视觉障碍人士等领域具有重要应用价值。
生成高质量图像描述的AI模型
HunyuanCaptioner是一款基于LLaVA实现的文本到图像技术模型,能够生成与图像高度一致的文本描述,包括物体描述、物体关系、背景信息、图像风格等。它支持中文和英文的单图和多图推理,并可通过Gradio进行本地演示。
先进的视觉基础模型,支持多种视觉和视觉-语言任务
Florence-2是由微软开发的高级视觉基础模型,采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示,执行诸如图像描述、目标检测和分割等任务。它利用FLD-5B数据集,包含54亿个注释,覆盖1.26亿张图像,精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色,证明是一个有竞争力的视觉基础模型。
先进的视觉基础模型,支持多种视觉和视觉-语言任务
Florence-2-large是由微软开发的先进视觉基础模型,采用基于提示的方法处理广泛的视觉和视觉-语言任务。该模型能够解释简单的文本提示来执行如图像描述、目标检测和分割等任务。它利用包含54亿注释的5.4亿图像的FLD-5B数据集,精通多任务学习。其序列到序列的架构使其在零样本和微调设置中均表现出色,证明是一个有竞争力的视觉基础模型。
编码器自由的视觉-语言模型,高效且数据驱动。
EVE是一个编码器自由的视觉-语言模型,由大连理工大学、北京人工智能研究院和北京大学的研究人员共同开发。它在不同图像宽高比下展现出卓越的能力,性能超越了Fuyu-8B,并且接近模块化编码器基础的LVLMs。EVE在数据效率、训练效率方面表现突出,使用33M公开数据进行预训练,并利用665K LLaVA SFT数据为EVE-7B模型训练,以及额外的1.2M SFT数据为EVE-7B (HD)模型训练。EVE的开发采用了高效、透明、实用的策略,为跨模态的纯解码器架构开辟了新途径。
表情包视觉标注数据集
emo-visual-data 是一个公开的表情包视觉标注数据集,它通过使用 glm-4v 和 step-free-api 项目完成的视觉标注,收集了5329个表情包。这个数据集可以用于训练和测试多模态大模型,对于理解图像内容和文本描述之间的关系具有重要意义。
生物医学领域的专业通用模型
UltraMedical项目旨在开发生物医学领域的专业通用模型,这些模型旨在回答与考试、临床场景和研究问题相关的问题,同时保持广泛的通用知识基础,以有效处理跨领域问题。通过使用先进的对齐技术,包括监督微调(SFT)、直接偏好优化(DPO)和赔率比偏好优化(ORPO),训练大型语言模型在UltraMedical数据集上,以创建强大且多功能的模型,有效服务于生物医学社区的需求。
通过强化学习微调大型视觉-语言模型作为决策代理
RL4VLM是一个开源项目,旨在通过强化学习微调大型视觉-语言模型,使其成为能够做出决策的智能代理。该项目由Yuexiang Zhai, Hao Bai, Zipeng Lin, Jiayi Pan, Shengbang Tong, Alane Suhr, Saining Xie, Yann LeCun, Yi Ma, Sergey Levine等研究人员共同开发。它基于LLaVA模型,并采用了PPO算法进行强化学习微调。RL4VLM项目提供了详细的代码库结构、入门指南、许可证信息以及如何引用该研究的说明。
高效的检索增强生成研究工具包
FlashRAG是一个Python工具包,用于检索增强生成(RAG)研究的复现和开发。它包括32个预处理的基准RAG数据集和12种最先进的RAG算法。FlashRAG提供了一个广泛且可定制的框架,包括检索器、重排器、生成器和压缩器等RAG场景所需的基本组件,允许灵活组装复杂流程。此外,FlashRAG还提供了高效的预处理阶段和优化的执行,支持vLLM、FastChat等工具加速LLM推理和向量索引管理。
一种用于生成超详细图像描述的模型,用于训练视觉语言模型。
ImageInWords (IIW) 是一个由人类参与的循环注释框架,用于策划超详细的图像描述,并生成一个新的数据集。该数据集通过评估自动化和人类并行(SxS)指标来实现最先进的结果。IIW 数据集在生成描述时,比以往的数据集和GPT-4V输出在多个维度上有了显著提升,包括可读性、全面性、特异性、幻觉和人类相似度。此外,使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色,能够生成更接近原始图像的描述。
一个由真实世界用户与ChatGPT交互构成的语料库。
WildChat数据集是一个由100万真实世界用户与ChatGPT交互组成的语料库,特点是语言多样和用户提示的多样性。该数据集用于微调Meta的Llama-2,创建了WildLlama-7b-user-assistant聊天机器人,能够预测用户提示和助手回应。
一个公益项目,致力于帮助国内AI开发者快速、稳定的下载模型、数据集。
HuggingFace镜像站是一个非盈利性项目,旨在为国内的AI开发者提供一个快速且稳定的模型和数据集下载平台。通过优化下载过程,减少因网络问题导致的中断,它极大地提高了开发者的工作效率。该镜像站支持多种下载方式,包括网页直接下载、使用官方命令行工具huggingface-cli、本站开发的hfd下载工具以及通过设置环境变量来实现非侵入式下载。
高质量英文网页数据集
FineWeb数据集包含超过15万亿个经过清洗和去重的英文网页数据,来源于CommonCrawl。该数据集专为大型语言模型预训练设计,旨在推动开源模型的发展。数据集经过精心处理和筛选,以确保高质量,适用于各种自然语言处理任务。
图像分析和描述工具
Clip Interrogator是一个使用CLIP模型来分析图像并生成描述性文本的工具。它通过解释图像内容来有效地将视觉内容和语言联系起来,对于理解和复制现有图像的风格和内容非常有用。
一个通用的多模态模型,可用于问答、图像描述等任务
HuggingFaceM4/idefics-80b-instruct是一个开源的多模态模型,它可以接受图像和文本的输入,输出相关的文本内容。该模型在视觉问答、图像描述等任务上表现出色,是一个通用的智能助手模型。它由Hugging Face团队开发,基于开放数据集训练,提供免费使用。
生成式室内设计训练框架
StableDesign项目旨在为生成式室内设计提供数据集和训练方法。用户上传空房间图片和文字提示,生成装修效果图。通过爱彼迎数据下载、特征提取和ControlNet模型训练,结合图像处理和自然语言处理技术,提供新思路和方法。
开发中大规模模型系统的组织
LMSYS Org 是一个组织,旨在使大型模型及其系统基础设施的技术民主化。他们开发了 Vicuna 聊天机器人,其在 7B/13B/33B 规模下可以印象 GPT-4,实现了 90% ChatGPT 质量。同时,还提供 Chatbot Arena 以众包和 Elo 评级系统进行大规模、游戏化评估 LLMs。SGLang 提供了复杂 LLM 程序的高效接口和运行时环境。LMSYS-Chat-1M 是一个大规模真实世界 LLM 对话数据集。FastChat 是一个用于训练、提供服务和评估基于 LLM 的聊天机器人的开放平台。MT-Bench 是一个用于评估聊天机器人的一组具有挑战性、多回合、开放式问题。
© 2024 AIbase 备案号:闽ICP备08105208号-14