产品库

基于自然语言输入的图像修复算法

Inst-Inpaint是一种图像修复算法，可以根据自然语言输入估计要删除的对象并同时删除它。该产品提供了一个名为GQA-Inpaint的数据集，以及一种名为Inst-Inpaint的新型修复框架，可以根据文本提示从图像中删除对象。该产品提供了各种GAN和扩散基线，并在合成和真实图像数据集上运行实验。该产品提供了不同的评估指标，以衡量模型的质量和准确性，并显示出显著的定量和定性改进。

大规模多模态医学数据集

MedTrinity-25M是一个大规模多模态数据集，包含多粒度的医学注释。它由多位作者共同开发，旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤，支持多种医学图像分析任务，如视觉问答（VQA）、病理学图像分析等。

高性能语言模型基准测试数据集

DCLM-baseline是一个用于语言模型基准测试的预训练数据集，包含4T个token和3B个文档。它通过精心策划的数据清洗、过滤和去重步骤，从Common Crawl数据集中提取，旨在展示数据策划在训练高效语言模型中的重要性。该数据集仅供研究使用，不适用于生产环境或特定领域的模型训练，如代码和数学。

表情包视觉标注数据集

emo-visual-data 是一个公开的表情包视觉标注数据集，它通过使用 glm-4v 和 step-free-api 项目完成的视觉标注，收集了5329个表情包。这个数据集可以用于训练和测试多模态大模型，对于理解图像内容和文本描述之间的关系具有重要意义。

高效的检索增强生成研究工具包

FlashRAG是一个Python工具包，用于检索增强生成(RAG)研究的复现和开发。它包括32个预处理的基准RAG数据集和12种最先进的RAG算法。FlashRAG提供了一个广泛且可定制的框架，包括检索器、重排器、生成器和压缩器等RAG场景所需的基本组件，允许灵活组装复杂流程。此外，FlashRAG还提供了高效的预处理阶段和优化的执行，支持vLLM、FastChat等工具加速LLM推理和向量索引管理。

一种用于生成超详细图像描述的模型，用于训练视觉语言模型。

ImageInWords (IIW) 是一个由人类参与的循环注释框架，用于策划超详细的图像描述，并生成一个新的数据集。该数据集通过评估自动化和人类并行（SxS）指标来实现最先进的结果。IIW 数据集在生成描述时，比以往的数据集和GPT-4V输出在多个维度上有了显著提升，包括可读性、全面性、特异性、幻觉和人类相似度。此外，使用IIW数据微调的模型在文本到图像生成和视觉语言推理方面表现出色，能够生成更接近原始图像的描述。

一个由真实世界用户与ChatGPT交互构成的语料库。

WildChat数据集是一个由100万真实世界用户与ChatGPT交互组成的语料库，特点是语言多样和用户提示的多样性。该数据集用于微调Meta的Llama-2，创建了WildLlama-7b-user-assistant聊天机器人，能够预测用户提示和助手回应。

高质量英文网页数据集

FineWeb数据集包含超过15万亿个经过清洗和去重的英文网页数据，来源于CommonCrawl。该数据集专为大型语言模型预训练设计，旨在推动开源模型的发展。数据集经过精心处理和筛选，以确保高质量，适用于各种自然语言处理任务。

MNBVC是一个超大规模的中文语料集，对标chatGPT训练的40T数据

MNBVC（Massive Never-ending BT Vast Chinese corpus）是一个旨在为AI提供丰富中文语料的项目。它不仅包括主流文化内容，还涵盖了小众文化和网络用语。数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等多种形式的纯文本中文数据。

虚拟试穿产品图像修复模型

Diffuse to Choose 是一种基于扩散的图像修复模型，主要用于虚拟试穿场景。它能够在修复图像时保留参考物品的细节，并且能够进行准确的语义操作。通过将参考图像的细节特征直接融入主要扩散模型的潜在特征图中，并结合感知损失来进一步保留参考物品的细节，该模型在快速推理和高保真细节方面取得了良好的平衡。

3D人物生成模型

En3D是一个提供先进自然语言处理模型的平台。他们提供了各种各样的模型和数据集，以帮助开发者构建和部署自然语言处理应用。En3D平台的优势在于提供了大量预训练模型和方便的部署工具，使得开发者能够快速、高效地构建自然语言处理应用。

模型和数据集的集合

Distil-Whisper是一个提供模型和数据集的平台，用户可以在该平台上访问各种预训练模型和数据集，并进行相关的应用和研究。该平台提供了丰富的模型和数据集资源，帮助用户快速开展自然语言处理和机器学习相关工作。

大型语言模型角色扮演框架

RoleLLM是一个角色扮演框架，用于构建和评估大型语言模型的角色扮演能力。它包括四个阶段：角色概要构建、基于上下文的指令生成、使用GPT进行角色提示和基于角色的指令调整。通过Context-Instruct和RoleGPT，我们创建了RoleBench，这是一个系统化和细粒度的角色级别基准数据集，包含168,093个样本。此外，RoCIT在RoleBench上产生了RoleLLaMA（英语）和RoleGLM（中文），显著提高了角色扮演能力，甚至与使用GPT-4的RoleGPT取得了可比较的结果。

AI模型库与数据集平台

I2VGen-XL是一款AI模型库与数据集平台，提供丰富的AI模型和数据集，帮助用户快速构建AI应用。平台支持多种AI任务，包括图像识别、自然语言处理、语音识别等。用户可以通过平台上传、下载和分享模型和数据集，也可以使用平台提供的API接口进行调用。平台提供免费和付费两种服务，用户可以根据需求选择适合自己的服务。

知识共享的对话式AI平台

Dokko是一个革命性的知识管理平台，它通过先进的AI和自然语言理解技术，提供直观的聊天机器人界面，无缝连接团队和客户，促进轻松沟通和知识交流。Dokko通过集中化、直观的系统整合分散的数据源，使用自然、会话式的文本，解决了组织中信息孤岛的问题。产品的主要优点包括易于集成、自动化数据组织和集成、实时性能监控和优化等。Dokko支持多种大型语言模型（LLMs），允许用户根据特定需求选择最佳的AI引擎，并定制响应以反映组织的独特特性。

Qwen Turbo 1M Demo是一个由Qwen提供的Hugging Face空间。

Qwen Turbo 1M Demo是一个基于Hugging Face平台的人工智能模型演示。这个模型代表了自然语言处理技术的最新进展，特别是在中文文本理解和生成方面。它的重要性在于能够提供高效、准确的语言模型，以支持各种语言相关的应用，如机器翻译、文本摘要、问答系统等。Qwen Turbo 1M Demo以其较小的模型尺寸和快速的处理速度而受到青睐，适合需要快速部署和高效运行的场合。目前，该模型是免费试用的，具体价格和定位可能需要进一步的商业洽谈。

数据驱动的框架，增强大型语言模型的工作流编排能力

WorkflowLLM是一个以数据为中心的框架，旨在增强大型语言模型（LLMs）在工作流编排方面的能力。核心是WorkflowBench，这是一个大规模的监督式微调数据集，包含来自83个应用、28个类别的1503个API的106763个样本。WorkflowLLM通过微调Llama-3.1-8B模型，创建了专门针对工作流编排任务优化的WorkflowLlama模型。实验结果表明，WorkflowLlama在编排复杂工作流方面表现出色，并且能够很好地泛化到未见过的API。

124B参数的多模态大型语言模型

Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型，基于Mistral Large 2构建，展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像，同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能，是科研和商业应用的强大工具。

下一代语音AI，打造自然沟通的AI语音代理。

Ultravox.ai是一个先进的语音语言模型（SLM），直接处理语音，无需转换为文本，实现更自然、流畅的对话。它支持多语言，易于适应新语言或口音，确保与不同受众的顺畅沟通。产品背景信息显示，Ultravox.ai是一个开源模型，用户可以根据自己的需求进行定制和部署，价格为每分钟5美分。

3D网格生成与语言模型的统一

LLaMA-Mesh是一项将大型语言模型（LLMs）预训练在文本上扩展到生成3D网格的能力的技术。这项技术利用了LLMs中已经嵌入的空间知识，并实现了对话式3D生成和网格理解。LLaMA-Mesh的主要优势在于它能够将3D网格的顶点坐标和面定义表示为纯文本，允许与LLMs直接集成而无需扩展词汇表。该技术的主要优点包括能够从文本提示生成3D网格、按需产生交错的文本和3D网格输出，以及理解和解释3D网格。LLaMA-Mesh在保持强大的文本生成性能的同时，实现了与从头开始训练的模型相当的网格生成质量。

基于扩散的混合运动动态角色艺术动画生成工具

MikuDance是一个基于扩散的动画生成管道，它结合了混合运动动态来动画化风格化的角色艺术。该技术通过混合运动建模和混合控制扩散两大关键技术，解决了高动态运动和参考引导错位在角色艺术动画中的挑战。MikuDance通过场景运动跟踪策略显式地在像素级空间中建模动态相机，实现统一的角色场景运动建模。在此基础上，混合控制扩散隐式地对不同角色的尺度和体型进行对齐，允许灵活控制局部角色运动。此外，还加入了运动自适应归一化模块，有效注入全局场景运动，为全面的角色艺术动画铺平了道路。通过广泛的实验，MikuDance在各种角色艺术和运动引导下展示了其有效性和泛化能力，始终如一地产生具有显著运动动态的高质量动画。

PlayDialog，打造流畅、富有情感的对话体验。

PlayDialog是Play.ai推出的一款端到端AI语音模型，它利用对话的历史背景来控制韵律、语调、情感和节奏，以提供更自然的声音，为匹配人类在现实生活情境中的说话方式树立了新标准。PlayDialog适合创建真实的对话体验，如旁白、声音配音、合成播客以及在商业环境中支持沉浸式和吸引人的一对一语音体验。PlayDialog beta在盲测中以2:1的比例超越了市场上的领先竞争模型，表达性作为偏好因素得分最高。

Qwen2.5-Coder系列中的0.5B参数代码生成模型

Qwen2.5-Coder是Qwen大型语言模型的最新系列，专注于代码生成、代码推理和代码修复。基于强大的Qwen2.5，该系列模型通过增加训练令牌至5.5万亿，包括源代码、文本代码基础、合成数据等，显著提升了编码能力。Qwen2.5-Coder-32B已成为当前最先进的开源代码大型语言模型，编码能力与GPT-4o相当。此外，Qwen2.5-Coder还为实际应用如代码代理提供了更全面的基础，不仅增强了编码能力，还保持了在数学和通用能力方面的优势。

视频扩散模型，用于虚拟试穿。

Fashion-VDM是一个视频扩散模型（VDM），用于生成虚拟试穿视频。该模型接受一件衣物图片和人物视频作为输入，旨在生成人物穿着给定衣物的高质量试穿视频，同时保留人物的身份和动作。与传统的基于图像的虚拟试穿相比，Fashion-VDM在衣物细节和时间一致性方面表现出色。该技术的主要优点包括：扩散式架构、分类器自由引导增强控制、单次64帧512px视频生成的渐进式时间训练策略，以及联合图像-视频训练的有效性。Fashion-VDM在视频虚拟试穿领域树立了新的行业标准。

基于文本提示修订图像的大型扩散模型

SeedEdit是Doubao Team推出的大型扩散模型，用于根据任何文本提示修订图像。它通过逐步将图像生成器与强大的图像编辑器对齐，实现了图像重建和图像再生之间的最佳平衡。SeedEdit能够实现高审美/分辨率图像的零样本稳定编辑，并支持图像的连续修订。该技术的重要性在于其能够解决图像编辑问题中成对图像数据稀缺的核心难题，通过将文本到图像(T2I)生成模型视为弱编辑模型，并通过生成带有新提示的新图像来实现“编辑”，然后将其蒸馏并与之对齐到图像条件编辑模型中。

语鲸，智能语言处理平台

语鲸是一个专注于语言处理的平台，它利用先进的自然语言处理技术，为用户提供文本分析、翻译、校对等服务。产品背景信息显示，语鲸旨在帮助用户提高写作效率和质量，特别是在多语言环境中。语鲸的价格定位尚未明确，但考虑到其提供的服务，可能会有免费试用和付费版本。

一个实验性的文本到语音模型

OuteTTS是一个使用纯语言建模方法生成语音的实验性文本到语音模型。它的重要性在于能够通过先进的语言模型技术，将文本转换为自然听起来的语音，这对于语音合成、语音助手和自动配音等领域具有重要意义。该模型由OuteAI开发，提供了Hugging Face模型和GGUF模型的支持，并且可以通过接口进行语音克隆等高级功能。

生成任何3D和4D场景的先进框架

GenXD是一个专注于3D和4D场景生成的框架，它利用日常生活中常见的相机和物体运动来联合研究一般的3D和4D生成。由于社区缺乏大规模的4D数据，GenXD首先提出了一个数据策划流程，从视频中获取相机姿态和物体运动强度。基于此流程，GenXD引入了一个大规模的现实世界4D场景数据集：CamVid-30K。通过利用所有3D和4D数据，GenXD框架能够生成任何3D或4D场景。它提出了多视图-时间模块，这些模块分离相机和物体运动，无缝地从3D和4D数据中学习。此外，GenXD还采用了掩码潜在条件，以支持多种条件视图。GenXD能够生成遵循相机轨迹的视频以及可以提升到3D表示的一致3D视图。它在各种现实世界和合成数据集上进行了广泛的评估，展示了GenXD在3D和4D生成方面与以前方法相比的有效性和多功能性。

交互式对话AI模型，提供问答和文本生成服务

ChatGPT是由OpenAI训练的对话生成模型，能够以对话形式与人互动，回答后续问题，承认错误，挑战错误的前提，并拒绝不适当的请求。OpenAI日前买下了http://chat.com域名，该域名已经指向了ChatGPT。ChatGPT它是InstructGPT的姊妹模型，后者被训练以遵循提示中的指令并提供详细的回答。ChatGPT代表了自然语言处理技术的最新进展，其重要性在于能够提供更加自然和人性化的交互体验。产品背景信息包括其在2022年11月30日的发布，以及在研究预览期间免费提供给用户使用。

手写笔记数字化模型，无需专业设备

InkSight是一个由Google Research开发的模型，旨在将手写笔记的照片转换成数字格式，精确还原书写笔迹，无需任何专业设备。这项技术的重要性在于它能够将传统的手写笔记转换为可编辑、可索引的数字形式，同时保留了手写的风格和感觉。InkSight通过学习“阅读”和“写作”来构建对书写的理解，使其能够在多种场景下，包括光线条件不佳、遮挡等情况下，都能良好地工作。这种技术的主要优点是它的通用性和对用户友好性，因为它不需要额外的硬件支持，降低了用户的入门门槛和成本。