产品库

自监督触觉表示，用于基于视觉的触觉传感。

Sparsh是一系列通过自监督算法（如MAE、DINO和JEPA）训练的通用触觉表示。它能够为DIGIT、Gelsight'17和Gelsight Mini生成有用的表示，并在TacBench提出的下游任务中大幅度超越端到端模型，同时能够为新下游任务的数据高效训练提供支持。Sparsh项目包含PyTorch实现、预训练模型和与Sparsh一起发布的数据集。

为机器人提供虚拟模拟和评估的先进世界模型。

1X 世界模型是一种机器学习程序，能够模拟世界如何响应机器人的行为。它基于视频生成和自动驾驶汽车世界模型的技术进步，为机器人提供了一个虚拟模拟器，能够预测未来的场景并评估机器人策略。这个模型不仅能够处理复杂的对象交互，如刚体、掉落物体的影响、部分可观察性、可变形物体和铰接物体，还能够在不断变化的环境中进行评估，这对于机器人技术的发展至关重要。

大规模多模态医学数据集

MedTrinity-25M是一个大规模多模态数据集，包含多粒度的医学注释。它由多位作者共同开发，旨在推动医学图像和文本处理领域的研究。数据集的构建包括数据提取、多粒度文本描述生成等步骤，支持多种医学图像分析任务，如视觉问答（VQA）、病理学图像分析等。

一站式数据处理系统，为大型语言模型提供高质量数据。

Data-Juicer 是一个一站式的多模态数据处理系统，旨在为大型语言模型(LLMs)提供更高质量、更丰富、更易消化的数据。它提供了一个系统化和可复用的数据处理库，支持数据与模型的协同开发，通过沙盒实验室实现快速迭代，并提供基于数据和模型的反馈循环、可视化和多维度自动评估等功能，帮助用户更好地理解和改进他们的数据和模型。Data-Juicer 正在积极更新和维护，定期增强和添加更多功能、数据配方和数据集。

高效训练高质量文本到图像扩散模型

ml-mdm是一个Python包，用于高效训练高质量的文本到图像扩散模型。该模型利用Matryoshka扩散模型技术，能够在1024x1024像素的分辨率上训练单一像素空间模型，展现出强大的零样本泛化能力。

大规模图像编辑数据集

UltraEdit是一个大规模的图像编辑数据集，包含约400万份编辑样本，自动生成，基于指令的图像编辑。它通过利用大型语言模型（LLMs）的创造力和人类评估员的上下文编辑示例，提供了一个系统化的方法来生产大规模和高质量的图像编辑样本。UltraEdit的主要优点包括：1) 它通过利用大型语言模型的创造力和人类评估员的上下文编辑示例，提供了更广泛的编辑指令；2) 其数据源基于真实图像，包括照片和艺术作品，提供了更大的多样性和减少了偏见；3) 它还支持基于区域的编辑，通过高质量、自动生成的区域注释得到增强。

高效的检索增强生成研究工具包

FlashRAG是一个Python工具包，用于检索增强生成(RAG)研究的复现和开发。它包括32个预处理的基准RAG数据集和12种最先进的RAG算法。FlashRAG提供了一个广泛且可定制的框架，包括检索器、重排器、生成器和压缩器等RAG场景所需的基本组件，允许灵活组装复杂流程。此外，FlashRAG还提供了高效的预处理阶段和优化的执行，支持vLLM、FastChat等工具加速LLM推理和向量索引管理。

使用Kolmogorov-Arnold网络实现的预训练生成式变换器（GPTs）的语言模型

kan-gpt是一个基于PyTorch的Generative Pre-trained Transformers (GPTs) 实现，它利用Kolmogorov-Arnold Networks (KANs) 进行语言建模。该模型在文本生成任务中展现出了潜力，特别是在处理长距离依赖关系时。它的重要性在于为自然语言处理领域提供了一种新的模型架构，有助于提升语言模型的性能。

为真实世界机器人提供最先进的机器学习模型、数据集和工具。

LeRobot 是一个旨在降低进入机器人领域的门槛，让每个人都能贡献并从共享数据集和预训练模型中受益的开源项目。它包含了在真实世界中经过验证的最先进的方法，特别关注模仿学习和强化学习。LeRobot 提供了一组预训练模型、带有人类收集演示的数据集和模拟环境，以便用户无需组装机器人即可开始。未来几周内，计划增加对最实惠和最有能力的真实世界机器人的支持。

一个公益项目，致力于帮助国内AI开发者快速、稳定的下载模型、数据集。

HuggingFace镜像站是一个非盈利性项目，旨在为国内的AI开发者提供一个快速且稳定的模型和数据集下载平台。通过优化下载过程，减少因网络问题导致的中断，它极大地提高了开发者的工作效率。该镜像站支持多种下载方式，包括网页直接下载、使用官方命令行工具huggingface-cli、本站开发的hfd下载工具以及通过设置环境变量来实现非侵入式下载。

MNBVC是一个超大规模的中文语料集，对标chatGPT训练的40T数据

MNBVC（Massive Never-ending BT Vast Chinese corpus）是一个旨在为AI提供丰富中文语料的项目。它不仅包括主流文化内容，还涵盖了小众文化和网络用语。数据集包括新闻、作文、小说、书籍、杂志、论文、台词、帖子、wiki、古诗、歌词、商品介绍、笑话、糗事、聊天记录等多种形式的纯文本中文数据。

端到端MLLM，实现精准引用和定位

ml-ferret是一个端到端的机器学习语言模型（MLLM），能够接受各种形式的引用并响应性地在多模态环境中进行精准定位。它结合了混合区域表示和空间感知的视觉采样器，支持细粒度和开放词汇的引用和定位。此外，ml-ferret还包括GRIT数据集（约110万个样本）和Ferret-Bench评估基准。

苹果芯片高效灵活机器学习

MLX是一种类似NumPy的数组框架，专为在苹果芯片上进行高效灵活的机器学习而设计，由苹果机器学习研究团队提供。Python API与NumPy紧密相似，但也有一些例外。MLX还具有完整的C++ API，紧密遵循Python API。MLX与NumPy的主要区别包括：可组合的函数转换、惰性计算和多设备支持。MLX的设计灵感来自PyTorch、Jax和ArrayFire等框架。与这些框架不同的是，MLX采用统一内存模型。MLX中的数组位于共享内存中，可以在任何受支持的设备类型（CPU、GPU等）上执行操作，而无需执行数据复制。

模型和数据集的集合

Distil-Whisper是一个提供模型和数据集的平台，用户可以在该平台上访问各种预训练模型和数据集，并进行相关的应用和研究。该平台提供了丰富的模型和数据集资源，帮助用户快速开展自然语言处理和机器学习相关工作。

大规模人工智能开放网络

LAION是一个非营利组织，致力于提供机器学习资源给公众使用，包括数据集、工具和模型。我们鼓励开放公共教育，并通过重复使用现有数据集和模型来更环保地使用资源。我们提供多个数据集、模型和项目，以支持广泛的人工智能研究。

大型推理模型框架，支持PyTorch和HuggingFace。

LLaMA-O1是一个大型推理模型框架，它结合了蒙特卡洛树搜索（MCTS）、自我强化学习、PPO等技术，并借鉴了AlphaGo Zero的双重策略范式以及大型语言模型。该模型主要针对奥林匹克级别的数学推理问题，提供了一个开放的平台用于训练、推理和评估。产品背景信息显示，这是一个个人实验项目，与任何第三方组织或机构无关。

O1复制之旅：战略进展报告第一部分

O1-Journey是由上海交通大学GAIR研究组发起的一个项目，旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式，并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程，成为处理复杂推理任务的有效方法。

开发者可使用的Grok系列基础模型API

xAI API提供了对Grok系列基础模型的程序化访问，支持文本和图像输入，具有128,000个token的上下文长度，并支持函数调用和系统提示。该API与OpenAI和Anthropic的API完全兼容，简化了迁移过程。产品背景信息显示，xAI正在进行公共Beta测试，直至2024年底，期间每位用户每月可获得25美元的免费API积分。

AI驱动的电子元件分类器，智能组件管理的终极解决方案。

Vanguard-s/Electronic-Component-Sorter是一个利用机器学习和人工智能自动化识别和分类电子元件的项目。该项目通过深度学习模型，能够将电子元件分为电阻、电容、LED、晶体管等七大类，并通过OCR技术进一步获取元件的详细信息。它的重要性在于减少人工分类错误，提高效率，确保安全性，并帮助视觉障碍人士更便捷地识别电子元件。

8B参数变分自编码器模型，用于高效的文本到图像生成。

Flux.1 Lite是一个由Freepik发布的8B参数的文本到图像生成模型，它是从FLUX.1-dev模型中提取出来的。这个版本相较于原始模型减少了7GB的RAM使用，并提高了23%的运行速度，同时保持了与原始模型相同的精度（bfloat16）。该模型的发布旨在使高质量的AI模型更加易于获取，特别是对于消费级GPU用户。

一键生成多语言视频字幕和翻译

Aragorn视频翻译是一个在线平台，旨在简化视频内容的字幕生成和翻译过程。它利用先进的ASR技术和机器学习模型，如whisper和ChatGPT-4，为用户提供一个界面友好、操作简便的服务。用户可以上传视频或提供视频链接，平台将自动生成字幕，并支持将字幕翻译成多种语言。Aragorn的使命是让全世界的人们能够无缝沟通，而不必学习外语。它支持80多种语言，并且不断更新以支持更多语言。Aragorn的价格基于视频处理时间，1 Aragorn credit等于一分钟的视频处理时间，用户可以根据需要购买credits。

多语言生成语言模型

Aya模型是一个大规模的多语言生成性语言模型，能够在101种语言中遵循指令。该模型在多种自动和人类评估中优于mT0和BLOOMZ，尽管它覆盖的语言数量是后者的两倍。Aya模型使用包括xP3x、Aya数据集、Aya集合、DataProvenance集合的一个子集和ShareGPT-Command等多个数据集进行训练，并在Apache-2.0许可下发布，以推动多语言技术的发展。

由CohereForAI开发的Hugging Face Space

Aya Expanse是一个由CohereForAI开发的Hugging Face Space，它可能涉及到机器学习模型的开发和应用。Hugging Face是一个专注于自然语言处理的人工智能平台，提供各种模型和工具，以帮助开发者构建、训练和部署NLP应用。Aya Expanse作为该平台上的一个Space，可能具有特定的功能或技术，用于支持开发者在NLP领域的工作。

FAIR Chemistry团队发布的材料科学模型

OMat24是由Meta的FAIR Chemistry团队发布的一系列模型检查点，这些模型在不同的模型大小和训练策略上有所不同。这些模型使用了EquiformerV2架构，旨在推动材料科学领域的研究，通过机器学习模型来预测材料的性质，从而加速新材料的发现和开发。这些模型在公开的数据集上进行了预训练，并提供了不同规模的版本，以适应不同的研究需求。

多语言大型语言模型，支持23种语言

Aya Expanse 32B是由Cohere For AI开发的多语言大型语言模型，拥有32亿参数，专注于提供高性能的多语言支持。它结合了先进的数据仲裁、多语言偏好训练、安全调整和模型合并技术，以支持23种语言，包括阿拉伯语、中文（简体和繁体）、捷克语、荷兰语、英语、法语、德语、希腊语、希伯来语、印地语、印尼语、意大利语、日语、韩语、波斯语、波兰语、葡萄牙语、罗马尼亚语、俄语、西班牙语、土耳其语、乌克兰语和越南语。该模型的发布旨在使社区基础的研究工作更加易于获取，通过发布高性能的多语言模型权重，供全球研究人员使用。

长视频语言理解的时空自适应压缩模型

LongVU是一种创新的长视频语言理解模型，通过时空自适应压缩机制减少视频标记的数量，同时保留长视频中的视觉细节。这一技术的重要性在于它能够处理大量视频帧，且在有限的上下文长度内仅损失少量视觉信息，显著提升了长视频内容理解和分析的能力。LongVU在多种视频理解基准测试中均超越了现有方法，尤其是在理解长达一小时的视频任务上。此外，LongVU还能够有效地扩展到更小的模型尺寸，同时保持最先进的视频理解性能。

开源的PDF到Podcast工作流构建工具

NotebookLlama是一个开源项目，旨在通过一系列教程和笔记本指导用户构建从PDF到Podcast的工作流。该项目涵盖了从文本预处理到使用文本到语音模型的整个流程，适合对大型语言模型（LLMs）、提示和音频模型零知识的用户。NotebookLlama的主要优点包括易用性、教育性和实验性，它不仅提供了一个参考实现，还鼓励用户通过实验不同的模型和提示来优化结果。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

利用简单视频输入生成富有表现力的角色表演

Act-One 是 Runway Research 推出的一款创新工具，它通过简单的视频输入生成富有表现力的角色表演。这款工具代表了使用生成模型进行表情丰富的真人动作和动画内容的重大进步。Act-One 的技术突破在于，它能够将演员的表演转化为适合动画流水线的3D模型，同时保留情感和细节。与传统的面部动画流程相比，Act-One 使用的流程完全由演员的表演驱动，无需额外设备。Act-One 的出现为创造性角色设计和动画开辟了新的可能性，它能够准确翻译表演到与原始源视频比例不同的角色上，并且能够在不同的摄像机角度下保持高保真度的面部动画。此外，Act-One 还承诺负责任的开发和部署，包括内容审核和安全预防措施。

轻量级推理模型，用于生成高质量图像

Stable Diffusion 3.5是一个用于简单推理的轻量级模型，它包含了文本编码器、VAE解码器和核心MM-DiT技术。该模型旨在帮助合作伙伴组织实现SD3.5，并且可以用于生成高质量的图像。它的重要性在于其高效的推理能力和对资源的低要求，使得广泛的用户群体能够使用和享受生成图像的乐趣。该模型遵循Stability AI Community License Agreement，并且可以免费使用。