产品库

为开源世界构建高质量视频数据集的计划

Open-Sora-Plan是一个开源项目,旨在为开源社区提供高质量的视频数据集。该项目已经爬取并处理了40258个来自开源网站的高质量视频,涵盖了60%的横屏视频。同时还提供了自动生成的密集字幕,供机器学习等应用使用。该项目免费开源,欢迎大家共同参与和支持。

多模态多视角视频数据集和基准挑战

Ego-Exo4D 是一个多模态多视角视频数据集和基准挑战，以捕捉技能人类活动的自我中心和外部中心视频为中心。它支持日常生活活动的多模态机器感知研究。该数据集由 839 位佩戴摄像头的志愿者在全球 13 个城市收集，捕捉了 1422 小时的技能人类活动视频。该数据集提供了专家评论、参与者提供的教程样式的叙述和一句话的原子动作描述等三种自然语言数据集，配对视频使用。Ego-Exo4D 还捕获了多视角和多种感知模态，包括多个视角、七个麦克风阵列、两个 IMUs、一个气压计和一个磁强计。数据集记录时严格遵守隐私和伦理政策，参与者的正式同意。欲了解更多信息，请访问官方网站。

大规模长视频数据集，结构化字幕

MiraData是一个大规模的视频数据集，专注于长视频片段，平均时长72秒，提供结构化字幕，平均字幕长度318字，丰富了视频内容的描述。通过使用GPT-4V等技术，MiraData在视频理解和字幕生成方面展现出高准确性和语义连贯性。

开源数据标注工具，提升机器学习模型性能。

LabelU是一个开源的数据标注工具，适用于需要对图像、视频、音频等数据进行高效标注的场景，以提升机器学习模型的性能和质量。它支持多种标注类型，包括标签分类、文本描述、拉框等，满足不同场景的标注需求。

上传数据，获取机器学习模型

Automated Machine Learning as a Service是一个提供自动化机器学习服务的网站。用户可以通过上传数据来获取他们的机器学习模型，该平台为用户提供了便捷的机器学习模型开发和部署流程。该平台还提供了丰富的功能和优势，包括简单易用的界面、自动化的模型训练和优化、灵活的定价策略等。用户可以根据自己的需求选择适合的定价方案，并在不同的场景中应用该机器学习模型。该产品的定位是为广大用户提供高效、便捷、灵活的机器学习解决方案。

大规模人脸文本-视频数据集

CelebV-Text是一个大规模、高质量、多样化的人脸文本-视频数据集，旨在促进人脸文本-视频生成任务的研究。数据集包含70,000个野外人脸视频剪辑，每个视频剪辑都配有20个文本，涵盖40种一般外观、5种详细外观、6种光照条件、37种动作、8种情绪和6种光线方向。CelebV-Text通过全面的统计分析验证了其在视频、文本和文本-视频相关性方面的优越性，并构建了一个基准来标准化人脸文本-视频生成任务的评估。

免费开源的视频翻译配音工具

视频翻译配音是一个免费开源的视频翻译和配音工具,支持多种翻译引擎,可以将视频字幕翻译成多种语言,并生成自然的语音配音,操作简单方便。

端到端开源机器学习平台

TensorFlow是一个端到端开源机器学习平台。它拥有一个全面而灵活的生态系统，其中包含各种工具、库和社区资源，可助力研究人员推动先进机器学习技术的发展。在TensorFlow机器学习框架下，开发者能够轻松地构建和部署由机器学习提供支持的应用。

数据科学与机器学习云平台

Saturn Cloud是一个解决数据科学和机器学习所需复杂基础设施管理和扩展的云平台。它提供了使用R和Python进行数据科学的环境，支持GPU、Dask集群等功能。Saturn Cloud可以帮助数据科学家、数据科学领导者和软件工程师简化开发、部署和数据处理的流程。该产品提供不同的功能和定价计划以满足各种需求。

微软开源的视频分词器家族

VidTok是微软开源的一系列先进的视频分词器，它在连续和离散分词方面表现出色。VidTok在架构效率、量化技术和训练策略上都有显著的创新，提供了高效的视频处理能力，并且在多个视频质量评估指标上超越了以往的模型。VidTok的开发旨在推动视频处理和压缩技术的发展，对于视频内容的高效传输和存储具有重要意义。

AI可观测性和机器学习监控平台

Evidently AI是一个开源的Python库，用于监控机器学习模型，支持从RAGs到AI助手的LLM驱动产品的评估。它提供了数据漂移、数据质量和生产ML模型性能的监控，拥有超过2000万的下载量和5000+的GitHub星标，是机器学习领域中一个值得信赖的监控工具。

Streamlit是一个开源Python库,用于快速构建数据应用和机器学习产品原型。

Streamlit是一个开源Python库,让数据科学家和机器学习工程师可以快速地在Web浏览器中创建Beautiful,自定义的机器学习应用程序和数据应用程序。无需学习前端Web开发,Streamlit应用可以在几分钟内从简单的脚本构建。Streamlit提供了简单的API来创建各种交互式小部件,如文本、图像、表格、图表、视频等,从而使数据探索和展示变得轻松。它具有内置支持的数据框架,如Pandas、Numpy、Matplotlib等。它兼容大多数Python机器学习库,如Scikit-learn、TensorFlow等。

多模态大型语言模型，提升文本、图像和视频数据处理能力。

Valley是由字节跳动开发的多模态大型模型（MLLM），旨在处理涉及文本、图像和视频数据的多种任务。该模型在内部电子商务和短视频基准测试中取得了最佳结果，远超过其他开源模型，并在OpenCompass多模态模型评估排行榜上展现了出色的性能，平均得分67.40，位列已知开源MLLMs（<10B）中的前两名。

开源图像到视频生成模型

Ruyi-Mini-7B是由CreateAI团队开发的开源图像到视频生成模型，具有约71亿参数，能够从输入图像生成360p到720p分辨率的视频帧，最长5秒。模型支持不同宽高比，并增强了运动和相机控制功能，提供更大的灵活性和创造力。该模型在Apache 2.0许可下发布，意味着用户可以自由使用和修改。

AI、机器学习和数据科学工作的最佳选择

Best AI Jobs是＃1人工智能工作板，拥有2000多个工作职位，包括人工智能软件工程师、AI开发人员、机器学习工程师等。在AI领域找到一份工作，加入未来！

开源视频生成项目,助力高效视频制作

Open-Sora是一个开源项目,旨在高效生成高质量视频,并将模型、工具和内容开放给所有人使用。通过拥抱开源原则,Open-Sora不仅民主化了获取先进视频生成技术的途径,还提供了一个简化了视频制作复杂性的流畅、用户友好的平台。我们的目标是通过Open-Sora来激发创新、创意和内容创作的包容性。该项目目前处于早期阶段,正在积极开发中。Open-Sora支持完整的视频数据预处理、加速训练、推理等流程。提供的权重可在只经过3天训练后生成2秒512x512分辨率的视频。Open-Sora还通过改进训练策略实现了46%的成本降低。

开源视频生成模型

genmoai/models 是一个开源的视频生成模型，代表了视频生成技术的最新进展。该模型名为 Mochi 1，是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型，从零开始训练，是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性，显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布，用户可以在 Genmo 的 playground 上免费试用此模型。

Python机器学习库

scikit-learn是一个简单高效的机器学习库，提供了丰富的机器学习算法和工具，可用于分类、回归、聚类、降维等任务。它基于NumPy、SciPy和matplotlib构建，具有易用性、性能优越以及可重复使用的特点。scikit-learn开源可商用，采用BSD许可证。

无代码数据清洗、准备和机器学习平台

Sweephy是一款无代码数据清洗、准备和机器学习平台。它专注于为每个业务案例提供专业开发，可以帮助您将原始数据转化为商业价值。Sweephy提供了一系列机器学习模块，包括数据可视化、文本分类、相似记录检查、数据分析和解释等功能。通过Sweephy，您可以轻松处理数据并从中获取商业价值。

学习野外音频视觉数据的机器人操控

ManiWAV是一个研究项目，旨在通过野外的音频和视觉数据学习机器人操控技能。它通过收集人类演示的同步音频和视觉反馈，并通过相应的策略接口直接从演示中学习机器人操控策略。该模型展示了通过四个接触丰富的操控任务来证明其系统的能力，这些任务需要机器人被动地感知接触事件和模式，或主动地感知物体表面的材料和状态。此外，该系统还能够通过学习多样化的野外人类演示来泛化到未见过的野外环境中。

大规模机器人学习数据集，推动多用途机器人策略发展。

AGIBOT WORLD是一个专为推进多用途机器人策略而设计的大规模机器人学习数据集。它包括基础模型、基准测试和一个生态系统，旨在为学术界和工业界提供高质量的机器人数据，为具身AI铺平道路。该数据集包含100多台机器人的100万条以上轨迹，覆盖100多个真实世界场景，涉及精细操控、工具使用和多机器人协作等任务。它采用尖端的多模态硬件，包括视觉触觉传感器、耐用的6自由度灵巧手和具有全身控制的移动双臂机器人，支持模仿学习、多智能体协作等研究。AGIBOT WORLD的目标是改变大规模机器人学习，推进可扩展的机器人系统生产，是一个开源平台，邀请研究人员和实践者共同塑造具身AI的未来。

腾讯开源的大型视频生成模型训练框架

HunyuanVideo是腾讯开源的一个系统性框架，用于训练大型视频生成模型。该框架通过采用数据策划、图像-视频联合模型训练和高效的基础设施等关键技术，成功训练了一个超过130亿参数的视频生成模型，是所有开源模型中最大的。HunyuanVideo在视觉质量、运动多样性、文本-视频对齐和生成稳定性方面表现出色，超越了包括Runway Gen-3、Luma 1.6在内的多个行业领先模型。通过开源代码和模型权重，HunyuanVideo旨在缩小闭源和开源视频生成模型之间的差距，推动视频生成生态系统的活跃发展。

无代码机器学习平台

NextBrain AI是一款无代码机器学习平台，让任何人都能轻松训练机器学习模型并将数据转化为有价值的见解，指导决策。它提供简单有效的分析和宝贵的洞察力，无需编程知识。同时支持Google Sheets插件和Web应用，选择适合您的方式开始训练机器学习模型吧！

开源分布式深度学习工具

The Microsoft Cognitive Toolkit（CNTK）是一个开源的商业级分布式深度学习工具。它通过有向图描述神经网络的计算步骤，支持常见的模型类型，并实现了自动微分和并行计算。CNTK支持64位Linux和Windows操作系统，可以作为Python、C或C++程序的库使用，也可以通过其自身的模型描述语言BrainScript作为独立的机器学习工具使用。

一个用于训练高性能奖励模型的开源数据集。

HelpSteer2是由NVIDIA发布的一个开源数据集，旨在支持训练能够对齐模型以使其更加有帮助、事实正确和连贯，同时在响应的复杂性和冗余度方面具有可调节性。该数据集与Scale AI合作创建，当与Llama 3 70B基础模型一起使用时，在RewardBench上达到了88.8%的表现，是截至2024年6月12日最佳的奖励模型之一。

开源机器人模拟平台，用于生成无限机器人数据和泛化AI。

ManiSkill是一个领先的开源平台，专注于机器人模拟、无限机器人数据生成和泛化机器人AI。由HillBot.ai领导，该平台支持通过状态和/或视觉输入快速训练机器人，与其它平台相比，ManiSkill/SAPIEN实现了10-100倍的视觉数据收集速度。它支持在GPU上并行模拟和渲染RGB-D，速度高达30,000+FPS。ManiSkill提供了40多种技能/任务和2000多个对象的预构建任务，拥有数百万帧的演示和密集的奖励函数，用户无需自己收集资产或设计任务，可以专注于算法开发。此外，它还支持在每个并行环境中同时模拟不同的对象和关节，训练泛化机器人策略/AI的时间从天缩短到分钟。ManiSkill易于使用，可以通过pip安装，并提供简单灵活的GUI以及所有功能的广泛文档。

开源数据科学公司

Posit是一家致力于为个人、团队和企业创建令人难以置信的开源工具的公司。它提供开源云和企业产品，包括RStudio IDE、Shiny、Posit Cloud等。Posit的产品能够加速数据分析和数据科学的过程，适用于不同规模的用户。Posit的产品定价灵活，适合个人用户、学术界、小型企业和大型企业。

简化机器学习云服务

Deploifai是一种管理机器学习项目云端的工具，让您可以专注于解决方案。它提供简化的云服务，帮助您管理和部署机器学习模型，包括数据集管理、模型训练、部署和监控。Deploifai的优势在于简化了复杂的基础设施设置，提供易于使用的界面和工具，以及高度可扩展的计算和存储资源。价格根据使用量和功能等级而定，适用于个人开发者和企业团队。

MotionGPT是一个由社区开发的惊人的机器学习应用

MotionGPT是一个基于Hugging Face Spaces打造的开源机器学习应用社区。用户可以在这里发现许多由社区成员开发的非常酷的机器学习项目和应用。所有项目都是开源的,用户可以查看代码、进行创造性的二次开发。MotionGPT致力于向用户提供一个高质量的机器学习应用和代码资源库,并邀请更多开发者加入这个创造性的社区。

为真实世界机器人提供最先进的机器学习模型、数据集和工具。

LeRobot 是一个旨在降低进入机器人领域的门槛，让每个人都能贡献并从共享数据集和预训练模型中受益的开源项目。它包含了在真实世界中经过验证的最先进的方法，特别关注模仿学习和强化学习。LeRobot 提供了一组预训练模型、带有人类收集演示的数据集和模拟环境，以便用户无需组装机器人即可开始。未来几周内，计划增加对最实惠和最有能力的真实世界机器人的支持。