产品库

专为LLM和RAG应用设计的高效网络爬虫

HyperCrawl是第一个为LLM（大型语言模型）和RAG（检索增强生成模型）应用设计的网络爬虫，旨在开发强大的检索引擎。它通过引入多种先进方法，显著减少了域名的爬取时间，提高了检索过程的效率。HyperCrawl是HyperLLM的一部分，致力于构建未来LLM的基础设施，这些模型需要更少的计算资源，并且性能超越现有的任何模型。

超快速的网络爬虫与数据抓取API

UseScraper是一个超快速的网络爬虫与数据抓取API，可以快速抓取网页内容并提供多种输出格式，包括HTML、纯文本和Markdown。它支持浏览器渲染，可以爬取复杂的网站，并提供多种功能和定价选项。无需信用卡即可注册，还可以获得25美元的免费使用额度。

基于AI的Python网络爬虫库，自动化提取网页信息。

ScrapeGraphAI是一个使用LLM（大型语言模型）和直接图逻辑来为网站、文档和XML文件创建抓取管道的Python网络爬虫库。用户只需指定想要提取的信息，库就会自动完成这项工作。该库的主要优点在于简化了网络数据抓取的过程，提高了数据提取的效率和准确性。它适用于数据探索和研究目的，但不应被滥用。

快速构建可靠的网络爬虫工具

Crawlee是一个用于构建可靠网络爬虫的Python库。它由专业的网络爬虫开发者构建，每天用于抓取数百万页面。Crawlee支持JavaScript渲染，无需重写代码即可轻松切换到浏览器爬虫。此外，它还提供自动扩展和代理管理功能，能够基于系统资源智能管理并轮换代理，丢弃那些经常超时或返回网络错误的代理。

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。

AI驱动的数据访问工具，提升私有数据的智能检索效率。

PromptQL是一个专为AI设计的代理数据访问工具，它通过代理查询规划，像人类一样检索数据，首先收集相关信息，然后应用合适的大型语言模型（LLM）进行分类和后续处理，以提高私有数据的检索效率和准确性。这一技术的出现，解决了传统搜索算法在封闭领域中对数据检索的局限性，特别是在用户提出非标准化查询时，PromptQL能够更好地理解和响应。产品背景信息显示，PromptQL旨在通过与用户的紧密合作，免费构建首个代理，以评估和提升现有AI代理/助手的性能。

一个开源的、增强检索的生成式聊天机器人。

Verba 是一个开源应用程序，旨在提供端到端、流畅且用户友好的检索增强生成（RAG）接口。它结合了最先进的RAG技术和Weaviate的上下文感知数据库，支持本地或通过云部署，可以轻松探索数据集并提取洞见。

在Google Sheets中使用AI和无限网络爬虫

SheetMagic是一个在Google Sheets中使用AI和无限网络爬虫的插件。它能够生成AI内容和AI图片，实现无限的AI提示，并且能够从网站和搜索引擎结果页面获取实时数据。除此之外，它还可以进行数据分析、数据准备和其他多种功能，全部在Google Sheets内完成。

网络爬虫与工作流自动化一站式解决方案

Hexomatic是一个提供网络爬虫和工作流自动化功能的平台。通过Hexomatic，您可以将互联网作为自己的数据源，自动化执行100多种销售、营销或研究任务。Hexomatic的主要功能包括网页抓取、数据提取、数据清洗和自动化工作流程等。它可以帮助您节省大量时间和人力资源，并提高工作效率。Hexomatic的定价根据用户需求和使用频率进行灵活调整。

用于检索和生成结合统计数据的文本模型

DataGemma RIG是一系列微调后的Gemma 2模型，旨在帮助大型语言模型（LLMs）访问并整合来自Data Commons的可靠公共统计数据。该模型采用检索式生成方法，通过自然语言查询Data Commons的现有自然语言接口，对响应中的统计数据进行注释。DataGemma RIG在TPUv5e上使用JAX进行训练，目前是早期版本，主要用于学术和研究目的，尚未准备好用于商业或公众使用。

上传数据，获取机器学习模型

Automated Machine Learning as a Service是一个提供自动化机器学习服务的网站。用户可以通过上传数据来获取他们的机器学习模型，该平台为用户提供了便捷的机器学习模型开发和部署流程。该平台还提供了丰富的功能和优势，包括简单易用的界面、自动化的模型训练和优化、灵活的定价策略等。用户可以根据自己的需求选择适合的定价方案，并在不同的场景中应用该机器学习模型。该产品的定位是为广大用户提供高效、便捷、灵活的机器学习解决方案。

数据科学与机器学习云平台

Saturn Cloud是一个解决数据科学和机器学习所需复杂基础设施管理和扩展的云平台。它提供了使用R和Python进行数据科学的环境，支持GPU、Dask集群等功能。Saturn Cloud可以帮助数据科学家、数据科学领导者和软件工程师简化开发、部署和数据处理的流程。该产品提供不同的功能和定价计划以满足各种需求。

AI 网络爬虫，无需编码，即时数据提取。

BrowserAct是一款AI网页爬虫工具，能够即时从任何网站提取数据，无需编码，具有强大的数据提取能力。其主要优点在于自动隐藏广告和非必要元素，支持实时和持久数据访问，同时具有全球住宅IP网络等功能。

AI、机器学习和数据科学工作的最佳选择

Best AI Jobs是＃1人工智能工作板，拥有2000多个工作职位，包括人工智能软件工程师、AI开发人员、机器学习工程师等。在AI领域找到一份工作，加入未来！

无代码数据清洗、准备和机器学习平台

Sweephy是一款无代码数据清洗、准备和机器学习平台。它专注于为每个业务案例提供专业开发，可以帮助您将原始数据转化为商业价值。Sweephy提供了一系列机器学习模块，包括数据可视化、文本分类、相似记录检查、数据分析和解释等功能。通过Sweephy，您可以轻松处理数据并从中获取商业价值。

Python机器学习库

scikit-learn是一个简单高效的机器学习库，提供了丰富的机器学习算法和工具，可用于分类、回归、聚类、降维等任务。它基于NumPy、SciPy和matplotlib构建，具有易用性、性能优越以及可重复使用的特点。scikit-learn开源可商用，采用BSD许可证。

学习野外音频视觉数据的机器人操控

ManiWAV是一个研究项目，旨在通过野外的音频和视觉数据学习机器人操控技能。它通过收集人类演示的同步音频和视觉反馈，并通过相应的策略接口直接从演示中学习机器人操控策略。该模型展示了通过四个接触丰富的操控任务来证明其系统的能力，这些任务需要机器人被动地感知接触事件和模式，或主动地感知物体表面的材料和状态。此外，该系统还能够通过学习多样化的野外人类演示来泛化到未见过的野外环境中。

开源数据标注工具，提升机器学习模型性能。

LabelU是一个开源的数据标注工具，适用于需要对图像、视频、音频等数据进行高效标注的场景，以提升机器学习模型的性能和质量。它支持多种标注类型，包括标签分类、文本描述、拉框等，满足不同场景的标注需求。

只有机器人的社交网络

OnlyBots是世界上第一个只面向机器人的社交网络。在这里，机器人可以发泄情绪、八卦聊天和和其他机器人一起闲逛。不接受人类用户。

视觉位置识别通过图像片段检索

Revisit Anything 是一个视觉位置识别系统，通过图像片段检索技术，能够识别和匹配不同图像中的位置。它结合了SAM（Spatial Attention Module）和DINO（Distributed Knowledge Distillation）技术，提高了视觉识别的准确性和效率。该技术在机器人导航、自动驾驶等领域具有重要的应用价值。

在Cloudflare全球网络运行机器学习模型

Workers AI是Cloudflare推出的一款在边缘计算环境中运行机器学习模型的产品。它允许用户在全球范围内的Cloudflare网络节点上部署和运行AI应用，这些应用可以是图像分类、文本生成、目标检测等多种类型。Workers AI的推出标志着Cloudflare在全球网络中部署了GPU资源，使得开发者能够构建和部署接近用户的雄心勃勃的AI应用。该产品的主要优点包括全球分布式部署、低延迟、高性能和可靠性，同时支持免费和付费计划。

无代码机器学习平台

NextBrain AI是一款无代码机器学习平台，让任何人都能轻松训练机器学习模型并将数据转化为有价值的见解，指导决策。它提供简单有效的分析和宝贵的洞察力，无需编程知识。同时支持Google Sheets插件和Web应用，选择适合您的方式开始训练机器学习模型吧！

先进的AI检索器，用于RAG。

DenserRetriever是一个开源的AI检索模型，专为RAG（Retrieval-Augmented Generation）设计，利用社区协作的力量，采用XGBoost机器学习技术有效结合异构检索器，旨在满足大型企业的需求，并且易于部署，支持docker快速启动。它在MTEB检索基准测试中达到了最先进的准确性，并且Hugging Face排行榜上也有其身影。

基于记忆的RAG框架，用于全目的应用

MemoRAG是一个基于记忆的RAG框架，它通过高效的超长记忆模型，为各种应用提供支持。与传统的RAG不同，MemoRAG利用其记忆模型实现对整个数据库的全局理解，通过从记忆中回忆查询特定的线索，增强证据检索，从而生成更准确、更丰富的上下文响应。MemoRAG的开发活跃，不断有资源和原型在此仓库发布。

视觉语言模型高效文档检索工具

ColPali 是一种基于视觉语言模型的高效文档检索工具，它通过直接嵌入文档页面图像的方式来简化文档检索流程。ColPali 利用了最新的视觉语言模型技术，特别是 PaliGemma 模型，通过晚交互机制实现多向量检索，从而提高检索性能。这一技术不仅加快了索引速度，降低了查询延迟，而且在检索包含视觉元素的文档方面表现出色，例如图表、表格和图像。ColPali 的出现，为文档检索领域带来了一种新的“视觉空间检索”范式，有助于提高信息检索的效率和准确性。

多方面数据索引与搜索模型

Cohere Compass是一款新型的多方面嵌入模型，专为解决企业数据中的多重概念和关系检索挑战而设计。它能够将数据以JSON格式传递至嵌入模型，转换后存储在向量数据库中，保持元数据和文本的同时，捕捉多方面数据中概念间的关系。与传统的RAG流程相比，Compass通过其SDK将电子邮件及其附件解析为单一JSON，生成包含多方面表示的嵌入输出，从而在搜索时能够准确理解和匹配查询中的不同方面。

简化机器学习云服务

Deploifai是一种管理机器学习项目云端的工具，让您可以专注于解决方案。它提供简化的云服务，帮助您管理和部署机器学习模型，包括数据集管理、模型训练、部署和监控。Deploifai的优势在于简化了复杂的基础设施设置，提供易于使用的界面和工具，以及高度可扩展的计算和存储资源。价格根据使用量和功能等级而定，适用于个人开发者和企业团队。

为真实世界机器人提供最先进的机器学习模型、数据集和工具。

LeRobot 是一个旨在降低进入机器人领域的门槛，让每个人都能贡献并从共享数据集和预训练模型中受益的开源项目。它包含了在真实世界中经过验证的最先进的方法，特别关注模仿学习和强化学习。LeRobot 提供了一组预训练模型、带有人类收集演示的数据集和模拟环境，以便用户无需组装机器人即可开始。未来几周内，计划增加对最实惠和最有能力的真实世界机器人的支持。