需求人群:
"Crawlee 适合需要构建数据爬取和网页自动化工具的开发者。无论是需要从静态 HTML 页面还是依赖客户端 JavaScript 生成内容的动态网站中提取数据,Crawlee 都能够提供强大的支持。它的易用性和灵活性使其成为数据科学家、机器学习工程师和 web 开发者的理想选择。"
使用场景示例:
使用 BeautifulSoupCrawler 高效提取 HTML 内容数据。
利用 PlaywrightCrawler 处理 JavaScript 重型网站的数据抓取。
通过 Crawlee CLI 快速启动和配置新的爬虫项目。
产品特色:
统一的 HTTP 和无头浏览器爬取接口
基于系统资源的自动并行爬取
Python 类型提示,增强开发体验
自动错误重试和防屏蔽功能
集成代理轮换和会话管理
可配置的请求路由和持久化 URL 队列
支持多种数据和文件存储方式
健壮的错误处理机制
使用教程:
安装 Crawlee: pip install crawlee
根据需要安装额外的依赖,例如 beautifulsoup 或 playwright
使用 Crawlee CLI 创建新的爬虫项目: pipx run crawlee create my-crawler
选择一个模板并根据项目需求进行配置
编写爬虫逻辑,包括数据提取和链接抓取
运行爬虫并观察结果
浏览量:28
最新流量情况
月访问量
5.03m
平均访问时长
00:06:29
每次访问页数
5.88
跳出率
37.10%
流量来源
直接访问
52.07%
自然搜索
32.84%
邮件
0.04%
外链引荐
12.88%
社交媒体
2.04%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
12.85%
德国
3.90%
印度
9.41%
俄罗斯
4.16%
美国
18.95%
Python 网络爬虫和浏览器自动化库
Crawlee 是一个用于构建可靠爬虫的 Python 网络爬虫和浏览器自动化库,提取数据用于AI、LLMs、RAG或GPTs。它提供了统一的接口来处理 HTTP 和无头浏览器爬取任务,支持自动并行爬取,基于系统资源进行调整。Crawlee 用 Python 编写,包含类型提示,增强了开发体验并减少了错误。它具备自动重试、集成代理轮换和会话管理、可配置的请求路由、持久化 URL 队列、可插拔的存储选项等功能。相较于 Scrapy,Crawlee 提供了对无头浏览器爬取的原生支持,拥有简洁优雅的接口,并且完全基于标准的异步 IO。
KET-RAG 是一个结合知识图谱的检索增强型生成框架,用于高效文档索引和答案生成。
KET-RAG(Knowledge-Enhanced Text Retrieval Augmented Generation)是一个强大的检索增强型生成框架,结合了知识图谱技术。它通过多粒度索引框架(如知识图谱骨架和文本-关键词二分图)实现高效的知识检索和生成。该框架在降低索引成本的同时,显著提升了检索和生成质量,适用于大规模 RAG 应用场景。KET-RAG 基于 Python 开发,支持灵活的配置和扩展,适用于需要高效知识检索和生成的开发人员和研究人员。
一个用于创建基于LangGraph的分层多智能体系统的Python库。
LangGraph Multi-Agent Supervisor是一个基于LangGraph框架构建的Python库,用于创建分层多智能体系统。它允许开发者通过一个中心化的监督智能体来协调多个专业智能体,实现任务的动态分配和通信管理。该技术的重要性在于其能够高效地组织复杂的多智能体任务,提升系统的灵活性和可扩展性。它适用于需要多智能体协作的场景,如自动化任务处理、复杂问题解决等。该产品定位为高级开发者和企业级应用,目前未明确公开价格,但其开源特性使得用户可以根据自身需求进行定制和扩展。
Dria-Agent-α是基于Python的大型语言模型工具交互框架。
Dria-Agent-α是Hugging Face推出的大型语言模型(LLM)工具交互框架。它通过Python代码来调用工具,与传统的JSON模式相比,能更充分地发挥LLM的推理能力,使模型能够以更接近人类自然语言的方式进行复杂问题的解决。该框架利用Python的流行性和接近伪代码的语法,使LLM在代理场景中表现更佳。Dria-Agent-α的开发使用了合成数据生成工具Dria,通过多阶段管道生成逼真的场景,训练模型进行复杂问题解决。目前已有Dria-Agent-α-3B和Dria-Agent-α-7B两个模型在Hugging Face上发布。
利用LlamaIndex和IBM's Docling实现的RAG技术
RAG over excel sheets是一个结合了LlamaIndex和IBM's Docling技术的人工智能项目,专注于在Excel表格上实现检索式问答(RAG)。该项目不仅可以应用于Excel,还可以扩展到PPTs和其他复杂的文档。它通过提供高效的信息检索和处理能力,极大地提高了数据分析和文档管理的效率。
集成长语言模型与Meshtastic通信网络的平台
radio-llm是一个平台,用于将长语言模型(LLMs)与Meshtastic网状通信网络集成。它允许网状网络上的用户与LLM进行交互,以获得简洁、自动化的响应。此外,该平台还允许用户通过LLM执行任务,如呼叫紧急服务、发送消息、检索传感器信息。产品背景信息显示,目前仅支持紧急服务的演示工具,未来将推出更多工具。
一个强大的OCR(光学字符识别)工具
Ollama-OCR是一个使用最新视觉语言模型的OCR工具,通过Ollama提供技术支持,能够从图像中提取文本。它支持多种输出格式,包括Markdown、纯文本、JSON、结构化数据和键值对,并且支持批量处理功能。这个项目以Python包和Streamlit网络应用的形式提供,方便用户在不同场景下使用。
AI驱动的多智能体数据分析系统
AI-Data-Analysis-MultiAgent是一个高级的AI驱动研究助理系统,利用多个专业智能体协助进行数据分析、可视化和报告生成等任务。该系统采用LangChain、OpenAI的GPT模型和LangGraph处理复杂的研究流程,集成多样化的AI架构以实现最佳性能。该系统的独特之处在于集成了一个专门的Note Taker智能体,通过维护项目的简洁而全面的记录,可以降低计算开销,提高不同分析阶段之间的上下文保持能力,并实现更连贯一致的分析结果。
Semantic Kernel的OpenAPI插件,支持.NET和Python。
Semantic Kernel OpenAPI插件是一个为Semantic Kernel设计的插件,它允许开发者轻松地将现有的API集成为插件,增强AI代理的能力,使其在实际应用中更加多样化。这个插件的发布标志着开发者可以利用现有的API功能,将其转化为AI解决方案中的插件,简化流程,提升开发效率。
一个专门用于解决数独谜题的RWKV模型。
Sudoku-RWKV是一个基于RWKV模型的数独解题工具,它利用深度学习技术来解决数独问题。这个模型经过专门训练,能够处理大量的数独样本,具有较高的解题准确率。产品背景信息显示,该模型在训练时使用了约2M的数独样本,覆盖了约39.2B的token,参数量大约为12.7M,词汇量为133,架构为8层,每层320维度。该模型的主要优点是高效率和高准确率,能够解决任何可解的数独谜题。
下一代Python笔记本
marimo是一个开源的Python反应式笔记本,它具有可复现性、对git友好、可以作为脚本执行,并且可以作为应用程序分享。它通过自动运行受影响的单元格来响应单元格的更改,消除了管理笔记本状态的繁琐工作。marimo的UI元素如数据框架GUI和图表,使得数据处理变得快速、未来感和直观。marimo笔记本以.py文件存储,可以与git版本控制一起使用,可以作为Python脚本运行,也可以导入符号到其他笔记本或Python文件中,并使用你喜欢的工具进行lint或格式化。所有这些都在现代的 AI 支持的编辑器中进行。
基于GIMM-VFI的ComfyUI帧插值工具
ComfyUI-GIMM-VFI是一个基于GIMM-VFI算法的帧插值工具,使用户能够在图像和视频处理中实现高质量的帧插值效果。该技术通过在连续帧之间插入新的帧来提高视频的帧率,从而使得动作看起来更加流畅。这对于视频游戏、电影后期制作和其他需要高帧率视频的应用场景尤为重要。产品背景信息显示,它是基于Python开发的,并且依赖于CuPy库,特别适用于需要进行高性能计算的场景。
开源的网页自动化库,支持任何大型语言模型(LLM)
browser-use是一个开源的网页自动化库,允许大型语言模型(LLM)与网站进行交互,通过简单的接口实现复杂的网页操作。该技术的主要优点包括对多种语言模型的通用支持、交互元素自动检测、多标签页管理、XPath提取、视觉模型支持等。它解决了传统网页自动化中的一些痛点,如动态内容处理、长任务解决等。browser-use以其灵活性和易用性,为开发者提供了一个强大的工具,以构建更加智能和自动化的网页交互体验。
利用Claude 3.5 Sonnet Vision API进行图像中物体检测和可视化的强大Python工具
Claude Vision Object Detection是一个基于Python的工具,它利用Claude 3.5 Sonnet Vision API来检测图像中的物体并进行可视化。该工具能够自动在检测到的物体周围绘制边界框,对它们进行标记,并显示置信度分数。它支持处理单张图片或整个目录中的图片,并且具有高精度的置信度分数,为每个检测到的物体使用鲜艳且不同的颜色。此外,它还能保存带有检测结果的注释图片。
AI驱动的数据可视化工具
Data Formulator 是微软研究团队开发的一款AI驱动的数据可视化工具,它通过结合用户界面交互和自然语言输入,帮助用户快速创建丰富的数据可视化图表。该工具可以自动处理数据转换,使用户能够专注于图表设计。Data Formulator 支持通过Python安装并本地运行,也可以在GitHub Codespaces中快速启动。它代表了数据分析和可视化领域的技术进步,通过AI技术提高了数据可视化的效率和易用性。
Mochi视频生成器的ComfyUI包装节点
ComfyUI-MochiWrapper是一个用于Mochi视频生成器的包装节点,它允许用户通过ComfyUI界面与Mochi模型进行交互。这个项目主要优点是能够利用Mochi模型生成视频内容,并且通过ComfyUI简化了操作流程。它是基于Python开发的,并且完全开源,允许开发者自由地使用和修改。目前该项目还处于积极开发中,已经有一些基本功能,但还没有正式发布版本。
批量为图片文件生成描述性标题的工具
joy-caption-batch是一个利用Joytag Caption工具批量为图片文件生成描述性标题的编程模型。该工具目前处于Alpha阶段,它通过分析图片内容,使用人工智能技术生成相应的文字描述,帮助用户快速理解图片内容。该工具的主要优点包括批量处理能力、支持自定义图片目录以及对低显存模式的支持,使其能够在显存较低的设备上运行。此外,该工具还提供了详细的安装和使用说明,方便用户快速上手。
快速构建健壮的AI代理项目
AgentStack是一个用于快速创建AI代理项目的命令行工具。它基于Python 3.10+,支持多种流行的代理框架,如CrewAI、Autogen和LiteLLM,并集成了多种工具,以简化开发过程。AgentStack的设计理念是简化从零开始构建AI代理的过程,无需复杂的配置,即可快速启动和运行代理项目。它还提供了一个交互式测试运行器、实时开发服务器以及生产环境的构建脚本。AgentStack是开源的,遵循MIT许可协议,适合希望快速进入AI代理开发的开发者。
多智能体系统构建、编排和部署框架
Swarm是由OpenAI Solutions团队管理的实验性框架,旨在构建、编排和部署多智能体系统。它通过定义智能体(Agent)和交接(handoffs)的抽象概念,实现了智能体之间的协调和执行。Swarm框架强调轻量级、高可控性和易于测试,适用于需要大量独立功能和指令的场景,允许开发者拥有完全的透明度和对上下文、步骤和工具调用的细粒度控制。Swarm框架目前处于实验阶段,不推荐在生产环境中使用。
一个简单而强大的Python库,用于使用大型语言模型(LLMs)。
promptic是一个轻量级、基于装饰器的Python库,它通过litellm简化了与大型语言模型(LLMs)交互的过程。使用promptic,你可以轻松创建提示,处理输入参数,并从LLMs接收结构化输出,仅需几行代码。
与文档进行自然语言对话的Python应用
Chat With Your Docs 是一个Python应用程序,允许用户与多种文档格式(如PDF、网页和YouTube视频)进行对话。用户可以使用自然语言提问,应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意,应用仅回应与加载的文档相关的问题。
多人协作的数据平台,支持SQL和Python的交互式笔记本。
Briefer是一个开源的数据平台,它允许用户运行SQL和Python代码,并将笔记本转化为仪表板和数据应用。它支持连接多种数据源,如Postgres、BigQuery、Redshift等,并且可以利用查询结果直接在Python代码块中使用。此外,它还提供了预安装的库和内置AI助手来帮助用户更快速地编写代码。Briefer的仪表板和数据应用功能,使得用户可以创建交互式的页面,用于数据探索和决策支持。
利用大型语言模型增量构建知识图谱
iText2KG是一个Python包,旨在利用大型语言模型从文本文档中提取实体和关系,增量构建一致的知识图谱。它具备零样本能力,允许在没有特定训练的情况下跨不同领域进行知识提取。该包包括文档蒸馏、实体提取和关系提取模块,确保实体和关系得到解决和唯一性。它通过Neo4j提供知识图谱的可视化表示,支持交互式探索和分析结构化数据。
轻量级Python库,用于使用大型语言模型进行网站抓取。
Parsera是一个轻量级的Python库,专门设计用于与大型语言模型(LLMs)结合,以简化网站数据抓取的过程。它通过使用最少的令牌来提高速度并降低成本,使得数据抓取变得更加高效和经济。Parsera支持多种聊天模型,并且可以自定义使用不同的模型,如OpenAI或Azure。
高效CPU本地离线LaTeX识别工具
MixTeX是一个创新的多模态LaTeX识别小程序,由团队独立开发,能够在本地离线环境中执行高效的基于CPU的推理。无论是LaTeX公式、表格还是混合文本,MixTeX都能轻松识别,支持中英文处理。得益于强大的技术支持和优化设计,MixTeX无需GPU资源即可高效运行,适合任何Windows电脑,极大地方便了用户体验。
Mac上的简单助手,使用llama-cpp-python。
LLaMA Assistant for Mac是一个基于llama-cpp-python库开发的桌面客户端,旨在通过预定义需求为用户提供帮助。它采用了大量来自其他项目的代码,但用llama-cpp-python替代了ollama部分,以实现更符合Python编程风格的解决方案。
一个简单易用的网页抓取工具。
Scrape It Now! 是一个开源的网页抓取工具,它提供了一整套自动化网页抓取和索引的解决方案。该工具使用Python编写,支持多种功能,包括动态JavaScript内容加载、广告屏蔽、随机用户代理,自动创建AI搜索索引等,以提高抓取效率和数据质量。它适用于需要从网页中提取信息并进行进一步分析或存储的用户。
自动化创建WordPress标准文章的插件
AIEntries是一个WordPress插件,利用Google的GEMINI人工智能和stability.AI,根据WordPress管理视图中的可配置参数自动化创建标准文章。它结合了多个免费API来确保内容质量,包括获取真实文章的News API、基于真实文章生成原创内容的Google Gemini API,以及根据AI生成文章标题生成文章特色图片的Stability AI。
© 2025 AIbase 备案号:闽ICP备08105208号-14