产品库

Langroid是一个基于Python的轻量级LLM框架

Langroid是一个轻量级、可扩展和原则性的Python框架,可以轻松地构建基于LLM的应用程序。您可以设置代理,为它们配备可选组件(LLM、向量存储和方法),分配它们任务,并让他们通过交换消息协作解决问题。这个多代理范例的灵感来自Actor框架(但您不需要了解任何关于这个的知识!)。Langroid提供了一个全新的LLM应用程序开发方式,在简化开发人员体验方面进行了深思熟虑;它不使用Langchain。我们欢迎贡献--请参阅贡献文档以获取贡献想法。

一个用于LLM预训练的高效网络爬虫工具，专注于高效爬取高质量网页数据。

Crawl4LLM是一个开源的网络爬虫项目，旨在为大型语言模型（LLM）的预训练提供高效的数据爬取解决方案。它通过智能选择和爬取网页数据，帮助研究人员和开发者获取高质量的训练语料。该工具支持多种文档评分方法，能够根据配置灵活调整爬取策略，以满足不同的预训练需求。项目基于Python开发，具有良好的扩展性和易用性，适合在学术研究和工业应用中使用。

任务感知型提示优化框架

PromptWizard是由微软开发的一个任务感知型提示优化框架，它通过自我演化机制，使得大型语言模型（LLM）能够生成、批评和完善自己的提示和示例，通过迭代反馈和综合不断改进。这个自适应方法通过进化指令和上下文学习示例来全面优化，以提高任务性能。该框架的三个关键组件包括：反馈驱动的优化、批评和合成多样化示例、自生成的思考链（Chain of Thought, CoT）步骤。PromptWizard的重要性在于它能够显著提升LLM在特定任务上的表现，通过优化提示和示例来增强模型的性能和解释性。

AI驱动的多智能体数据分析系统

AI-Data-Analysis-MultiAgent是一个高级的AI驱动研究助理系统，利用多个专业智能体协助进行数据分析、可视化和报告生成等任务。该系统采用LangChain、OpenAI的GPT模型和LangGraph处理复杂的研究流程，集成多样化的AI架构以实现最佳性能。该系统的独特之处在于集成了一个专门的Note Taker智能体，通过维护项目的简洁而全面的记录，可以降低计算开销，提高不同分析阶段之间的上下文保持能力，并实现更连贯一致的分析结果。

一个简单而强大的Python库，用于使用大型语言模型（LLMs）。

promptic是一个轻量级、基于装饰器的Python库，它通过litellm简化了与大型语言模型（LLMs）交互的过程。使用promptic，你可以轻松创建提示，处理输入参数，并从LLMs接收结构化输出，仅需几行代码。

革命性的检索增强生成系统技术集合。

RAG_Techniques 是一个专注于检索增强生成(Retrieval-Augmented Generation, RAG)系统的技术集合，旨在提升系统的准确性、效率和上下文丰富性。它提供了一个前沿技术的中心，通过社区贡献和协作环境，推动RAG技术的发展和创新。

高效CPU本地离线LaTeX识别工具

MixTeX是一个创新的多模态LaTeX识别小程序，由团队独立开发，能够在本地离线环境中执行高效的基于CPU的推理。无论是LaTeX公式、表格还是混合文本，MixTeX都能轻松识别，支持中英文处理。得益于强大的技术支持和优化设计，MixTeX无需GPU资源即可高效运行，适合任何Windows电脑，极大地方便了用户体验。

一站式数据处理系统，为大型语言模型提供高质量数据。

Data-Juicer 是一个一站式的多模态数据处理系统，旨在为大型语言模型(LLMs)提供更高质量、更丰富、更易消化的数据。它提供了一个系统化和可复用的数据处理库，支持数据与模型的协同开发，通过沙盒实验室实现快速迭代，并提供基于数据和模型的反馈循环、可视化和多维度自动评估等功能，帮助用户更好地理解和改进他们的数据和模型。Data-Juicer 正在积极更新和维护，定期增强和添加更多功能、数据配方和数据集。

通过GPT等大型语言模型与你的文档对话

IncarnaMind是一个开源项目，旨在通过大型语言模型（LLMs）如GPT、Claude和本地开源LLMs，实现与个人文档（PDF、TXT）的交互对话。该项目利用滑动窗口分块机制和集成检索器，提高查询效率，增强LLMs的准确性。它支持多文档对话问答，突破了单文档限制，并兼容多种文件格式和LLM模型。

AI代理工具集，赋能复杂任务处理。

Composio是一个为AI代理提供高质量工具和集成的平台，它简化了代理的认证、准确性和可靠性问题，使得开发者能够通过一行代码集成多种工具和框架。它支持100多种工具，覆盖了GitHub、Notion、Linear等90多个平台，提供了包括软件操作、操作系统交互、浏览器功能、搜索、软件开发环境（SWE）以及即席代理数据（RAG）等多种功能。Composio还支持六种不同的认证协议，能够显著提高代理调用工具的准确性。此外，Composio可以作为后端服务嵌入到应用程序中，为所有用户和代理管理认证和集成，保持一致的体验。

RAG-based LLM agents的Elo排名工具

RAGElo是一个工具集，使用Elo评分系统帮助选择最佳的基于检索增强生成（RAG）的大型语言模型（LLM）代理。随着生成性LLM在生产中的原型设计和整合变得更加容易，评估仍然是解决方案中最具有挑战性的部分。RAGElo通过比较不同RAG管道和提示对多个问题的答案，计算不同设置的排名，提供了一个良好的概览，了解哪些设置有效，哪些无效。

本地语音聊天机器人，保护隐私，无需联网。

june是一个结合了Ollama、Hugging Face Transformers和Coqui TTS Toolkit的本地语音聊天机器人。它提供了一种灵活、注重隐私的解决方案，可以在本地机器上进行语音辅助交互，确保没有数据被发送到外部服务器。产品的主要优点包括无需联网即可使用、保护用户隐私、支持多种交互模式等。

一个用于Lumina模型的Python包装器

ComfyUI-LuminaWrapper是一个开源的Python包装器，用于简化Lumina模型的加载和使用。它支持自定义节点和工作流，使得开发者能够更便捷地集成Lumina模型到自己的项目中。该插件主要面向希望在Python环境中使用Lumina模型进行深度学习或机器学习的开发者。

代码生成任务的新型模型，测试准确率高于GPT-4 Turbo。

AutoCoder是一个专为代码生成任务设计的新型模型，其在HumanEval基准数据集上的测试准确率超过了GPT-4 Turbo（2024年4月）和GPT-4o。与之前的开源模型相比，AutoCoder提供了一个新功能：它可以自动安装所需的包，并在用户希望执行代码时尝试运行代码，直到确定没有问题。

用于微调Meta Llama模型的库和示例脚本集合

llama-recipes是Meta Llama模型的配套仓库，旨在提供一个可扩展的库，用于微调Meta Llama模型，并提供一些示例脚本和笔记本，以便快速开始使用模型在各种用例中，包括领域适应的微调和构建基于LLM的应用程序。

基于AI的Python网络爬虫库，自动化提取网页信息。

ScrapeGraphAI是一个使用LLM（大型语言模型）和直接图逻辑来为网站、文档和XML文件创建抓取管道的Python网络爬虫库。用户只需指定想要提取的信息，库就会自动完成这项工作。该库的主要优点在于简化了网络数据抓取的过程，提高了数据提取的效率和准确性。它适用于数据探索和研究目的，但不应被滥用。

使用简单、原始的 C/CUDA 进行 LLM 训练

karpathy/llm.c 是一个使用简单的 C/CUDA 实现 LLM 训练的项目。它旨在提供一个干净、简单的参考实现,同时也包含了更优化的版本,可以接近 PyTorch 的性能,但代码和依赖大大减少。目前正在开发直接的 CUDA 实现、使用 SIMD 指令优化 CPU 版本以及支持更多现代架构如 Llama2、Gemma 等。

生成合成数据，训练和对齐模型的工具

DataDreamer是一个强大的开源Python库，用于提示、生成合成数据和训练工作流。它旨在简单易用，极其高效，且具有研究级质量。DataDreamer支持创建提示工作流、生成合成数据集、对齐模型、微调模型、指令调优模型和模型蒸馏。它具有简单、研究级、高效、可复现的特点，并简化了数据集和模型的共享。

拖放方式创建agent工作群用于自定义业务逻辑

React Flow是一个开源的可视化编辑器,允许用户通过拖放的方式创建agent工作群,用于自定义业务逻辑。用户可以从图库中拖放agent到工作区,连接它们,定义初始任务,导出Python脚本在本地机器上运行。我们通过定制的操作系统为企业提供云端支持,让他们可以运行LLM。欢迎联系我们的企业支持团队了解更多信息。

Streamlit是一个开源Python库,用于快速构建数据应用和机器学习产品原型。

Streamlit是一个开源Python库,让数据科学家和机器学习工程师可以快速地在Web浏览器中创建Beautiful,自定义的机器学习应用程序和数据应用程序。无需学习前端Web开发,Streamlit应用可以在几分钟内从简单的脚本构建。Streamlit提供了简单的API来创建各种交互式小部件,如文本、图像、表格、图表、视频等,从而使数据探索和展示变得轻松。它具有内置支持的数据框架,如Pandas、Numpy、Matplotlib等。它兼容大多数Python机器学习库,如Scikit-learn、TensorFlow等。

Python机器学习库

scikit-learn是一个简单高效的机器学习库，提供了丰富的机器学习算法和工具，可用于分类、回归、聚类、降维等任务。它基于NumPy、SciPy和matplotlib构建，具有易用性、性能优越以及可重复使用的特点。scikit-learn开源可商用，采用BSD许可证。

低代码的python机器学习库

PyCaret是一个开源的、低代码的Python机器学习库,它可以自动化机器学习工作流程。PyCaret 可以让你花费更少的时间编写代码,更多的时间用于分析。PyCaret模块化设计,每个模块封装了特定的机器学习任务。PyCaret中一致的函数集可以在工作流中执行任务。PyCaret中有许多数据预处理功能可供选择,从缩放到特征工程。有大量有趣的教程可以帮助你学习PyCaret,你可以从我们的官方教程开始。PyCaret使机器学习变得简单有趣。

通过音频扩散模型实现源分离和合成的创新方法。

Audio-SDS 是一个将 Score Distillation Sampling（SDS）概念应用于音频扩散模型的框架。该技术能够在不需要专门数据集的情况下，利用大型预训练模型进行多种音频任务，如物理引导的冲击声合成和基于提示的源分离。其主要优点在于通过一系列迭代优化，使得复杂的音频生成任务变得更为高效。此技术具有广泛的应用前景，能够为未来的音频生成和处理研究提供坚实基础。

智能文档处理AI平台，利用AI、机器学习和OCR技术自动化数据提取、分类和组织各种文档类型。

docsynecx是一款智能文档处理AI平台，通过AI、机器学习和OCR技术，自动化处理各种文档类型，包括发票处理、收据、提单等。该平台能够快速准确地提取、分类和组织结构化、半结构化和非结构化数据。

使用AI技术提供的Monorepo工具包，帮助快速构建应用程序。

MonoKit是一个AI驱动的monorepo工具包，提供了Next.js Turborepo起始套件，深度整合MCP服务器，以及适用于LLM的模板。它有助于加快应用程序的构建速度，并提供优化的代码结构，帮助AI代理更好地理解项目上下文，从而提供更准确的代码建议。

mutatio是一个AI提示工程平台，帮助AI工程师系统测试，衡量和优化提示。

mutatio是一个现代LLM提示实验平台，可帮助用户Craft，refine和optimize他们的AI提示。它允许用户创建和测试各种提示变异，以提高AI的输出质量。

一款高质量的英语自动语音识别模型，支持标点符号和时间戳预测。

parakeet-tdt-0.6b-v2 是一个 600 百万参数的自动语音识别（ASR）模型，旨在实现高质量的英语转录，具有准确的时间戳预测和自动标点符号、大小写支持。该模型基于 FastConformer 架构，能够高效地处理长达 24 分钟的音频片段，适合开发者、研究人员和各行业应用。

全面管理的AI搜索基础设施，支持RAG。

Ducky是一种全面管理的AI检索服务，专为那些需要快速准确结果的开发人员而设计。它支持语义搜索，包括检索增强生成（RAG），并且提供了简单明了的Python SDK，可以快速构建出色的搜索功能。

一个统一的图像编辑模型，支持多种用户指令。

Step1X-Edit 是一种实用的通用图像编辑框架，利用 MLLMs 的图像理解能力解析编辑指令，生成编辑令牌，并通过 DiT 网络解码为图像。其重要性在于能够有效满足真实用户的编辑需求，提升了图像编辑的便捷性和灵活性。