需求人群:
"目标受众为数据科学家、研究人员和开发者,他们需要从大量文本数据中提取信息并构建知识图谱。iText2KG通过自动化实体和关系提取,减少了手动处理数据的需要,提高了效率和准确性。"
使用场景示例:
构建科学文献的知识图谱,用于研究和数据分析。
从公司网站提取信息,构建公司知识图谱,用于业务分析和决策支持。
处理个人简历,构建个人知识图谱,用于职业发展和技能评估。
产品特色:
文档蒸馏器:处理原始文档并将其重构成基于用户定义模式的语义块。
增量实体提取器:从语义块中提取独特实体并解决歧义,确保每个实体都有明确的定义。
增量关系提取器:识别提取实体之间的关系,可以丰富图谱或提供更精确的关系。
图集成和可视化:将提取的实体和关系集成到Neo4j数据库中,提供知识图谱的可视化。
支持零样本能力,无需特定领域训练即可进行知识提取。
与Neo4j数据库集成,便于数据的可视化和分析。
使用教程:
1. 安装iText2KG,确保Python环境已安装,使用pip进行安装。
2. 定义或上传预定义的文档蒸馏模式。
3. 使用DocumentDistiller模块对文档进行蒸馏,提取语义块。
4. 通过iText2KG模块构建知识图谱,提取实体和关系。
5. 将提取的实体和关系通过GraphIntegrator模块集成到Neo4j数据库中。
6. 使用Neo4j进行知识图谱的可视化和交互式探索。
浏览量:23
最新流量情况
月访问量
5.04m
平均访问时长
00:06:44
每次访问页数
5.72
跳出率
37.31%
流量来源
直接访问
52.46%
自然搜索
32.55%
邮件
0.05%
外链引荐
12.51%
社交媒体
2.27%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
13.03%
德国
3.56%
印度
9.44%
俄罗斯
5.59%
美国
18.14%
利用大型语言模型增量构建知识图谱
iText2KG是一个Python包,旨在利用大型语言模型从文本文档中提取实体和关系,增量构建一致的知识图谱。它具备零样本能力,允许在没有特定训练的情况下跨不同领域进行知识提取。该包包括文档蒸馏、实体提取和关系提取模块,确保实体和关系得到解决和唯一性。它通过Neo4j提供知识图谱的可视化表示,支持交互式探索和分析结构化数据。
构建知识图谱的Neo4j应用
llm-graph-builder是一个利用大型语言模型(如OpenAI、Gemini等)从非结构化数据(PDF、DOCS、TXT、YouTube视频、网页等)中提取节点、关系及其属性,并使用Langchain框架创建结构化知识图谱的应用程序。它支持从本地机器、GCS或S3存储桶或网络资源上传文件,选择LLM模型并生成知识图谱。
多语言大型语言模型
Llama 3.2是由Meta公司推出的多语言大型语言模型(LLMs),包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化,包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。
高效单遍统一生成和检索框架,适用于大型语言模型。
OneGen是一个为大型语言模型(LLMs)设计的高效单遍生成和检索框架,用于微调生成、检索或混合任务。它的核心思想是将生成和检索任务整合到同一上下文中,通过将检索任务分配给以自回归方式生成的检索令牌,使得LLM能够在单次前向传递中执行两种任务。这种方法不仅降低了部署成本,还显著减少了推理成本,因为它避免了对查询进行两次前向传递计算的需求。
与文档进行自然语言对话的Python应用
Chat With Your Docs 是一个Python应用程序,允许用户与多种文档格式(如PDF、网页和YouTube视频)进行对话。用户可以使用自然语言提问,应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意,应用仅回应与加载的文档相关的问题。
使大型语言模型在长文本问答中生成细粒度引用
LongCite是一个开源的模型,它通过训练大型语言模型(LLMs)来实现在长文本问答场景中生成准确的回答和精确的句级引用。该技术的重要性在于它能够提高问答系统的准确性和可信度,使用户能够验证输出信息的来源。LongCite支持高达128K的上下文长度,并且提供了两个模型:LongCite-glm4-9b和LongCite-llama3.1-8b,分别基于GLM-4-9B和Meta-Llama-3.1-8B进行训练。
世界顶尖的开源大型语言模型
Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型(LLM),采用名为 Reflection-Tuning 的新技术进行训练,使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练,这些数据由 Glaive 生成。对于正在训练模型的用户来说,Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式,通过特殊的标签来区分模型的内部思考和最终答案,从而提升用户体验。
高效开源的大型语言模型
OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型(LLM),于2024年9月发布。该模型在成本相似的模型中表现卓越,与更大的模型如Llama2-13B竞争。OLMoE完全开源,支持多种功能,包括文本生成、模型训练和部署等。
基于知识图谱的智能问答系统。
Fact Finder 是一个开源的智能问答系统,它使用语言模型和知识图谱来生成自然语言回答和提供证据。该系统通过调用语言模型生成Cypher查询,查询知识图谱以获取答案,并使用另一个语言模型调用生成最终的自然语言回答。Fact Finder 的主要优点包括能够提供透明性,允许用户查看查询和证据,以及通过可视化子图提供直观的证据。
轻量级Python库,用于使用大型语言模型进行网站抓取。
Parsera是一个轻量级的Python库,专门设计用于与大型语言模型(LLMs)结合,以简化网站数据抓取的过程。它通过使用最少的令牌来提高速度并降低成本,使得数据抓取变得更加高效和经济。Parsera支持多种聊天模型,并且可以自定义使用不同的模型,如OpenAI或Azure。
大型语言模型,支持多种参数规模
Meta Llama 3 是 Meta 推出的最新大型语言模型,旨在为个人、创作者、研究人员和各类企业解锁大型语言模型的能力。该模型包含从8B到70B参数的不同规模版本,支持预训练和指令调优。模型通过 GitHub 仓库提供,用户可以通过下载模型权重和分词器进行本地推理。Meta Llama 3 的发布标志着大型语言模型技术的进一步普及和应用,具有广泛的研究和商业潜力。
大型语言模型,支持多语言和代码数据
Mistral-Nemo-Instruct-2407是由Mistral AI和NVIDIA联合训练的大型语言模型(LLM),是Mistral-Nemo-Base-2407的指导微调版本。该模型在多语言和代码数据上进行了训练,显著优于大小相似或更小的现有模型。其主要特点包括:支持多语言和代码数据训练、128k上下文窗口、可替代Mistral 7B。模型架构包括40层、5120维、128头维、1436隐藏维、32个头、8个kv头(GQA)、2^17词汇量(约128k)、旋转嵌入(theta=1M)。该模型在多种基准测试中表现出色,如HellaSwag(0-shot)、Winogrande(0-shot)、OpenBookQA(0-shot)等。
AI驱动的数据分析工具
Datalore是一个集成了Anthropic的Claude API和多种数据分析库的AI驱动的数据分析工具。它提供了一个交互式界面,使用户能够使用自然语言命令执行数据分析任务。
利用知识图谱和文档网络增强语言模型性能
Knowledge Graph RAG 是一个开源的Python库,它通过创建知识图谱和文档网络来增强大型语言模型(LLM)的性能。这个库允许用户通过图谱结构来搜索和关联信息,从而为语言模型提供更丰富的上下文。它主要应用于自然语言处理领域,尤其是在文档检索和信息抽取任务中。
52B参数的开源多语言大型语言模型
Tele-FLM(亦称FLM-2)是一个52亿参数的开源多语言大型语言模型,具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构,已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能,有时甚至超越了更大的模型。除了分享模型权重外,我们还提供了核心设计、工程实践和训练细节,期待它们对学术界和工业界社区都有所裨益。
大型语言模型的详细列表和信息
Models Table 提供了一个包含300多个大型语言模型的列表,这些模型被所有主要的AI实验室使用,包括Amazon Olympus, OpenAI GPT-5, OpenAI GPT-6等。该列表展示了大型语言模型的发展趋势和多样性,对于AI研究者和开发者来说是一个宝贵的资源。
易用的大规模语言模型知识编辑框架
EasyEdit 是一个面向大型语言模型(LLMs)的易用知识编辑框架,旨在帮助用户高效、准确地调整预训练模型的特定行为。它提供了统一的编辑器、方法和评估框架,支持多种知识编辑技术,如ROME、MEND等,并提供了丰富的数据集和评估指标,以衡量编辑的可靠性、泛化性、局部性和可移植性。
大型语言模型,支持指令式对话和功能调用。
Mistral-7B-Instruct-v0.3是由Mistral AI Team开发的大型语言模型,它是Mistral-7B-v0.3的指令式微调版本。该模型具有扩展的词汇量、支持v3 Tokenizer和功能调用。它能够通过指令式对话和功能调用来生成文本,适合于需要交互式对话和自动化任务的场景。
一种大型语言模型,具有扩展词汇量。
Mistral-7B-v0.3是由Mistral AI团队开发的大型语言模型(Large Language Model, LLM),它是Mistral-7B-v0.2的升级版,具有扩展到32768的词汇量。该模型支持文本生成,适合于需要文本生成能力的应用场景。目前,该模型没有内容审核机制,团队正在寻求社区合作,以实现更精细的内容审核,满足需要内容审核的部署环境。
一款具有128k有效上下文长度的70B参数的大型语言模型。
Llama-3-Giraffe-70B-Instruct是Abacus.AI推出的一款大型语言模型,它通过PoSE和动态NTK插值的训练方法,具有更长的有效上下文长度,能够处理大量的文本数据。该模型在训练中使用了约1.5B个token,并且通过适配器转换技术,将Llama-3-70B-Base模型的适配器应用到Llama-3-Giraffe-70B-Instruct上,以提高模型的性能。
一个实验性的UI,用于将文本转换为知识图谱。
prettygraph是一个基于Python的Web应用程序,由@yoheinakajima开发,展示了一种新的UI模式,用于将文本输入动态地转换为知识图谱。该项目是一个快速原型,旨在提供一种简单的UI想法,通过实时更新UI中的文本高亮来生成知识图谱。
一款专为生物医学领域设计的开源大型语言模型
OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型,专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调,能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型,并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。
结合文本提取、网络分析和大型语言模型提示与总结的端到端系统
GraphRAG (Graphs + Retrieval Augmented Generation) 是一种通过结合文本提取、网络分析以及大型语言模型(LLM)的提示和总结,来丰富理解文本数据集的技术。该技术即将在GitHub上开源,是微软研究项目的一部分,旨在通过先进的算法提升文本数据的处理和分析能力。
Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速
Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。
新模型,多种型号,AI驱动合成数据训练
WizardLM-2是WizardLM推出的新一代大型语言模型,包含三种型号:8x22B、70B和7B。该产品采用AI驱动的合成数据训练系统,通过数据分析、加权抽样、渐进式学习和AI互校AI等方法,优化模型性能。它能够自动生成高品质的指令和响应,提供多样化的对话能力,适用于多种编程和开发场景。
简化 LLM 提示管理和促进团队协作
Langtail 是一个旨在简化大型语言模型(LLM)提示管理的平台。通过Langtail,您可以增强团队协作、提高效率,并更深入地了解您的AI工作原理。尝试Langtail,以更具协作和洞察力的方式构建LLM应用。
基于人工智能生成及查询不断扩展的知识图谱的概念证明
MindGraph是一个开源、API优先的基于图形的项目原型,旨在实现自然语言交互(输入和输出)。它可作为构建和定制自己的CRM解决方案的模板,重点是易于集成和可扩展性。主要功能包括:实体管理、集成触发器、搜索功能、人工智能整备。它采用模块化架构,通过集成管理器动态注册和执行各种集成函数,使其具有无缝集成人工智能功能的能力。它支持灵活的数据库集成,包括内存数据库和云数据库NexusDB。再加上基于模式的知识图谱创建,使其能够自动从自然语言输入中生成结构化数据。
构建为您工作的AI团队
使用BrainSoup,您可以创建自定义AI代理来处理任务并通过自然语言自动化流程。提高AI的能力与您的数据,同时保持最佳的隐私和安全性。BrainSoup支持多个大型语言模型和语义核心技术,使AI代理更加强大和个性化。
© 2024 AIbase 备案号:闽ICP备08105208号-14