需求人群:
"目标受众为数据科学家、研究人员和开发者,他们需要从大量文本数据中提取信息并构建知识图谱。iText2KG通过自动化实体和关系提取,减少了手动处理数据的需要,提高了效率和准确性。"
使用场景示例:
构建科学文献的知识图谱,用于研究和数据分析。
从公司网站提取信息,构建公司知识图谱,用于业务分析和决策支持。
处理个人简历,构建个人知识图谱,用于职业发展和技能评估。
产品特色:
文档蒸馏器:处理原始文档并将其重构成基于用户定义模式的语义块。
增量实体提取器:从语义块中提取独特实体并解决歧义,确保每个实体都有明确的定义。
增量关系提取器:识别提取实体之间的关系,可以丰富图谱或提供更精确的关系。
图集成和可视化:将提取的实体和关系集成到Neo4j数据库中,提供知识图谱的可视化。
支持零样本能力,无需特定领域训练即可进行知识提取。
与Neo4j数据库集成,便于数据的可视化和分析。
使用教程:
1. 安装iText2KG,确保Python环境已安装,使用pip进行安装。
2. 定义或上传预定义的文档蒸馏模式。
3. 使用DocumentDistiller模块对文档进行蒸馏,提取语义块。
4. 通过iText2KG模块构建知识图谱,提取实体和关系。
5. 将提取的实体和关系通过GraphIntegrator模块集成到Neo4j数据库中。
6. 使用Neo4j进行知识图谱的可视化和交互式探索。
浏览量:37
最新流量情况
月访问量
5.16m
平均访问时长
00:06:42
每次访问页数
5.81
跳出率
37.20%
流量来源
直接访问
52.27%
自然搜索
32.92%
邮件
0.05%
外链引荐
12.52%
社交媒体
2.15%
展示广告
0
截止目前所有流量趋势图
地理流量分布情况
中国
11.99%
德国
3.63%
印度
9.20%
俄罗斯
5.25%
美国
19.02%
利用大型语言模型增量构建知识图谱
iText2KG是一个Python包,旨在利用大型语言模型从文本文档中提取实体和关系,增量构建一致的知识图谱。它具备零样本能力,允许在没有特定训练的情况下跨不同领域进行知识提取。该包包括文档蒸馏、实体提取和关系提取模块,确保实体和关系得到解决和唯一性。它通过Neo4j提供知识图谱的可视化表示,支持交互式探索和分析结构化数据。
构建知识图谱的Neo4j应用
llm-graph-builder是一个利用大型语言模型(如OpenAI、Gemini等)从非结构化数据(PDF、DOCS、TXT、YouTube视频、网页等)中提取节点、关系及其属性,并使用Langchain框架创建结构化知识图谱的应用程序。它支持从本地机器、GCS或S3存储桶或网络资源上传文件,选择LLM模型并生成知识图谱。
124B参数的多模态大型语言模型
Pixtral-Large-Instruct-2411是由Mistral AI研发的124B参数的大型多模态模型,基于Mistral Large 2构建,展现出前沿级别的图像理解能力。该模型不仅能够理解文档、图表和自然图像,同时保持了Mistral Large 2在文本理解方面的领先地位。它在MathVista、DocVQA、VQAv2等数据集上达到了最先进的性能,是科研和商业应用的强大工具。
O1复制之旅:战略进展报告第一部分
O1-Journey是由上海交通大学GAIR研究组发起的一个项目,旨在复制和重新想象OpenAI的O1模型的能力。该项目提出了“旅程学习”的新训练范式,并构建了首个成功整合搜索和学习在数学推理中的模型。这个模型通过试错、纠正、回溯和反思等过程,成为处理复杂推理任务的有效方法。
AI驱动的数据可视化工具
Data Formulator 是微软研究团队开发的一款AI驱动的数据可视化工具,它通过结合用户界面交互和自然语言输入,帮助用户快速创建丰富的数据可视化图表。该工具可以自动处理数据转换,使用户能够专注于图表设计。Data Formulator 支持通过Python安装并本地运行,也可以在GitHub Codespaces中快速启动。它代表了数据分析和可视化领域的技术进步,通过AI技术提高了数据可视化的效率和易用性。
开源工具,简化从非结构化文档中提取和探索结构化数据。
Knowledge Table 是一个开源工具包,旨在简化从非结构化文档中提取和探索结构化数据的过程。它通过自然语言查询界面,使用户能够创建结构化的知识表示,如表格和图表。该工具包具有可定制的提取规则、精细调整的格式化选项,并通过UI显示的数据溯源,适应多种用例。它的目标是为业务用户提供熟悉的电子表格界面,同时为开发者提供灵活且高度可配置的后端,确保与现有RAG工作流程的无缝集成。
多语言大型语言模型
Llama 3.2是由Meta公司推出的多语言大型语言模型(LLMs),包含1B和3B两种规模的预训练和指令调优生成模型。这些模型在多种语言对话用例中进行了优化,包括代理检索和总结任务。Llama 3.2在许多行业基准测试中的表现优于许多现有的开源和封闭聊天模型。
高效单遍统一生成和检索框架,适用于大型语言模型。
OneGen是一个为大型语言模型(LLMs)设计的高效单遍生成和检索框架,用于微调生成、检索或混合任务。它的核心思想是将生成和检索任务整合到同一上下文中,通过将检索任务分配给以自回归方式生成的检索令牌,使得LLM能够在单次前向传递中执行两种任务。这种方法不仅降低了部署成本,还显著减少了推理成本,因为它避免了对查询进行两次前向传递计算的需求。
与文档进行自然语言对话的Python应用
Chat With Your Docs 是一个Python应用程序,允许用户与多种文档格式(如PDF、网页和YouTube视频)进行对话。用户可以使用自然语言提问,应用程序将基于文档内容提供相关回答。该应用利用语言模型生成准确答案。请注意,应用仅回应与加载的文档相关的问题。
使大型语言模型在长文本问答中生成细粒度引用
LongCite是一个开源的模型,它通过训练大型语言模型(LLMs)来实现在长文本问答场景中生成准确的回答和精确的句级引用。该技术的重要性在于它能够提高问答系统的准确性和可信度,使用户能够验证输出信息的来源。LongCite支持高达128K的上下文长度,并且提供了两个模型:LongCite-glm4-9b和LongCite-llama3.1-8b,分别基于GLM-4-9B和Meta-Llama-3.1-8B进行训练。
世界顶尖的开源大型语言模型
Reflection Llama-3.1 70B 是目前世界上顶尖的开源大型语言模型(LLM),采用名为 Reflection-Tuning 的新技术进行训练,使模型能够检测其推理中的错误并进行修正。该模型在合成数据上进行了训练,这些数据由 Glaive 生成。对于正在训练模型的用户来说,Glaive 是一个非常出色的工具。该模型使用标准的 Llama 3.1 聊天格式,通过特殊的标签来区分模型的内部思考和最终答案,从而提升用户体验。
高效开源的大型语言模型
OLMoE-1B-7B 是一个具有1亿活跃参数和7亿总参数的专家混合型大型语言模型(LLM),于2024年9月发布。该模型在成本相似的模型中表现卓越,与更大的模型如Llama2-13B竞争。OLMoE完全开源,支持多种功能,包括文本生成、模型训练和部署等。
基于知识图谱的智能问答系统。
Fact Finder 是一个开源的智能问答系统,它使用语言模型和知识图谱来生成自然语言回答和提供证据。该系统通过调用语言模型生成Cypher查询,查询知识图谱以获取答案,并使用另一个语言模型调用生成最终的自然语言回答。Fact Finder 的主要优点包括能够提供透明性,允许用户查看查询和证据,以及通过可视化子图提供直观的证据。
轻量级Python库,用于使用大型语言模型进行网站抓取。
Parsera是一个轻量级的Python库,专门设计用于与大型语言模型(LLMs)结合,以简化网站数据抓取的过程。它通过使用最少的令牌来提高速度并降低成本,使得数据抓取变得更加高效和经济。Parsera支持多种聊天模型,并且可以自定义使用不同的模型,如OpenAI或Azure。
大型语言模型,支持多种参数规模
Meta Llama 3 是 Meta 推出的最新大型语言模型,旨在为个人、创作者、研究人员和各类企业解锁大型语言模型的能力。该模型包含从8B到70B参数的不同规模版本,支持预训练和指令调优。模型通过 GitHub 仓库提供,用户可以通过下载模型权重和分词器进行本地推理。Meta Llama 3 的发布标志着大型语言模型技术的进一步普及和应用,具有广泛的研究和商业潜力。
大型语言模型,支持多语言和代码数据
Mistral-Nemo-Instruct-2407是由Mistral AI和NVIDIA联合训练的大型语言模型(LLM),是Mistral-Nemo-Base-2407的指导微调版本。该模型在多语言和代码数据上进行了训练,显著优于大小相似或更小的现有模型。其主要特点包括:支持多语言和代码数据训练、128k上下文窗口、可替代Mistral 7B。模型架构包括40层、5120维、128头维、1436隐藏维、32个头、8个kv头(GQA)、2^17词汇量(约128k)、旋转嵌入(theta=1M)。该模型在多种基准测试中表现出色,如HellaSwag(0-shot)、Winogrande(0-shot)、OpenBookQA(0-shot)等。
AI驱动的数据分析工具
Datalore是一个集成了Anthropic的Claude API和多种数据分析库的AI驱动的数据分析工具。它提供了一个交互式界面,使用户能够使用自然语言命令执行数据分析任务。
利用知识图谱和文档网络增强语言模型性能
Knowledge Graph RAG 是一个开源的Python库,它通过创建知识图谱和文档网络来增强大型语言模型(LLM)的性能。这个库允许用户通过图谱结构来搜索和关联信息,从而为语言模型提供更丰富的上下文。它主要应用于自然语言处理领域,尤其是在文档检索和信息抽取任务中。
52B参数的开源多语言大型语言模型
Tele-FLM(亦称FLM-2)是一个52亿参数的开源多语言大型语言模型,具有稳定高效的预训练范式和增强的事实判断能力。基于解码器仅变换器架构,已在大约2T的token上进行训练。Tele-FLM在同等规模上展现出优越的性能,有时甚至超越了更大的模型。除了分享模型权重外,我们还提供了核心设计、工程实践和训练细节,期待它们对学术界和工业界社区都有所裨益。
大型语言模型的详细列表和信息
Models Table 提供了一个包含300多个大型语言模型的列表,这些模型被所有主要的AI实验室使用,包括Amazon Olympus, OpenAI GPT-5, OpenAI GPT-6等。该列表展示了大型语言模型的发展趋势和多样性,对于AI研究者和开发者来说是一个宝贵的资源。
易用的大规模语言模型知识编辑框架
EasyEdit 是一个面向大型语言模型(LLMs)的易用知识编辑框架,旨在帮助用户高效、准确地调整预训练模型的特定行为。它提供了统一的编辑器、方法和评估框架,支持多种知识编辑技术,如ROME、MEND等,并提供了丰富的数据集和评估指标,以衡量编辑的可靠性、泛化性、局部性和可移植性。
大型语言模型,支持指令式对话和功能调用。
Mistral-7B-Instruct-v0.3是由Mistral AI Team开发的大型语言模型,它是Mistral-7B-v0.3的指令式微调版本。该模型具有扩展的词汇量、支持v3 Tokenizer和功能调用。它能够通过指令式对话和功能调用来生成文本,适合于需要交互式对话和自动化任务的场景。
一种大型语言模型,具有扩展词汇量。
Mistral-7B-v0.3是由Mistral AI团队开发的大型语言模型(Large Language Model, LLM),它是Mistral-7B-v0.2的升级版,具有扩展到32768的词汇量。该模型支持文本生成,适合于需要文本生成能力的应用场景。目前,该模型没有内容审核机制,团队正在寻求社区合作,以实现更精细的内容审核,满足需要内容审核的部署环境。
一款具有128k有效上下文长度的70B参数的大型语言模型。
Llama-3-Giraffe-70B-Instruct是Abacus.AI推出的一款大型语言模型,它通过PoSE和动态NTK插值的训练方法,具有更长的有效上下文长度,能够处理大量的文本数据。该模型在训练中使用了约1.5B个token,并且通过适配器转换技术,将Llama-3-70B-Base模型的适配器应用到Llama-3-Giraffe-70B-Instruct上,以提高模型的性能。
一个实验性的UI,用于将文本转换为知识图谱。
prettygraph是一个基于Python的Web应用程序,由@yoheinakajima开发,展示了一种新的UI模式,用于将文本输入动态地转换为知识图谱。该项目是一个快速原型,旨在提供一种简单的UI想法,通过实时更新UI中的文本高亮来生成知识图谱。
一款专为生物医学领域设计的开源大型语言模型
OpenBioLLM-8B是由Saama AI Labs开发的先进开源语言模型,专为生物医学领域设计。该模型在大量高质量的生物医学数据上进行了微调,能够理解并生成具有领域特定准确性和流畅性的文字。它在生物医学基准测试中的表现超越了其他类似规模的开源生物医学语言模型,并与更大的专有和开源模型如GPT-3.5和Meditron-70B相比也展现出更好的结果。
结合文本提取、网络分析和大型语言模型提示与总结的端到端系统
GraphRAG (Graphs + Retrieval Augmented Generation) 是一种通过结合文本提取、网络分析以及大型语言模型(LLM)的提示和总结,来丰富理解文本数据集的技术。该技术即将在GitHub上开源,是微软研究项目的一部分,旨在通过先进的算法提升文本数据的处理和分析能力。
Phi-3 Mini-128K-Instruct ONNX优化模型促进推理加速
Phi-3 Mini是一个轻量级的顶尖开源模型,建立在Phi-2使用的合成数据和过滤网站之上,专注于高质量的推理密集型数据。这个模型属于Phi-3系列,mini版本有两个变体支持4K和128K上下文长度。该模型经过了严格的增强过程,包括监督式微调和直接偏好优化,以确保精准遵循指令和强大的安全措施。这些经过ONNX优化的Phi-3 Mini模型可在CPU、GPU和移动设备上高效运行。微软还推出了ONNX Runtime Generate() API,简化了Phi-3的使用。
© 2024 AIbase 备案号:闽ICP备08105208号-14