PIKE-RAG 是一种专注于领域知识和推理增强生成的模型。
PIKE-RAG 是微软开发的一种领域知识和推理增强生成模型,旨在通过知识提取、存储和推理逻辑增强大型语言模型(LLM)的能力。该模型通过多模块设计,能够处理复杂的多跳问答任务,并在工业制造、矿业和制药等领域显著提升了问答准确性。PIKE-RAG 的主要优点包括高效的知识提取能力、强大的多源信息整合能力和多步推理能力,使其在需要深度领域知识和复杂逻辑推理的场景中表现出色。
基于知识增强的生成框架,用于构建专业的知识服务
KAG(Knowledge Augmented Generation)是一个专业的领域知识服务框架,旨在通过知识图谱和向量检索的优势,双向增强大型语言模型和知识图谱,解决RAG(Retrieval Augmentation Generation)技术在向量相似性与知识推理相关性之间的大差距、对知识逻辑不敏感等问题。KAG在多跳问答任务上的表现显著优于NaiveRAG、HippoRAG等方法,例如在hotpotQA上的F1分数相对提高了19.6%,在2wiki上提高了33.5%。KAG已成功应用于蚂蚁集团的两个专业知识问答任务中,包括政务问答和健康问答,与RAG方法相比,专业性得到了显著提升。
高质量人体动作视频生成
MimicMotion是由腾讯公司和上海交通大学联合研发的高质量人体动作视频生成模型。该模型通过信心感知的姿态引导,实现了对视频生成过程的可控性,提高了视频的时序平滑性,并减少了图像失真。它采用了先进的图像到视频的扩散模型,结合了时空U-Net和PoseNet,能够根据姿势序列条件生成任意长度的高质量视频。MimicMotion在多个方面显著优于先前的方法,包括手部生成质量、对参考姿势的准确遵循等。
平滑跳切,消除填充词,输出流畅视频
该产品提供了一种新颖的框架,用于平滑跳切,特别是在对话视频中。它利用视频中主体的外观,通过 DensePose 关键点和面部标志驱动的中级表示来融合其他源帧中的信息。为了实现运动,它在切割周围的端帧之间插值关键点和标志。然后使用图像转换网络从关键点和源帧合成像素。由于关键点可能包含错误,因此提出了一种跨模态注意机制,以选择和为每个关键点挑选最合适的源。通过利用这种中级表示,我们的方法可以比强视频插值基准获得更强的结果。我们在对话视频的各种跳切上展示了我们的方法,例如切除填充词、暂停,甚至随机切割。我们的实验表明,即使在对话头部旋转或剧烈移动的挑战性情况下,我们也可以实现无缝过渡。
© 2025 AIbase 备案号:闽ICP备08105208号-14