ADL100(1)-liukang-面向知识图谱的问答系统

1. 问答系统

定义: 根据问题(query)直接搜索出答案,而不是文档

2. 基于知识图谱的问答系统

分类:

  1)语义解析(Semantic Parsing): 问句转化为形式化查询语句,结构化查询得到答案

  2)语义检索(Answer Retrieval):简单搜索得到候选答案,利用问题和候选答案做相似度匹配

3. 知识问答的主要方法

  1)符号语义解析

  2)基于语义检索的知识图谱问答

  3)神经符号计算(就是用上了神经网络,做符号生成呀,做匹配呀)

4. 语义表示

  1)lambda-演算逻辑表达式

    如:\lambda x.city(x), next_to(x, y)

  2)DCS树

5. 语义解析

  1) 短语检索 -> 资源映射 -> 语义组合

  2)两个问题: 短语到资源映射, 文本起义

  问题1 映射 词典 + 组合规则

    词典过滤 规则生成词典 ->train Parser -> filter 词典

    统计对齐 利用机器翻译

    开放域关系抽取 学到 was born in == PlaceOfBirth

  问题2 歧义

    PCCG(本质MLE,规则和生成)

  模型学习无标注逻辑表达式

    1. 回标生成  任意实体用变量替代 -> 生成问句 -> 词典学习

    2. 复述生成  利用同义语义

    3. 答案生成  利用答案生成逻辑表达式,将逻辑表达式当作潜在变量

6. 语义检索(问句答案特征匹配)

  1)基于显示特征

    基于结构化问句语义表达(lambda演算)在知识图谱匹配最优子图

      实体链接 -> 确定主体(Identify Core Inferential Chain)

      单主体

  2)端到端

    三个问题

      a. 问句表示如何学习

      b. 知识图谱中实体、关系如何学习

      c. 计算语义匹配

    基本步骤

      a. 候选生成 链接实体周围实体均为候选

      b. 候选排序

    考虑多维相似度

      a. 多个角度计算问句和知识的语义匹配,如answer path, answer type, answer entity

      b. 各(答案 问句)focus 不同部分

      方法如cross attention A和Q中不同部分attention

        缺点:训练语料 全局信息 OOV

        解决融入全局信息:预训练embedding 和 multi-task learning

7. 基于神经符号

  符号语义解析优点:显示,准确度高

  深度学习优点:大规模计算,可学习

  三类

  1) 序列学习

    输出答案逻辑表达式

    seq2Tree 符号串,层次树(多层decode)

  2) 动作序列

    预先定好实体,可匿名 输出生成相应树的action

    基于远程监督的神经符号计算(强化学习)

      trick: 预训练 课程学习

  3) 堆栈神经网络

    神经网络内部可解释

    Reader Annotator,R选列或表,A rank row or table

8. 展望

  1)语料与数据库少

  2)只能处理简单问题(问答形式简单)

  3)多知识库

  4)可解释性

原文地址:https://www.cnblogs.com/zh-liu/p/ADL100-LiuKang.html

时间: 2024-10-04 18:03:59

ADL100(1)-liukang-面向知识图谱的问答系统的相关文章

知识图谱相关会议之观后感分享与学习总结

2015年6月27日,清华大学FIT楼多功能报告厅,中国中文信息学会青年工委系列学术活动--知识图谱研究青年学者研讨会. 由于我毕设是与知识图谱.实体消歧.实体对齐.知识集成相关的,所以去听了这个报告:同时报告中采用手写笔记,所以没有相应的PPT和原图(遗憾),很多图是我自己画的找的,可能存在遗漏或表述不清的地方,请海涵~很多算法还在学习研究中,最后希望文章对大家有所帮助吧!感谢那些分享的牛人,知识版权归他们所有. 目录: 一.面向知识图谱的信息抽取技术 二.常识知识在结构化知识库构建中的应用

知识图谱文献综述(第一章)

既然决定了以知识图谱作为研究方向,文献综述是必不可少的. 本文主要总结<知识图谱发展报告(2018)-中国中文信息学会> 1. 知识图谱的研究目标与意义 (略) 2. 知识工程的发展历程 3. 知识图谱技术 人们通过概念掌握对客观世界的理解,概念是对客观世界事物的抽象,是将 人们对世界认知联系在一起的纽带.知识图谱以结构化的形式描述客观世界中概 念.实体及其关系.实体是客观世界中的事物,概念是对具有相同属性的事物的 概括和抽象.本体是知识图谱的知识表示基础,可以形式化表示为,O={C,H, P

搜索引擎和知识图谱那些事 (上).基础篇

这是一篇基础性文章,主要介绍搜索引擎和知识图谱的一些原理.发展经历和应用等知识.希望文章对你有所帮助~如果有错误或不足之处,还请海涵.(参考资料见后) 一. 搜索引擎 (一).搜索引擎的四个时代 根据张俊林大神的<这就是搜索引擎>这本书中描述(推荐大家阅读),搜索引擎从采取的技术划分为4个时代: 1.史前时代:分类目录的一代 这个时代成为"导航时代",Yahoo和国内hao123是这个时代的代表.通过人工搜集整理,把属于各个类别的高质量网站或网页分类,用户通过分级目录来查找

第二章 知识图谱——机器大脑中的知识库

第二章 知识图谱——机器大脑中的知识库 作者:刘知远(清华大学):整理:林颖(RPI) 版权所有,转载请注明出处 知识就是力量.——[英]弗兰西斯·培根 1 什么是知识图谱 在互联网时代,搜索引擎是人们在线获取信息和知识的重要工具.当用户输入一个查询词,搜索引擎会返回它认为与这个关键词最相关的网页.从诞生之日起,搜索引擎就是这样的模式,直到2012年5月,搜索引擎巨头谷歌在它的搜索页面中首次引入“知识图谱”:用户除了得到搜索网页链接外,还将看到与查询词有关的更加智能化的答案.如下图所示,当用户输

[转载] 知识图谱——机器大脑中的知识库

原文: http://book.thunlp.org/knowledge_graph/ 第二章 知识图谱--机器大脑中的知识库 Published by  liuzy on July 6, 2015 作者:刘知远(清华大学):整理:林颖(RPI) 版权所有,转载请注明出处 知识就是力量.--[英]弗兰西斯·培根 1 什么是知识图谱 在互联网时代,搜索引擎是人们在线获取信息和知识的重要工具.当用户输入一个查询词,搜索引擎会返回它认为与这个关键词最相关的网页.从诞生之日起,搜索引擎就是这样的模式,直

机器学习知识图谱

引言:人类的未来就是失控,就是人与机器共生.共存.机器越来越人性化, 人越来越机器化.<失控>这本书,主要就体现了这一思想.本文选自<全栈数据之门>一书. 琅琊榜首,江左梅郎,得之可得数据科学之天下. 电视剧<琅琊榜>是一部良心好剧,精心制作的剧情,外加画面精美和台词的古典韵味,说其是一部男人的宫斗剧也不假,但更是一部数据分析的作品.其中,最让人感到神奇的是琅琊阁中神奇的情报分析中心,简直就是 一整套完整的数据分析流程,采集江湖与朝廷上重要人物.事件的信息,放到一个大的

知识图谱+金融

在整个技术链条中,知识图谱居于核心的地位,可以说是金融报表电子化(以XBRL 为代表)以来又一次质的飞跃.知识图谱是金融数据分析从简单的量化模型走向更为复杂的价值判断和风险评估必经的一环,是把人的经验和人脉逐步变成可重用.可演化.可验证.可传播的知识模型的方法.在系统的构造中,知识图谱弥补原有数据库的不足,把机器学习.自然语言处理.深度学习这些知识提取方法,领域词表.分类树.词向量.本体这些知识表现方法,RDF数据库和图数据库这些知识存储方法,和语义搜索.问答系统.分面浏览器这些知识检索方法粘合

构建知识图谱,让自己更值钱

现在这个时代,信息极大丰富,知识浩如烟海,每个人每时每刻都被各种各样的知识.信息轰炸着,如何有效的选择对自己有价值的知识,如何构建一个独属于自己的知识体系并让它为自己创造价值,变得越来越重要. 泛泛地讲,知识就是财富,信息就是财富,具体到个体身上,只有知识经过了你的选择和应用,内化为自己的隐性经验,纳入到你的知识体系中,才能真正地为你创造财富. 那么,怎样才能建立自己的知识体系呢? 构建个人知识系统的一般要经历下面这些过程: 选择方向,设定目标 学习.实践.输出.内化 同主题扩散 运用工具整理记

一文详解达观数据知识图谱技术与应用——技术直播回顾

讲师 | 桂洪冠来源 | AI科技大本营在线公开课 本文根据达观数据桂洪冠在"达观杯"文本智能处理挑战赛期间的技术直播分享整理而成,内容略有删减. ▌一.知识图谱的概述 我们先直观的来看一下什么是知识图谱,下面有一张图,从这张图里可以看到,这个图里圆圈是节点,节点之间有一些带箭头的边来连成,这个节点实际上相当于知识图谱里的实体或者概念,边连线表示实体之间的关系. 知识图谱本质上是一种大型的语义网络,它旨在描述客观世界的概念实体事件以及及其之间的关系.以实体概念为节点,以关系为边,提供一