知识地图最初是谷歌为了优化搜索引擎而提出的,在业界引起了轰动,后来其他搜索公司也推出了他们的知识地图。随着知识地图的发展,它不仅应用于搜索行业,也是人工智能的基本功能。那么什么是知识图谱呢?有什么能力?如何应用?这就是本文要讨论的。
01什么是知识地图1。定义
官方定义:KnowlEdge map是基于图的数据结构,由节点和边组成。每个节点代表一个“实体”,每条边就是实体之间的“关系”。知识地图本质上是一个语义网络。
实体可以指代现实世界中的事物,比如人、地名、公司、电话、动物等等;关系用于表示不同实体之间的某种联系。
从上图可以看出,实体有地名,有人物;大理属于云南,小明住在大理,小明和秦晓是朋友,是实体之间的关系。
通俗的定义:知识地图是通过连接各种信息得到的关系网络,所以知识地图提供了从“关系”的角度分析问题的能力。
2.形象化
如果我们在百度上搜索“周杰伦的妻子”,搜索结果不是周杰伦,而是昆凌的信息卡被直接退回,为什么?
因为底层知识地图已经有了周杰伦和昆凌的关系,可以理解为你找的是昆凌,而不是周杰伦,这也说明知识地图有理解用户意图的能力。
02知识地图构建的关键技术
在构建知识地图的过程中,最重要的一步是从不同的数据源中提取数据,然后按照一定的规则将其添加到知识地图中。这个过程叫做知识抽取。
数据源有两种:结构化数据和非结构化数据。
结构化数据容易处理,难点在于非结构化数据的处理。在处理非结构化数据时,通常使用自然语言处理技术:实体命名识别、关系抽取、实体统一、引用解析等。
让我们先来看看把这篇课文变成知识图谱所表达的结果:
上图左边的副本是一个非结构化的文本数据,需要经过一系列的技术处理才能转化为右边的知识图谱。如何实现,我们会一一讨论。
1.实体命名和识别
提取文本中的实体,对每个实体进行分类或标注,如“1984年12月30日”为“时间”类型;“克利夫兰骑士”和“迈阿密热火”归为“球队”,这个过程就是实体命名。
2.关系抽取
关系抽取是一种抽取实体间关系的技术。基于文本中的“出生”、“存在”、“转会”等一些关键词,可以判断詹姆斯与俄亥俄州、迈阿密热火等实体的关系。
3.实体统一
在文本中,同一实体可能会有不同的写法。例如,“LBJ”是詹姆斯的缩写,所以“勒布朗·詹姆斯”和“LBJ”指的是同一个实体。实体统一是处理这类问题的技术。
4.参考分辨率
引用解析类似于实体统一,处理同一个实体。比如文中的“他”,其实就是“勒布朗·詹姆斯”的意思。因此,在回指解析中要做的事情是找出这些代词指的是哪个实体。
引用解析和实体统一是知识抽取中的难点环节。
03知识地图的存储
知识地图的存储方式主要有两种:一种是基于RDF的;二是基于图形数据库的存储。
1.无线电测向
RDF的一个重要设计原则是易于发布和共享数据。另外,RDF以三元组的形式存储数据,不包含属性信息。
2.图形数据库
图形数据库主要关注高效的图形查询和搜索。一般来说,属性图是基本的表示形式,所以实体和关系可以包含属性。
3.RDF和图形数据库的主要特点是不同的
关于知识图片存储方式的内容比较专业,没有实际操作很难理解,这里就不讨论了。你可以简单的知道知识图谱里有这样的内容,有需要可以自己研究。
接下来,我们重点介绍知识图片在金融领域的一些应用。
知识地图在金融领域的应用
知识地图在各行各业的应用相对普及,发挥着重要作用。下面我们就和大家讨论一下知识地图在金融领域的一些应用,希望通过这些例子给大家一些启发。
1.反欺诈
假设银行要借钱给一个人,如何判断这个人是真用户还是骗子?
我们需要建立一系列以人为核心的数据,比如用户的基本信息、贷款记录、工作信息、消费记录、行为记录、网站浏览记录等等。将这些信息整合到知识图谱中。从而对整体进行预测和评分,用户欺诈的概率有多大。当然,这种预测需要机器学习才能得到合理的模型,可能包括消费记录的权重,网站浏览记录的权重等等。
2.不一致性验证
比如两个不同的借款人填写同一个电话号码,说明这两个人至少有一个是可疑的,要注意。
更复杂的是,可能需要知识地图来推理一些关系。比如“借款人”与小明、小秦斗有母子关系。按照推理,小明和小秦应该是兄弟,但是知识图谱上显示的是朋友关系,可能不正常,需要重点关注。
3.客户损失管理
如果借款人失去联系,是否可以联系他的朋友、兄弟甚至他兄弟的妻子,通过知识地图来追踪失踪者?
因此,在失去联系的情况下,知识地图可以挖掘出更多失去联系的人的联系,从而提高收集效率。
4.知识推理
如上左图(注意此处箭头方向),秦晓是大秦之子,大秦是老秦之子。从这种关系中,我们可以推断出秦晓是老秦的孙子,从而使知识图谱更加完善。
如上左图,小明在腾讯工作,小秦也在腾讯工作。从这段关系可以推断小明和小秦是同事。
推理能力其实是机器模仿人类的重要能力,从已有的知识中可以发现一些隐藏的知识。当然,这种能力离不开深度学习,而且随着深度学习的不断成熟,我相信知识图谱的能力会越来越强。
在这里,我介绍了一些简单的知识图谱知识。在写这篇文章的时候,我也参考了很多业内优秀老板的文章。谢谢大家无私的分享。
参考文章
《浅谈知识图谱基础》_我偏笑_NSNirvana《“知识图谱”项目,需产品经理考虑的几点问题》_博斌_20190218《【知识图谱】项目前期产品经理需要做哪些准备》_Jasmine《知识图谱的应用》_惠普大数据李文哲《干货 | 从零到一学习知识图谱的技术与应用》_李文哲《知识图谱及其变种在行业实践中的应用与思考》_中兴-陈虹这篇文章最初是@Jimmy发表的,大家都是产品经理。未经允许禁止复制。
标题图来自Unsplash,基于CC0协议。
1.《图谱 知识图谱是什么?》援引自互联网,旨在传递更多网络信息知识,仅代表作者本人观点,与本网站无关,侵删请联系页脚下方联系方式。
2.《图谱 知识图谱是什么?》仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证。
3.文章转载时请保留本站内容来源地址,https://www.lu-xu.com/caijing/1274205.html