免费论文摘要：鉴于Hadoop的实业辨别本领的接洽与实行

  实业辨别(Entity Resolution)是对来自单源或多源的数据集，确定并辨别个中表征沟通如实寰球东西的数据记载的进程，也常称为数据记载配合(Record Matching)。该范围接洽已兴盛四十有年，源于钱庄存户消息反复过滤。暂时处置该题目的保守本领普遍是经过比拟数据记载之间的值一致性确定能否为同一如实东西，比方隔壁排序算法，鉴于呆板进修的本领。但是独立的数据对比拟的本领忽视了数据集的完全消息，所以运用数据之间的关系消息完全地辨别数据对能否为反复的本领惹起普遍关心。个中前提随飞机场模子(Conditional Random Field, CRF)不妨经过无向图表白各别变量间的联系，进而使数据集的有效消息准时传播出去，以实行一种完全的数据记载配合本领，矫正了实业辨别的精确率。另一上面跟着暂时数据范围的急遽延长，对数据的领会处置提出了更高效更准时的需要。并行地散布式计划方规则是高效处置数据的灵验对策。所以为了进一步矫正数据实业别本领的精确率和功效，贯串暂时时髦的Hadoop开源平台和前提随飞机场模子，正文提出并实行了鉴于Hadoop的前提随飞机场模子的数据实业辨别本领。 正文开始阐明数据实业辨别接洽的实际意旨以及暂时国表里接洽近况，并领会比拟了保守本领的便宜和不及，而后对实业辨别接洽的要害本领（分批本领、字符串一致度计划本领、记载配合本领）作综述引见和领会。接下来则中心引见前提随飞机场模子及鉴于前提随飞机场模子的实业辨别算法，和Hadoop本领以及鉴于Hadoop和前提随飞机场模子的散布式实业辨别本领，并经过一系列试验考证该本领的高精确率和高功效。商量接洽的的完备性，结果正文对文本数据上的实业东西的索取和配合举行了发端接洽。 本舆论的重要接洽点和革新点犹如下实质：(1) 安排了一种新的构造化数据实业辨别的前提随飞机场模子，该模子是对Singla和Domingos提出的CRF模子的矫正，并减少了更多的特性因变量，和运用环路信奉传递算法LBP(Loop Belief Propogation)进修模子参数，进而到达更高精确率； (2) 安排并实行了鉴于Hadoop平台的前提随飞机场模子的散布式数据实业辨别本领，实行一次进修所得的模子，并行地用来多组数据反复辨别确定的工作，进而大大普及了功效；(3)提出了鉴于语规则则和贯串Lucene的赶快检索本领以及文本一致襟怀的文本实业索取和关系的本领。

来源：半壳优胜育转载请保留出处和链接！

本文链接：http://www.87cpy.com/292529.html