基于MapReduce的相似数据查询方案_崔炜

询处理方法．该方法可以根据用户容忍度缩减增广动态 ｓｋｙｌｉｎｅ查询的原始数据集，很大程度上减少中间结果的比较
次数，并且提高了结果集的准确度．大量实验证明，基于 ＭａｐＲｅｄｕｃｅ的增广动态 ｓｋｙｌｉｎｅ查询处理方法具有更好的有效
性、准确性和可用性．
关键词： 动态 ｓｋｙｌｉｎｅ查询；ＭａｐＲｅｄｕｃｅ；用户容忍度；大数据
ＤＩＮＧＬｉｎｌｉｎ，ＣＵＩＺｉｑｉａｎｇ，ＹＩＮＸｉａｎｋｕｎ，ＷＡＮＧＪｕｎｌｕ，ＳＯＮＧＢａｏｙａｎ
（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎ，ＬｉａｏｎｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ，Ｌｉａｏｎｉｎｇ１１００３６，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ： Ｓｋｙｌｉｎｅｑｕｅｒｙｃａｎｃｏｍｐｕｔｅｔｈｅｏｐｔｉｍａｌｓｏｌｕｔｉｏｎｗｈｉｃｈｍｅｅｔｓｔｈｅｍｕｌｔｉｐｌｅｓｔａｎｄａｒｄｓｉｎｌａｒｇｅｓｃａｌｅｄａｔａｓｅｔ． Ｉｔｈａｓｂｅｅｎｗｉｄｅｌｙａｐｐｌｉｅｄｆｏｒｍｕｌｔｉｏｂｊｅｃｔｉｖｅｄｅｃｉｓｉｏｎｓ．Ｄｙｎａｍｉｃｓｋｙｌｉｎｅｑｕｅｒｙ，ａｓａｎｉｍｐｏｒｔａｎｔｖａｒｉａｎｔｏｆｓｋｙｌｉｎｅ，ｉｔｓｒｅｓｕｌｔ ｃａｎｂｅｄｙｎａｍｉｃａｌｌｙｃｈａｎｇｅｄｗｉｔｈｃｈｏｏｓｉｎｇｄｉｆｆｅｒｅｎｔｑｕｅｒｙｐｏｉｎｔｓ，ｐｒｏｖｉｄｉｎｇｍｏｒｅｆｌｅｘｉｂｉｌｉｔｙｗｈｅｎｔｈｅｕｓｅｒｓｍａｋｅｓｏｍｅｓｐｅｃ ｉｆｉｅｄｎｅｅｄｓ．Ｈｏｗｅｖｅｒ，ｄｙｎａｍｉｃｓｋｙｌｉｎｅｑｕｅｒｙｃａｎｒｅｔｕｒｎａｌａｒｇｅｎｕｍｂｅｒｏｆｑｕｅｒｙｒｅｓｕｌｔｓａｎｄｉｇｎｏｒｅｔｈｅｄｉｒｅｃｔｉｏｎａｌｉｔｙｏｆｑｕｅｒｙ ｐｏｉｎｔａｎｄｄａｔａｉｎｔｅｇｒａｌｉｔｙ，ｍａｋｉｎｇｄｉｆｆｉｃｕｌｔｆｏｒｕｓｅｒｓｔｏｃｈｏｏｓｅ．Ｉｔｉｓｎｅｃｅｓｓａｒｙｔｏｏｐｔｉｍｉｚｅｔｈｅｒｅｓｕｌｔｓｅｔｏｆｄｙｎａｍｉｃｓｋｙｌｉｎｅ， ｉｍｐｒｏｖｉｎｇｔｈｅｗｈｏｌｅｄａｔａｉｎｔｅｇｒａｌｉｔｙａｎｄｆｉｌｔｅｒｉｎｇａｌａｒｇｅｎｕｍｂｅｒｏｆｒｅｄｕｎｄａｎｔｄａｔａ．Ｆｏｃｕｓｉｎｇｏｎｔｈｅｓｅｐｒｏｂｌｅｍｓ，ｗｅｐｒｏｐｏｓｅ ｔｈｅａｕｇｍｅｎｔｅｄｄｙｎａｍｉｃｓｋｙｌｉｎｅｑｕｅｒｙｍｅｔｈｏｄｂａｓｅｄｏｎＭａｐＲｅｄｕｃｅ．Ｔｈｅａｌｇｏｒｉｔｈｍ ｐａｒｔｉｔｉｏｎｓｔｈｅｏｒｉｇｉｎａｌｄａｔａａｃｃｏｒｄｉｎｇｔｏ ｄｉｍｅｎｓｉｏｎａｌｉｎｆｏｒｍａｔｉｏｎ，ｐａｒａｌｌｅｌｃｏｍｐｕｔｅｓｄｙｎａｍｉｃｓｋｙｌｉｎｅｐｏｉｎｔｓｉｎｍｕｌｔｉｐｌｅｎｏｄｅｓ，ｏｐｔｉｍｉｚｅｓｔｈｅｒｅｓｕｌｔｓｅｔｏｆｔｈｅｔｒａｄｉｔｉｏｎ ａｌｄｙｎａｍｉｃｓｋｙｌｉｎｅａｎｄａｔｔｈｅｓａｍｅｔｉｍｅｐｒｏｖｉｄｅｓｔｈｅｍｏｒｅｇｌｏｂａｌｏｐｔｉｍａｌｒｅｓｕｌｔｓｆｏｒｔｈｅｕｓｅｒｔｏｃｈｏｏｓｅ．Ｉｎａｄｄｉｔｉｏｎ，ｗｈｅｎｔｈｅ ｕｓｅｒｓｐｒｏｖｉｄｅｔｈｅｔｏｌｅｒａｎｃｅｏｆｓｏｍｅｄｉｍｅｎｓｉｏｎｓ，ｗｅｐｒｏｐｏｓｅｔｈｅａｕｇｍｅｎｔｅｄｄｙｎａｍｉｃｓｋｙｌｉｎｅｑｕｅｒｙｗｉｔｈｕｓｅｒｔｏｌｅｒａｎｃｅ．Ｔｈｅ ａｌｇｏｒｉｔｈｍ ｒｅｄｕｃｅｓｔｈｅｏｒｉｇｉｎａｌｄａｔａｓｅｔａｃｃｏｒｄｉｎｇｔｏｔｈｅｕｓｅｒｔｏｌｅｒａｎｃｅａｎｄｒｅｄｕｃｅｓｔｈｅｃｏｍｐａｒｉｓｏｎｔｉｍｅｓｏｆｉｎｔｅｒｍｅｄｉａｔｅｒｅ ｓｕｌｔｓｗｉｔｈｉｍｐｒｏｖｉｎｇｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｒｅｓｕｌｔｓｅｔ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｓｈｏｗ ｔｈａｔｔｈｅａｕｇｍｅｎｔｅｄｄｙｎａｍｉｃｓｋｙｌｉｎｅｑｕｅｒｙ ｍｅｔｈｏｄｂａｓｅｄｏｎＭａｐＲｅｄｕｃｅｉｓｅｆｆｉｃｉｅｎｔ，ａｃｃｕｒａｔｅａｎｄｓｃａｌａｂｌｅ．

迈 出 了坚实 的一 步 … 。 更 重 要 的是 ， 随着 本 体 规 模 的增 大 和 应 用 的 增 加， Ｏ ｒ ａ ｃ ｌ ｅ的 语 义 技 术 本 身 并 没 有 给 出对 大 规 模 本 体 数 据 的解 决 方 案 ， 这 已经 成 为 制 约 语 义 技 术 进 一 步 发 展 的瓶 颈 问题 ， 引起 了 学 术 界 和 工 业 界 的 广 泛 关注 ， 如荷 兰 阿姆斯 特 丹 自由大 学 的 Ｏ ｒ ｅ ｎ等 人 设 计 并 实 现 了 Ｍａ ｒ ｖ ｉ ｎ平 台 ， 基 于 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ开 发 了一 个 并 行 推 理 平 台 Ｒ ｅ ａ ｓ ｏ ｎ ｉ ｎ ｇ—Ｈａ ｄ ｏ ｏ ｐ ， 爱 尔
关 系数据 库是 以关 系 代数 为 理 论 基 础 的数 据形 式 ， 两 者之 间并 不兼 容 ， 而 目前 的 商 用数 据 库 系 统 大 多采 用 关 系数据 库模 式 ， 要想将 本体 数据 存储 人商 用数 据库 ， 以达到真 正 实际应 用 的效 果 ， 必 须 打破 彼 此 之 间 的模 式 异构 ， Ｏ ｒ ａ ｃ ｌ ｅ 公 司在 其 版 本 １ １ ｇ之 后 率 先 实 现 了本 体数 据 的关 系数据 库 存储 问题 ， 使 语 义 技 术 走 向应 用
作者简 介 ： 胡 罗凯（ １ ９ ８ １一） ， 男， 湖北 武汉人 ， 讲师， 博士 ， 研究方向为语 义 Ｗｅ ｂ和智能软件工程。
１ 引 言
在 整个语 义 Ｗｅ ｂ的研 究工 作 中 ， 本 体 数 据 的查 询 技 术是 支撑 语义 Ｗｅ ｂ体 系 结 构 及 其 应 用 开 发 的 基 础 技 术和 核心 技术 ， 自然也 成 为 目前 国内外 学 术 界 与 产
２ ０ １ ３年 ２月

基于MapReduce的海洋异构数据快速检索方法刘同来;韩飞;张万桢【摘要】针对海洋异构数据难以实时查询、共享的问题,提出一种基于MapReduce的海洋异构数据快速检索方法.该方法通过建立关键字库,以关键字库作为海洋异构数据的检索模型,达到快速检索的目的 .为快速建立关键字库,引用k-近邻分类算法,以关键字模板为k-近邻分类算法训练集,对海洋异构数据快速建立关键字库.该方法依托Hadoop平台,基于MapReduce并行计算模型,可提高对海洋异构数据的检索效率,并提高海洋异构数据共享程度.【期刊名称】《桂林电子科技大学学报》【年(卷),期】2018(038)005【总页数】4页(P407-410)【关键词】大数据;MapReduce;k-近邻算法;关键字库【作者】刘同来;韩飞;张万桢【作者单位】桂林电子科技大学计算机与信息安全学院 ,广西桂林 541004;桂林电子科技大学计算机与信息安全学院 ,广西桂林 541004;桂林电子科技大学计算机与信息安全学院 ,广西桂林 541004【正文语种】中文【中图分类】TP391随着科学技术水平的不断提高，互联网、物联网、云计算等技术得以迅猛发展，导致各行各业的数据量以井喷式的速度增长，当今社会已处在一个大数据的时代[1-2]。

地球表面积71%被海洋所覆盖，先进的海洋科研设备投入海洋领域[3]，这些设备分别从海(浮标、船舶、水下传感器等)、陆(人工仪器测量)、空(卫星遥感、气球、无人机等)三方面采集海洋数据，海洋数据从GB、TB到PB量级呈指数级增长[4-5]。

不同的设备所采集的数据存储形式不相同，同时海洋数据格式可以是文本、图像、字符等，从而形成规模巨大且异构的海洋数据。

毫无疑问，海洋领域同样面临大数据时代的冲击。

在大数据背景下的海洋数据具有多源异构的数据结构特点，如何对多源异构的海洋数据进行快速检索是亟待解决的问题。

关于多源异构数据的检索国内外学者进行了大量研究。

基于MapReduce框架下的数据挖掘方法研究作者：杨震宇来源：《中国高新技术企业》2017年第04期摘要：大规模数据处理分析工作，在单个处理节点上部署时往往会遇到机器性能局限所带来的计算瓶颈。

如今，技术更加先进且成本低廉的分布式计算平台为这一问题带来了改善的解决方案。

文章运用MapReduce框架这一优势，研究了将数据挖掘的任务部署到分布式平台上的方案以及提出了相关研究展望。

关键词：MapReduce框架；Hadoop；数据挖掘方法；数据处理；聚类算法文献标识码：A中图分类号：TP316 文章编号：1009-2374（2017）04-0008-03 DOI：10.13535/ki.11-4406/n.2017.04.0051 概述随着时代发展，各行各业的日常运营过程中都会产生海量的数据信息，甚至这些信息正呈几何级数增长。

无论是零售业、制造业还是政府机关和校园教育都可以從数据信息中发掘出有用的信息来帮助领导者做出决定，进一步优化自身发展的各处细节。

数据挖掘就是解决这类问题的重要方法，但随之而来的便是如何快速有效地处理超大规模数据的疑问，提高计算核心的计算能力的确是重要的解决方案，而这确实不易实现。

鉴于半导体技术的不断进步，科技工艺几乎触及其极限，当年的摩尔定律已经无法支撑着如今的制造厂商有效定期提升其产品的处理、计算能力。

对于解决大数据信息的有效处理问题，时下流行的方案便是应用云计算，将分析处理任务交给分布式计算平台，在节约计算的时间同时，巧妙地规避了硬件既定的制约。

由当年Google公司提出的MapReduce计算模型已成为了分布式计算平台中首选的数据计算框架，本文将对在该框架下部署大规模的数据挖掘进行研究，并探寻可行的解决方案。

2 研究背景20世纪60年代，IBM公司推出的CICS成为了最早研究中间件技术的尝试，在80年代中期，贝尔实验室提出了Tuxedo，成为第一代正式中间件产品，90年代发展出很多不同用途的产品。