大数据常用的算法

数据挖掘常　用算法反其茌医学大数据研究中的应用　

孙雪松①王晓丽　

摘要　医院信息化的发展及云计算、大数据、物联网、人工智能等在医疗领域的应用，为医学数据的获取、存储及处理　提供了极大便利。数据挖掘也随着计算机技术得到了广泛应用，从而提高了数据利用效率，拓展了知识发现的广度与深　

度。目前，医院已积累了大量医疗相关数据。医学大数据与数据挖掘的结合，能够帮助人们从存储的大体量、高复杂的医　学数据中提取有价值信息，加速医学成果转化，为医疗行业开拓一个新的时代。介绍了医学数据挖掘中常用算法及其在医　学大数据中的研究成果，以期为今后医学大数据的挖掘利用提供参考。　关键词数据挖掘　医学大数据　综述　

Ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１６７３—７５７１．２０１８．０３．００３　【中图分类号】Ｒ３１９　［文献标识码】Ａ　

Ｄａｔａ　Ｍｉｎｉｎｇ　Ａｌｇｏｒｉｔｈｍ　ａｎｄ　Ｉｔｓ　Ａｐｐｌｉｃａｔｉｏｎ　ｉｎ　Ｍｅｄｉｃａｌ　Ｂｉｇ　Ｄａｔａ　Ｒｅｓｅａｒｃｈ／ＳＵＮ　Ｘｕｅ—ｓｏｎｇ，ＷＡＮＧ　Ｘｉａｏ—ｌｉ／／Ｃｈｉｎａ　Ｄｉｇｉｔａｌ　Ｍｅｄｉｃｉｎｅ．一２０１８　１３（３）：０９　ｔｏ　１２　Ａｂｓｔｒａｃｔ　Ｔｈｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｈｏｓｐｉｔａｌ　ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　ｔｈｅ　ａｐｐｌｉｃａｔｉｏｎ　ｏｆ　ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ，ｂｉｇ　ｄａｔａ，Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ　ａｎｄ　ａｒｔｉｆｉｃｉａｌ　ｉｎｔｅＨｉｇｅｎｃｅ　ｉｎ　ｍｅｄｉｃａｌ　ｆｉｅｌｄ　ｈａｖｅ　ｐｒｏｖｉｄｅｄ　ｇｒｅａｔ　ｃｏｎｖｅｎｉｅｎｃｅ　ｆｏｒ　ｔｈｅ　ａｃｑｕｉｓｉｔｉｏｎ，ｓｔｏｒａｇｅ　ａｎｄ　ｐｒｏｃｅｓｓｉｎｇ　ｏｆ　ｍｅｄｉｃａｌ　ｄａｔａ．Ｍｅａｎｗｈｉｌｅ，　ｄａｔａ　ｍｉｎｉｎｇ　ｈａｓ　ｂｅｅｎ　ｗｉｄｅｌｙ　ｕｓｅｄ　ｗｉｔｈ　ｔｈｅ　ｄｅｖｅｌｏｐｍｅｎｔ　ｏｆ　ｃｏｍｐｕｔｅｒ　ｔｅｃｈｎｏｌｏｇｙ，ｗｈｉｃｈ　ｈａｓ　ｉｍｐｒｏｖｅｄ　ｅｆｆｉｃｉｅｎｃｙ　ｏｆ　ｄａｔａ　ｕｔｉｌｉｚａｔｉｏｎ　ａｎｄ　ｂｒｏａｄｅｎｅｄ　ｔｈｅ　ｂｒｅａｄｔｈ　ａｎｄ　ｄｅｐｔｈ　ｏｆ　ｋｎｏｗｌｅｄｇｅ　ｄｉｓｃｏｖｅｒｙ．Ｃｕｒｒｅｎｔｌｙ，ａ　ｌａｒｇｅ　ｎｕｍｂｅｒ　ｏｆ　ｍｅｄｉｃａｌ　ｄａｔａ　ｈａｖｅ　ｂｅｅｎ　ｓｔｏｒｅｄ　ｉｎ　ｔｈｅ　ｈｏｓｐｉｔａｌ　ｄａｔａｂａｓｅ．Ｔｈｅ　ｃｏｍｂｉｎａｔｉｏｎ　ｏｆ　ｍｅｄｉｃａｌ　ｂｉｇ　ｄａｔａ　ａｎｄ　ｄａｔａ　ｍｉｎｉｎｇ　ｃａｎ　ｐｒｏｖｉｄｅ　ｈｅｌｐ　ｆｏｒ　ｅｘｔｒａｃｔｉｎｇ　ｋｎｏｗｌｅｄｇｅ　ｆｒｏｍ　ｔｈｅ　ｈｕｇｅ　ａｎｄ　ｃｏｍｐｌｅｘ　ｍｅｄｉｃａｌ　ｂｉｇ　ｄａｔａ，ｗｈｉｃｈ　ｗｉｌｌ　ａｃｃｅｌｅｒａｔｅ　ｔｈｅ　ｔｒａｎｓｆｏｒｍａｔｉｏｎ　ｏｆ　ｍｅｄｉｃａｌ　ａｃｈｉｅｖｅｍｅｎｔｓ　ａｎｄ　ｅｘｐｌｏｒｅ　ａ　ｎｅｗ　ｅｒａ　ｆｏｒ　ｍｅｄｉｃａｌ　ｉｎｄｕｓｔｒｙ．Ｔｈｉｓ　ｐａｐｅｒ　ｉｎｔｒｏｄｕｃｅｄ　ｔｈｅ　ｃｏｍｍｏｎ　ａｌｇｏｒｉｔｈｍｓ　ｕｓｅｄ　ｉｎ　ｍｅｄｉｃａｌ　ｄａｔａ　ｍｉｎｉｎｇ　ａｎｄ　ｔｈｅ　ｒｅｓｅａｒｃｈ　ｒｅｓｕｌｔｓ，ＳＯ　ａｓ　ｔｏ　ｐｒｏｖｉｄｅ　ｒｅｆｅｒｅｎｃｅｓ　ｆｏｒ　ｆｕｔｕｒｅ　ｍｅｄｉｃａｌ　ｂｉｇ　ｄａｔａ　ｍｉｎｉｎｇ．　Ｋｅｙｗｏｒｄｓ　ｄａｔａ　ｍｉｎｉｎｇ，ｍｅｄｉｃａｌ　ｂｉｇ　ｄａｔａ，ｌｉｔｅｒａｔｕｒｅ　ｒｅｖｉｅｗ　Ｆｕｎｄ　ｐｒｏｊｅｃｔ　Ｒｅｓｅａｒｃｈ　ｏｎ　Ｅａｒｌｙ　Ｗａｒｎｉｎｇ　ｏｆ　Ｐａｔｉｅｎｔ　Ｃａｒｅ　Ｒｉｓｋｓ　Ｂａｓｅｄ　ｏｎ　Ｄａｔａ　Ｍｉｎｉｎｇ（Ｎｏ．ＰＷ２０１７Ａ一２）；Ｌｅａｄｉｎｇ　Ｓｕｂｊｅｃｔ　Ｃｕｌｔｉｖａｔｉｏｎ　Ｐｒｏｇｒａｍ　ｏｆｔｈｅ　Ｈｅａｌｔｈ　Ｓｙｓｔｅｍ　ｉｎ　Ｐｕｄｏｎｇ　Ｎｅｗ　Ａｒｅａ（Ｎｏ　ＰＷＲｄ２０１４—１２）　Ｃｏｒｒｅｓｐｏｎｄｉｎｇ　ａｕｔｈｏｒ　Ｓｈａｎｇｈａｉ　Ｐｕｄｏｎｇ　Ｉｎｓｔｉｔｕｔｅ　ｆｏｒ　Ｈｅａｌｔｈ　Ｄｅｖｅｌｏｐｍｅｎｔ（Ｈｅａｌｔｈ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｃｅｎｔｅｒ　ｏｆ　Ｐｕｄｏｎｇ　Ｎｅｗ　Ａｒｅａ），　Ｓｈａｎｇｈａｉ　２００２３３，Ｐ．Ｒ．Ｃ．　

常用的大数据结构与算法

在学习了解这些数据结构和算法之前，引用一位前辈的话：

“我们不需要你能不参考任何资料，实现红黑树；我们需要的是你能在实践当中，选择恰当的数据结构完成程序开发；在必要的时候，能在已有的数据结构基础上进行适当改进，满足工程需要。但要做到这一点，你需要掌握基础的算法和数据结构，你需要理解并应用一些高级数据结构和算法的思想。因此，在程序员这条道路上，你要想走得更远，你需要活用各种数据结构，你需要吸收知名算法的一些思想，而不是死记硬背算法本身。”

那么，工程实践当中，最常用的算法和数据结构有哪些？

以下是Google工程师Arjun Nayini在Quora给出的答案，得到了绝大多数人的赞同。

最常用的算法

1.图搜索算法(BFS,DFS)

2.排序算法

3.通用的动态规划算法

4.匹配算法和网络流算法

5.正则表达式和字符串匹配算法

最常用的数据结构

1.图，尤其是树结构特别重要

2.Maps结构

3.Heap结构

4.Stacks/Queues结构

5.Tries树

其他一些相对比较常用的数据算法还有：贪心算法、Prim’s / Kruskal’s算法、Dijkstra’s最短路径算法等等。

怎么样才能活用各种数据结构？

你能很清楚的知道什么时候用hash表，什么时候用堆或者红黑色？在什么应用场景下，能用红黑色来代替hash表么？要做到这些，你需要理解红黑树、堆、hash表各有什么特性，彼此优缺点等，否则你不可能知道什么时候该用什么数据结构。

常言道：

程序=算法＋数据结构

程序≈数据结构

小编希望这些算法的掌握能够帮助大家拓宽握数据结构和算法的视野，提高算法设计和动手编程的能力。

X

《大数据算法》课程教学大纲

课程代码：090141128

课程英文名称：Big Data Algorithm

课程总学时：40 讲课：32 实验：8 上机：0

适用专业：信息与计算科学

大纲编写（修订）时间：2017.11

一、大纲使用说明

（一）课程的地位及教学目标

大数据不论在研究还是工程领域都是热点之一，算法是大数据管理与计算的核心主题，因此将大数据算法作为信息与计算科学专业的一门选修课程。通过本课程的学习，使学生能掌握一些大数据算法设计的基本思想，较好的理解和传统算法课程不一样的算法设计与分析思路，通过实践练习初步掌握大数据算法设计与分析的技术，并能够将其中的思想应用于实际的研究和开发。从而提高学生的创新实践能力，加强学生开展科研工作能力。为今后进行更深入的研究奠定良好的理论基础。

通过本课程的学习，学生将达到以下要求：

1. 掌握大数据算法设计的基本思想，较好的理解大数据算法设计与分析的基本思路；

2. 初步掌握大数据算法设计与分析的基本方法和技术；

3. 初步具备将大数据算法应用于实际开发的能力，并能够分析算法效率。

（二）知识、能力及技能方面的基本要求

1.基本知识：掌握大数据算法设计和分析的基本思想，掌握概率算法、I/O有效算法、并行算法等大数据算法的基本思想。

2.基本理论和方法：掌握大数据算法设计的一般原理和步骤。要求学生能够掌握亚线性算法、外存算法、并行算法等算法的设计方法和分析技术。

3.基本技能:具备运用亚线性算法、外存算法、并行算法等算法综合解决实际问题的能力，初步具备将大数据算法应用于实际开发的技能。

（三）实施说明

1．教学方法：本课程涉及大数据理论、算法设计技术、算法分析方法，涉及知识面广且比较抽象。建议采用案例教学并结合演示让学生理解和掌握各种算法设计方法，通过课堂讨论、课后作业和实验训练，加强学生对大数据算法设计方法的掌握。采用启发式教学，培养学生思考问题、分析问题和解决问题的能力；以最新的研究成果为导向，引导和鼓励学生通过查阅文献、实践获取知识，让学生了解大数据算法的前沿知识，培养学生的自学能力；增加讨论课，调动学生学习的主观能动性。

大数据常用的算法（分类、回归分析、聚类、关联规则）

在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。

(1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。

(2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。

(3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。

(4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信息来改善自身的营销。