大数据分析在医学中的应用

科技创新导报2017 NO.03Science and Technology Innovation Herald信息科学

科技创新导报 Science and Technology Innovation Herald108随着新兴媒体的发展，互联网舆情已经在社会发展中扮演着重要的角色，它已不仅仅局限于个别范围的使用和拓展，而是演变为全民互动型的参与和讨论，所以如何在众多信息中获取最全面的舆情数据，并将舆情数据以最快的速度和最灵活的方式展现出来，使舆情在可控的范围内实现最大的社会和商业价值，显得尤为重要。1 网络舆情网络舆情不同于传统舆情，传统舆情是民意理论中的一个概念，是民意的一种综合反映。该文所提到的网络舆情，是未经任何中介包装和验证，直接发布于网上的社会舆情，并以互联网为载体，以舆论事件为核心，集民众情感、态度、意见、建议、传播互动和影响力于一身的集合。因为网络舆情的传播介质是网络，网络既具有公开性又具有隐蔽性，同时需要事件、网民、网民情感，以及通过网络介质的传播和互动，所以在既公开又隐蔽的环境中，从众多的信息中捕获并抽取出复杂的网民情绪和态度非常重要。2 舆情捕获由于舆情具有自由性、交互性、多元性、偏差性和突发性，所以如何从众多舆情中获取实时数据并服务于大众，是新兴媒体所面临的严峻挑战和考验。2.1 关键词确定在互联网上传播的信息可以用海量来形容，如果针对舆情盲目进行检索，犹如大海捞针，不仅得不到我们想要的数据，还会浪费大量的人力、物力和财力来投入到数据的分析中。所以如何在海量的信息中获取用户想要的数据，“关键词”就显得非常重要，它不仅可以让我们精确地捕获到想要的数据，而且还可以减少脏数据的捕获，大大缩短了舆情分析的时间，提升了舆情分析的反应速率，下面就介绍几种关键词确定的方法。(1)定制关键词。关键词的确定可以从舆情分析的发出者来反向提出，舆情分析的发出者一定是希望从网络舆情中得到某种相关信息，那么我们可以从需求提出者和需求分析者的角度来确定关键词，即关键词由用户提出，并通过需求分析将用户的表述发展为定制词语，并将其定义为用户定制关键词。根据用户定制的关键词来捕获数据，是最直接明了的数据捕获方式。(2)热门舆情关键词。很多网站如百度、搜狐、Facebook、新浪等几乎所有的交互网站都会有热门指数，我们可以借助这些网站自身携带的热门指数，来确定关键词。因为通过热门舆情关键词来捕获数据，一定是网站热门数据，这样不仅可以节省我们分析确定关键词的时间，而且还可以用最短的时间获取最多的分析数据，提高大数据在舆情分析中的反应速率。(3)热搜舆情关键词。热搜舆情关键词不同于热门关键词，由于舆情具有广泛传播性，很多人参与到舆情探讨中，都是通过网络搜索并定位的，所以热搜关键词就是根据搜索引擎的热搜排行榜，来确定舆情关键词，通过热搜排行榜，我们可以第一时间知道并了解网民想要了解的舆论事件。(4)参考舆情发布网站。想要找到网络事件的发展状况和原由，最简单也是最直接的方式，就是找到舆情发布的网站，很多网站就是网络舆情事件的源泉。2.2 数据抓取 当我们通过各种方式获取并确定了关键词之后，如何把关键词变成我们想要的精确数据，就显得非常重要。我们可以通过网络爬虫技术来获取舆情数据。当前主流的数据抓取模式主要包含4个主要部分：网络爬虫技术（Spider）、数据处理技术（Data Process）、爬取URL队列（URL Queue）和数据。爬虫主要是从互联网上捕捉网页内容，并从中抽取出需要的内容。数据处理：对爬虫抓取的内容进行处理。URL队列：为爬虫提供需要抓取数据网站的URL。数据包含3个方面：(1)Site URL:需要抓取数据网站的URL信息；(2)Spider Data:爬虫从网页中抽取出来的数据；(3)Dp Data:经过dp处理之后的数据。2.3 数据存储因为网络舆情具有及时更新和海量的特性，所以我们如何将抓取到的数据实时保存起来，是非常关键的，它决定了最后舆情分析的全面性和精确性。一般通过IT技术可以将数据存储到数据库中，下面介绍一下当前主流的3种数据库DOI：10.16660/ki.1674-098X.2017.03.108大数据在舆情分析中的应用梁翠萍 胡庆宝（飞塔信息科技(北京)有限公司 北京 100192）摘 要：2011年麦肯锡发布了《大数据，下一个创新、竞争和生产力的前沿》研究报告之后，大数据概念开始风靡全球。近年来，随着国内微博、微信、娱乐网站等新媒体的兴起和发展，越来越多的民众通过互联网参与到热点话题和热门事件中。所以，通过大数据对网络舆情进行监测和分析，并对民众的态度和倾向做出准确的定位显得非常重要。该文主要通过对大数据论述、网络舆情筛选、舆情捕获存储以及数据分析，来探究大数据在舆情分析中的应用及其价值。关键词：大数据 网络舆情 数据抓取 数据存储 舆情分析中图分类号：G206 文献标识码：A 文章编号：1674-098X(2017)01(c)-0108-02科技创新导报2017 NO.03Science and Technology Innovation Herald信息科学

Depth Topic深度专题

48网络空间研究2017第5期中国国务院于2015年9月发布《国务院关于印发促进大数据发展行动纲要的通知》（以下简称《纲要》），《纲要》旨在推动大数据在政府和产业的广泛应用，同时亦指出我国大数据发展存在顶层设计和统筹规划、法律法规建设滞后等诸多问题。大数据应用的基础资源是包括个人信息和商业数据在内的海量数据，因此需要保持数据获得的便利性和充分流动性，而信息社会对个人信息保护和商业秘密保护提出了更高的需求，需要防止个人信息的滥用，在数据获取中应遵循法定的规则。在数据流动和私权保护间寻找适度的平衡，对业者提出了挑战。大数据应用中数据来源各有不同，包括用户数据的收集、数据交易、网络公开数据的收集等，可能涉及的法律问题主要包括个人信息保护、不正当竞争、商业秘密保护、著作权保护及计算机信息系统安全等。大数据应用中数据收集的合法性分析

陈际红（中伦律师事务所，北京 100022）摘 要：在“大数据”时代，大量的数据涉及到个人信息和商业信息，遵守相关的法律和政策、对个人信息和商业秘密进行适当和充分的保护，是企业必须面对的挑战。本文立足于大数据应用的整体环境，结合最新出台的法律法规，对数据收集的合法性进行深入浅出、条分缕析的说明，进而为企业在个人信息保护、著作权保护、不正当竞争、计算机系统保护等方面提出法律风险提示和控制措施。关键词：大数据收集；数据脱敏；个人信息保护；著作权保护；不正当竞争；计算机信息系统保护中图分类号：D922 文献标识码：A 文章编号：1001-4225（2017）05-0048-05一、个人信息的保护（一）个人信息的范畴根据《网络安全法》的规定，个人信息是指以电子或者其他方式记录的能够单独或者与其他信息结合识别自然人个人身份的各种信息，包括但不限于自然人的姓名、出生日期、身份证件号码、个人生物识别信息、住址、电话号码等。个人信息不仅包括可以单独识别自然人个人身份的信息，如姓名、身份证号码、电话号码等，还包括与其他信息结合可以识别自然人个人身份的信息，如住址、工作单位、邮箱地址等。是否具有“身份可识别性”是判断信息是否属于个人信息范畴的核心要件。随着大数据等相关技术的发展，“身份可识别性”的界限越发难以判断，并且必然会随着技术的发展而有所变化。目前我国并没有形成统一或具体的判断标准，因此实践中应当根据数据所属行业、具体的识别方法和手段的合理性等因素综合判断。（二）信息主体的授权个人信息一般来讲属于私权的范畴，在立法和司法中应充分尊重信息主体的自决权，尊重信息主体和信息收集方达成的协议安排。根据《网陈际红 (1970-)，男，河南鹤壁人，中伦律师事务所IP/TMT业务合伙人，全国律师协会信息网络与高新技术委员会副主任兼秘书长。 汕头大学学报（人文社会科学版） 第33卷 第5期JOURNAL OF SHANTOU UNIVERSITY(HUMANITIES & SOCIAL SCIENCES) Vol.33. No.5 2017Depth Topic深度专题

龙源期刊网

数据挖掘在医学大数据研究中的应用

作者：孙雪松 王晓丽

来源：《中国信息化周报》2018年第21期

医院信息化的发展及云计算、大数据、物联网、人工智能等在医疗领域的应用，为医学数据的获取、存储及处理提供了极大便利。数据挖掘也随着计算机技术得到了广泛应用，从而提高了数据利用效率，拓展了知识发现的广度与深度。目前，医院已积累了大量医疗相关数据。医学大数据与数据挖掘的结合，能够帮助人们从存储的大体量、高复杂的医学数据中提取有价值信息，加速医学成果转化，为医疗行业开拓新的时代。

数据挖掘是指从数据库中，提取隐含在其中的人们事先未知、潜在的有用的信息和知识的过程。数据挖掘已有较多成熟方法，并在医学大数据挖掘中取得了一定成果。

数据挖掘分类及常用算法

预测型数据挖掘是从历史数据中发现的已知结果，推断或预测未知数据的可能值，有预测和回归两种类型。常用算法有线性回归、Logistic回归、K-NN算法、决策树（DT）、人工神经网络（ANN）、支持向量机（SVM）及各种集成算法等。

回归是指确定响应变量和一个或多个自变量之间依赖关系以构建预测模型。Kirkland等利用Logistic回归建立模型，对采集的病人临床指标等数据建立了疾病恶化预警模型，可对病人未来2-12小时可能出现的疾病恶化风险进行预测。

分类是指基于已知所属类别的历史数据的特征描述预先定义好的类别，构建预测类别的模型，再根据待查数据的相关特征与这些类别相应特征之间的相似程度，确定待查数据应划归的类别，可用于预测性研究。

描述型数据挖掘是识别数据中的模式或关系，旨在探索被分析数据的内在性质，常用方法有关联规则、序列规则和聚类。

关联规则通过从大量数据中，发现数据之间某些未知的、潜在的且有实际意义的关联或联系，并以关联规则的形式表现出来。关联规则应用于医学研究，可以从医疗信息中揭示疾病发生、发展规律以及医学诊断、医学图像、症状与用药等某些内在联系，为疾病诊断和健康管理提供参考。李准等基于Apriori算法，对某综合性医院电子病历中不同的冠心病诊断结果与用药情况进行关联规则挖掘，发现不同药品对不同诊断的治疗效果及冠心病危险因素。Qin Li等将Apriori算法用于高血压、房颤、血脂异常等8项高风险因素与中风之间关联性挖掘，提供了可行的中风预防、早期诊断和早期治疗方式。 龙源期刊网

大数据在生物医学中的应用

摘要：生物医学作为医学的新兴学科之一，由于研究过程中会使用到许多不同的仪器及科学技术，所以在信息储存方面要求很高。随着其发展的不断深入，所使用的数据呈爆炸式增长形式。本文通过引入大数据的处理储存方法，能够快速有效的找出生物医学数据中的规律，对验证假设和获得相应结论具有重要的意义。

关键词：大数据；生物医学；应用情况；数据分析与处理；

一、引言

随着医学事业的不断发展，分支学科越来越多，许多新兴的学科也随之发展起来。生物医学作为新兴学科的一种，是目前医学方面交叉型学科的一个重要内容。由于生物医学中会使用到许多不同的仪器及科学技术，所以生物医学在信息储存方面要求很高。随着研究的不断深入，生物医学方面的数据正在爆炸式的增长，如此海量的数据要如何科学的储存、检索、分析，这是一个严峻的问题。

大数据由最开始的概念化内容转变为小范围的实践，最终被广泛的应用，目前已经成为众多领域常用的科研手段之一。当大数据被广泛应用之后，对各种庞杂的数据有效传输、储存和分析研究，对社会、经济及科学技术的发展都起到了促进的作用。大量的数据本身就是一种很好的资源，能对未来起到良好的预测作用。在生物医学领域内，通过大数据能够对未来的疾病趋势做出预测，掌握了生物医学的大数据，就是掌握了人类未来的健康发展趋势。

二、大数据在生物医学中应用的特点

随着医学水平的进步，各种医学仪器也被人发明了出来，比如单细胞的检测装置和基因组检测装置等等，这些新的检测和分析工具给生物医学带来了大量的医学数据，这些医学数据中蕴含着大量的信息，想要有效的找到数据的规律，就需要运用到大数据的方法。

目前的大数据共有三个层面的内涵，一是指需要处理数据的数量巨大；二是指进行数据处理时的速度非常迅速；三是指处理的数据变化的情况比较多。将大数据的三层特点和生物医学相结合，具体表现为：第一生物医学相关的数据是十分浩大的，如人类的基因组，不同个体的基因组成都是不一样的，一个个体所具有的基因数据量大约为100个，一次测量的个体可能是数以千计甚至是数以万计的，那么一次获得的数据量难以想象；第二生物医学在进行研究时对于数据的精确度要求很高，数据处理的速度也要很快，如在进行个性化的化疗时，就需要对数据进行快速处理并得出相应的结论；第三生物医学方面的数据来源多样且不同来源的数据之间异质性很强，这会加大数据分析的难度，同时会导致数据的缺失和矛盾。综上所述，生物医学的数据符合大数据的相关标准，因此应用大数据参与生物医学的数据运算，有利于生物医学的进一步发展。