对水利大数据价值提升的几点思考
- 格式:pdf
- 大小:207.71 KB
- 文档页数:3
对水利大数据价值提升的几点思考 黄忠佳 (辽宁省水利厅,辽宁沈阳 110003)
深度分析
摘 要:水利行业积累了海量的数据资源,水利大数据的时代已经到来。如何有效地管理水利数 据,充分发现水利数据中蕴含的信息,为水利建设和管理提供依据和支撑,是提升这些数据价值 的重要内容。本文着重分析了水利大数据价值的影响因素,提出了认知价值再生,重视数据管 理,进行数据挖掘,完善外围保障的对策措施。 关键词:水利;大数据;数据价值 中图分类号:TV213 文献标识码:B 文章编号:1671・1408(2014)05—0035—03
随着计算机及信息技术的飞速发展,水利行业 数字化程度不断提高,国家防汛抗旱指挥系统、水 资源监控能力建设项目、水利普查工作等,为水利 行业积累了海量的数据资源,水利大数据的时代已 经到来。如何有效地管理水利数据,充分发现水利 数据中蕴含的信息,为水利建设和管理提供依据和 支撑,是提升这些数据价值的重要内容。本文在对 水利大数据概念和影响因素分析的基础上,对提升 水利大数据价值进行了思考。 1 水利大数据的概念 2008年9月《科学》(Science)杂志发表了一篇 文章“Big Data:Science in the Petabyte Era”…,“大 数据”这个词开始被广泛传播。什么是大数据,尚 未有一个公认的回答,不同的定义基本是从大数据 的特征出发,通过这些特征的阐述和归纳,试图给 出其定义。百度百科将其定义为:所涉及的资料量 规模巨大到无法通过目前主流软件工具,在合理时 间内达到撷取、管理、处理、并整理成为帮助企业 经营决策更积极目的的资讯 。 水利行业在长期建设与管理实践中积累了大量 分布异构独立的业务数据,例如实测信息就包括水 文信息、水利设施运行信息、用水户用水排水信息 等;第一次全国水利普查也产生了大量的成果数 据,这些数据都进一步丰富了水利行业的大数据 集。因此,水利大数据可以定义为水利行业中规模 巨大到无法通过目前主流软件工具,在合理时间内 达到撷取、管理、处理、并整理成为帮助水利管理 人员决策的资讯。
2 水利大数据价值影响因素分析 水利大数据是一种静态的资源,其价值是需要 在行业或者社会的动态环境中实现。这些数据资源 的价值由静态的客观存在到动态的社会实现的过 程,受到外界诸多因素的影响。主要影响因素有对 水利大数据的认知程度、管理水平和利用能力等。 2.1 对水利大数据的认知程度 水利行业中的大量数据都是人为创造的,在促 使这些数据资源由隐性价值向显性价值转化之前, 只是我们对水利行业各种情况的一种客观描述。显 然,我们需要对这些信息进行分析和评价,必须知 道水利行业有什么大数据,大数据在哪儿,融入我 们认知后才有可能指导我们的数据利用行为。这种 分析或评价的准确性反映了我们对数据的认识能 力,同时也反映了数据价值的隐蔽程度。因此,充 分认知水利行业的大数据是其价值发现的重要基 础。我们对水利大数据缺乏认识或认识能力低下
收稿日期:2014—04.18 作者简介:黄忠佳(1983一),男,工程师。 水利发展研究2014・5 时,其价值就不能,或者不能完全地显现出来,数 据的价值也就不能最大化地体现。 2.2对水利大数据的管理水平 近几年,随着水利改革的不断推进,尤其中央 l号文件颁布以来,水利踏上了跨越式发展的快车 道,行业内对数据的收集和管理也有了更高的重 视。可是,我们还需要看到的是,水利行业对于数 据的管理水平仍然滞后于行业发展的需求,主要表 现在两个方面:一是水利行业内数据的管理机制不 健全,管理制度不完善,很多数据往往在局部范围 内使用,不同单位之间数据使用协调困难,重复劳 动现象依然大量存在,“大而全、小而全”的传统 信息模式仍然存在,水利信息资源没有在全系统实 现共建共享;二是面对迅速增长的数据,缺乏集中 存放和分类管理的有效手段,很多有价值的水利数 据无法长期保存,导致数据无法回溯对比。这些情 况的存在对于水利大数据的长效利用是极为不利 的,如果不迅速改变这一现状,极有可能让水利大 数据的价值无法得以实现。 2.3对水利大数据的利用能力 我们利用水利大数据的能力是实现这些数据 资源价值显性化,是发现数据价值之后实现价值 的行为过程。利用程度的高低,直接影响水利大 数据价值实现的程度,并且在一定程度上还影响 数据资源的再生性。我们对水利大数据的运用包 括对数据及其衍生信息的有效管理,深入挖掘数 据潜在信息并加以充分利用等方面。通过正确的 方式从数据中得到理想的结果是数据运用的目 的,而且在这些数据实现其价值的过程中,也让 我们对其价值在动态环境中进行再认识,在更深 的层次里,挖掘数据资源的新价值,从而使得数 据价值得以最大化地提升。如果错误运用,则会 导致我们对已经显露的价值进行否定,将已显露 的价值又重新覆盖起来,回到隐性的状态。可以 说,水利大数据价值的提升是一个复杂的实践问 题,其客观价值不会因为外部的行为能力而消 失,仍然具有再认识,再开发,再实践的客观价 值。但应该指出的是,对水利大数据的利用差异 会影响其价值的实现情况。 3水利大数据价值提升的几点思考 通过以上分析,笔者从加深对水利大数据的认 知、提高水利大数据的管理水平和加强对水利大数 据的利用这三个方面对如何提升水利大数据价值进 行了认真的思考。 3.1 认知价值再生,追求水利大数据价值极限 由于水利大数据不仅具有客观存在物的一般 属性,而且还具有人为智慧创造物的特征,在物 质形态方面和价值方面就表现为一定的再生性。 这使这部分数据资源相对其他资源而言,不仅克 服了其他资源的可耗性,而且还表现了数据资源 的无限发展性的特征。这种再生性是我们利用已 存在的数据资源进行创造或再创造。理论上来 说,认识并利用好水利大数据价值的再生性, 可以充分实现水利大数据的价值,为水利设计、 施工、管理及改革发展提供有价值的数据支撑。 进一步提高水利各项工作决策效率和科学化程 度。 3.2 重视数据管理,迎合智能化管理趋势 水利大数据管理的目标应该是实现对水利大数 据整个生命周期的统一管理,提供全面、统一、及 时和易于使用的数据服务,能够为管理者的决策及 精细化管理提供支撑和服务,为水利改革发展及经 济社会发展创造价值。在新的数据管理理念和发展 趋势下,水利大数据管理需要将行业需求、软件 功能、管理策略与硬件平台的特性、功能相融 合,形成一个完整的数据管理策略,无论是磁 盘阵列还是磁带系统,或者是整个存储网络, 一切承载数据并为了让数据更高效的存储、利 用和保护的系统,都包括在数据管理的概念之 内,这也正是数据智能化管理的趋势。在这样 智能化数据管理的理念下,水利行业投人大量 的人力物力所产生的大数据将会得到应有保护 与重视,管理过程不仅简单而且具有可持续性, 并且能够面向未来数字化世界的挑战。 3.3 进行数据挖掘,发现数据的蕴藏信息 数据挖掘就是一个利用各种方法,从大量数据 中提取隐含和潜在的,对决策有用的信息和知识的 过程 。水利大数据本身只是客观存在的数字或符 号,是一种原始材料,只能为人们提供最直观的、 浅层的信息。这种较为原始的信息对于管理者来说 作用非常有限,无法构成决策或行动的可靠依据。 传统的统计分析方法已经无法满足深度分析数据, 提取数据中蕴含信息的需求。因此,数据挖掘技术 应运而生。数理统计方法、人丁智能及知识工程等 领域取得的成果,为数据挖掘提供了坚实而丰富的 理论和技术基础。对水利大数据进行数据挖掘,并 不是为了替代传统的统计分析技术,相反,对于统 计分析方法,数据挖掘主要体现在利用统计和人工 智能技术进行高级多元统计方法的应用上,是x,-j-这 些方法的拓展和深化。 3.4 完善外围保障。构建数据的安全长城 水利大数据属于敏感性数据,数据安全问题不 容忽视。对数据进行不合理的利用就会产生负价 值 ,就会对行业及社会的发展造成不良的影响。 目前,能够对数据安全造成的因素主要有存储介质 损坏、人为错误、黑客、病毒、信息窃取、自然灾 害、电源故障及磁干扰等。这些数据安全问题可以 概括为两个方面:一是数据本身的安全问题,二是 数据防护的安全问题。 现代信息存储手段,如磁盘阵列、数据备 份、异地容灾等,已经能够对数据本身的安全问 题进行有效地防护。显然,水利大数据安全的问 题自然集巾落在其安全防护上。数据的绝对安全 是不存在,因此现在保障水利大数据的安全的目 标就是将数据泄露风险降到可接受水平。数据产 生的使命是为了被使用,数据从产生到使用可能 需要被传输、审核、分析、交付、测试等等,数 据会通过不同的途径以各种形态流转在多个系统 环节中。因此,要保证数据的整个生命周期的安 全,需要从三个方面着手:第一,要保证数据产 生的环境安全,除了提供数据泄密风险防护的 基本产品组件以外,需要考虑与管理的联动, 例如制定数据安全管理制度、边界防火墙、统 一审核的日志管理等的联动;第二,保证数据 深度分析 使用的可控性,每个数据本身将有所属身份及 使用权限,谁可以使用、如何使用、使用的周 期等,不仅仅要有严格的控制,更需要有科学 的管理设置;第三,保证数据必要的通道安全, 如需要交付给第三方的数据,如何交付?交付 后如何受控?需要与数据使用的各种业务系统 联动管理,我们应设计并提供应用保护系统, 确保数据可以准确并受控的到达数据使用者手 中。
4 结 语 水利大数据是一个新概念,也是水利信息化 发展的趋势,但是,目前对于水利行业海量数据 资源的开发和利用还处于起步阶段,可借鉴的经 验少。目前水利大数据的研究,应当通过解决水 利行业有什么大数据、大数据在哪里、大数据如 何获取、大数据如何管理、大数据价值如何体现 等基础性问题,为后续的水利大数据深度利用提 供支撑。
参考文献: [1] Nature.Big data:Science in the petabyte era[J].Nature,2008, 455:1-136. [2]http://baike.baidu.com/link?url=uQEHTk0VcmEPysYdm- CCdmZls4JevKB83v S1Z2uilGkCT—D1Dm3C5hYuigMnwFGQI— gqRyRxcI4upDjcQCtN9pq[EB/OL]. [3]薛薇,陈欢歌.Clementine数据挖掘方法及应用[M].北京: 电子工业出版社,2012. [4] 张天佩.对档案负价值的探讨[J].山西档案,2008(6). [5] 涂子沛.大数据[M].桂林:广西师范大学出版社,2013.
(责任编辑尹美娥)