基于大数据的技术创新与决策方法研究
摘要：创新方法是创新经验和技巧的高度总结，是技术创新的“孙子兵法”，传统创新方法在互联网技术推动下的“大数据”时代，在创新资源相关数据的获取和融合效率方面面临新的机遇与挑战。文章通过对大数据技术与方法以及围绕着大数据环境下的企业技术创新与管理决策相关技术与方法的研究，通过院校合作，构建起大数据环境下的技术创新与决策的技术框架体系，依据技术创新“双向决策模型”，通过数据的在线收集与预处理、大数据存储与预处理技术体系、创新资源数据的可视化技术与决策技术方法和创新应用工具的开发四个子项的实施，实现技术创新的“评估与预测”和“监测与预警”。结合企业研发与技术创新实践，希望能帮助企业实现更加精准的技术创新决策。
关键词：创新方法；大数据；技术创新管理
引言
提高国家与企业的自主创新能力是建设创新型国家发展战略的核心和提高综合国力的关键。国家、企业间的竞争既要依靠创新，也受到创新效率的影响。先进的创新方法是保证创新效率的基础。创新方法是创新经验和技巧的高度总结，是创新的兵法。如何将创新方法的最新研究成果转化为
现实生产力是当前高效创新驱动面临的挑战。另一方面，互联网技
术推动下的“大数据”时代的来临，企业通过从海虽的数据中萃取
有效知识并将其转化为新的商业竞争优势[1]
的信息管理思想和技术方法正在实现。如何有效使用“大数据”来实现对创新方法的创新，则成为了目前学术界与企业界广泛关注的焦点。因此，文章希望通过大数据技术与方法的深入研究，利用大数据技术来变革和提升创新方法、思维体系与管理模式，并促进企业自主创新和生产力的快速提高，使技术创新管理工作适应企业创新实践的新需求。
1研究背景
1.1大数据的研究进展与趋势
自1998年美国硅图公司(SGI)的首席科学家John R.Masey提
出了大数据概念以来，随着网络技术的发展人们在近年来从海虽数
据分析的角度转向大数据。其中，以Facebook为代表的社交网络软件的应用，直接导致大虽非结
构化数据的涌现，并促进了针对非结构化数据查询与处理技术快速
发展。2008年，《Nature》杂志出版专刊〈〈Big Data》针对多个
学科的实际研究现状系统地介绍了“大数据”所蕴含的潜在价值和
挑战。2011年，《Science〉杂志出版的专刊
?Dealing with Data》标志着“大数据”时代的到来[2]。随后，
美国奥巴马政府在2012年3月推出“大数据研究开发计戈(Big
Data Research and Development Initiative )。该计
划的目标是改进现有人们从海虽和复杂的数据中获取知识的能力，
从而加速美国在科学与工程领域发明的步伐，增强国家安全，转变
现有的教学和学习方式[3],从而实现从“数
据分析能力”向“数据决策能力与优势”的转化[4]。
目前，针对大数据的概念与定义还存在着许多不同的分析角度。其中，大数据研究机构Gartner对“大数据”的定
义为：需要新处理模式才能具有更强的决策力、洞察发现力和流程
优化能力的海虽、高增长率和多样化的信息资产。“大数据”的资
产属性暗含了通过“分析”可以给其拥有和控制者带来预期的利
益，它是从数据中萃取知识，并将其转化为商业竞争优势的智能化
活动。麦肯锡公司( McKinsey )看到了个人海虽信息具备潜在的商
业价值，成为最早应用“大数据”的公司，并发布了关于“大数
据”的麦肯锡报告[5]。
我国在2011年12月，国家工业和信息化部发布的《物联网“十二五”发展规划》上，将信息处理技术作为四项关键技术创新工程之一被提出，其中包括了海虽数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分[6]。2012年5月，主题为“网络数据科学与工程一一门新兴的交叉学科？”的香山科学会议在北京召开，随后以李国杰院士为核心的计算机学科专家学者纷纷就围绕“大数据”定义的“数据科学”的理论框架与算法应用等问题进行了综合性的归纳研究与讨论[7]。北京航空航天大学马帅教授等就对
“大数据”的异构数据模型与存储、复杂数据智能分析、数
据质虽以及大数据安全性等问题也进行了分析和讨论［8］。
如
何合理高效的利用这些海虽的数据资产，使其为国家治理、企业创
新与决策提供优化的服务，则是目前企业创新过程中面临的一个重
要的挑战。
1.2大数据环境下创新管理的双向决策模型
针对大数据环境对科技创新决策管理带来的挑战，中国科学院的王飞跃教授在处理与分析大数据使其有效支撑科技决策问题中构建了面向大数据和开源信息的科技态势解析与决策服务［9］。而北京理工大学朱东华教授针对美国“大数据研究开发计划”项目的深入调研，尤其是针对大数据计划最核心的美国国防部及国防部高级研究计划局在相关立项中的侧重点与项目目标的分析，发现从传统的“目标驱动决策”向“数据驱动决策”的重大转型是美国国家战略应对大数据环境的最直接变化之一。而基于传统数据分析方法的
“评估与预测”理念也正在向“监测与预警”转化。有效地利用大数据环境，深入挖掘与分析潜在技术竞争情报，监测技术的发展动态，分析潜在的网络威胁与攻击，正是大数据环境下美国政府的全新国家战略思维与部署。同时，研究团队在整合技术创新管理现有理论方法的基础上，构建了面向技术创新管理的双向决策模型，即目标驱动模式与数据驱动模式并行的双向决策模型［10］（见图1）。一方面，
以传统目标驱动为基础，形成以传统数据挖掘技术与方法为核心的数据获取、处理、分析、支持决策的技术评估与预测模型。另一方面，围绕大数据环境下的复杂数据特征与环境，采用当前数据挖掘领域应用于大数据处理的新方法、新思路，形成以自组织动态实时监测为核心，能够有效预警并积极处理突发事件的技术监测与预警模型。
技术评估与预测模型围绕双向决策中的“目标驱动决策”展开，在大数据环境下，采用常规的数据挖掘方法，通过数据采集、加工与分析计算等步骤，将数据转化为可供技术创新决策目标支持的有效知识或观点。具体运用在技术创新管理工作中，“目标驱动决策”模型通过有目的的对大数据环境下科技、网络以及其他数据中的潜在信息进行有效萃取与分析，实现对具体技术领域的“知识发现”与“可视化”，从而达到评估技术发展状态，预测技术发展趋势的最终目的。
技术监测与预警模型以数据为驱动，不同于事
先制定目标，依目标的需求进行相应的数据挖掘工作。技术监测与预警模型通过规则的建立与基于机器学习的算法训练，形成专注于“数据”本身的实时监测模型，通过对小规模数据的训练与学习，形成反应并处理相应大数据的人工智能。在技术创新管理工作中，基于传统数据挖掘方法的基础上，融入能够响应动态数据变化的动态数据挖掘理念，通过提升机器的自组织与自学能力，从而达到分析潜在新兴技术的发展动态，挖掘可能促进技术升级的核心技术，监测竞争对于相关技术领域的最新进展，并针对这一切可能情况做出及时并有效的反应，实现技术监测与预警的目的。面向技术创新管理的双向决策模
型，整合传统的“目标驱动决策”与大数据环境下的“数据驱动决策”理念及方法，分别从“技术评估与预测”及“技术监测与预警”两个方面创造性的构建了适用于技术创新管理的新方案，为应对大数据环境，企业高效实施技术创新提供了行之有效的新路径。
2大数据环境下企业技术创新方法
与传统创新数据的获取相比，大数据改变了创新方法与过程的
数据来源以及环境基础，为挖掘知识数据中隐藏的价值带来了新的
机遇和新的挑战。创新方法需要数据的支持，而大数据技术通过对
海虽数据的分析可以最大程度地降低创新过程中的不确定性，以及
知识转化和推理过程中的难题。甚至以数据为基础的定虽分析方法
也有逐步取代耗时耗力的以专家为基础的定性分析方法的趋势。为
了更好地将技术创新工作与大数据应用环境相结合，以应对大数据
条件下，复杂的国际间以及企业之间的竞争，本研究试图在整合创
新方法现有理论方法的基础上，充分考虑大数据环境带来的挑战与
机遇，将决策驱动的根源由传统的“目标驱动决策” 向“目标、数
据双向驱动决策”转化。并依据“双向决策模型”，一方面，采用
传统目标驱动创新方法时，形成了以传统数据挖掘技术与方法为核
心的数据获取、处理、分析、支持决策的技术创新模型；另一方
面，围绕大数据环境下的复杂数据特征与环境，采用当前大数据处
理中海虽数据提取、分布式数据处理和存储技术以及大数据可视化
技术等，并通过下面四个子项的研究实施，最终实现在大数据环境
下为企业技术创新与管理创新提供有效的创新决策支持。研究的整体框架如图2所示。
2.1数据的在线收集与预处理
基于大数据环境的创新决策主要通过对各种创新数据
进行动态分析，将不同领域、不同类型的创新资源进行融合基于多源异构创新资源大数据的在线监测、自动收集与预警机制研究主要包含三方面的内容：一是利用网络数据的在线监测技术与主动爬虫技术，研究大数据环境下创新资源的自动获取与自动收集机制，特别是在半结构化和非结构化数据中蕴藏的巨大价值；二是自动地识另U不同主题下创新资源的内容信息，并且将这些信息按照特定的规则和要求自动地收集与增虽式抓取；三是针对期刊、报告等在内的传统科技领域数据资源以及网络中社交、舆情等数据和其它多数据来源中的潜在信息进行有效萃取与分析，实现对创新资源与不同创新方法的信息特征分析。技术难点是对不同数据源的技术创新数据识别获取和融合。
主动爬虫技术已被广泛应用在网络信息的安全监控与信息获取过程中。监测对象主要包括：期刊、专利、技术研究报告与统计数据等在内的科技领域数据资源，同时也包含了网络中发布的创新政策、社交数据、博客与微博数据、企业报表、网络舆情数据、市场动态数据以及金融交易数据等海虽数据资源。另外，随着创新方法与工具的发展，创新方法与创新资源的数据虽也呈现出爆炸性的增长态势。特别是在半结构化和非结构化数据中蕴藏的巨大价值，大虽的创新资源与创新方法的实践结果往往也分布在网络中不同的数据系统内，并且以数据库数
据、网页、文件等形式存在。因此，如何自动地识别不同主题下创新资源的内容信息，并且将这些信息按照特定规则和要求来自动地收集与增虽式抓取[11],是研究面对的一个重要挑战。
剖析大数据分析方法论的几种理论模型 做大数据分析的三大作用，主要是：现状分析、原因分析和预测分析。什么时候开展什么样的数据分析，需要根据我们的需求和目的来确定。 作者：佚名来源：博易股份|2016-12-01 19:10 收藏 分享 做大数据分析的三大作用，主要是：现状分析、原因分析和预测分析。什么时候开展什么样的数据分析，需要根据我们的需求和目的来确定。 利用大数据分析的应用案例更加细化的说明做大数据分析方法中经常用到的几种理论模型。 以营销、管理等理论为指导，结合实际业务情况，搭建分析框架，这是进行大数据分析的首要因素。大数据分析方法论中经常用到的理论模型分为营销方面的理论模型和管理方面的理论模型。 管理方面的理论模型： ?PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART原则等?PEST：主要用于行业分析 ?PEST：政治(Political)、经济(Economic)、社会(Social)和技术(Technological) ?P：构成政治环境的关键指标有，政治体制、经济体制、财政政策、税收政策、产业政策、投资政策、国防开支水平政府补贴水平、民众对政治的参与度等。?E：构成经济环境的关键指标有，GDP及增长率、进出口总额及增长率、利率、汇率、通货膨胀率、消费价格指数、居民可支配收入、失业率、劳动生产率等。?S：构成社会文化环境的关键指标有：人口规模、性别比例、年龄结构、出生率、死亡率、种族结构、妇女生育率、生活方式、购买习惯、教育状况、城市特点、宗教信仰状况等因素。
?T：构成技术环境的关键指标有：新技术的发明和进展、折旧和报废速度、技术更新速度、技术传播速度、技术商品化速度、国家重点支持项目、国家投入的研发费用、专利个数、专利保护情况等因素。 大数据分析的应用案例：吉利收购沃尔沃 大数据分析应用案例 5W2H分析法 何因(Why)、何事(What)、何人(Who)、何时(When)、何地(Where)、如何做(How)、何价(How much) 网游用户的购买行为： 逻辑树：可用于业务问题专题分析
产业技术创新经典案例 案例1：曼哈顿计划 主题：目标明确，集中财力物力，创新突破。 案例：1939-1940年，为掌握战争的主动权，德国、前苏联、日本、法国、英国等国都在研究核裂变，并想制造原子弹。 1941年12月6日，美国政府和军界正式大量拨款研制原子弹，并制定了“曼哈顿计划”。1942年费米(E.Fermi)在芝加哥的研究小组建造的反应堆取得成功，这是人类首次控制住了从原子核释放出来的能量，为制造原子弹提供了重要的实验数据。 1942年，美国建造了研制原子弹的洛斯阿拉莫斯实验室，并任命物理学家奥本海默(J.R.Oppenheimer)为实验室主任。计划先后解决了几个重要的工程技术问题： 1.燃料使用的效率问题—利用反射层提高效率； 2.起爆问题--采用内德迈耶的“内爆”法。 3.铀的提纯问题。铀235的天然含量很低，因此采用从铀238中分离的办法，成本很高。后来发现钚239也是一种良好的裂变材料，钚是铀238嬗变来的，因此，将分离铀235剩下的大量铀238制造钚。1943年8月，玻尔到了洛斯阿拉莫斯。1945年7月16日，美国“三一计划”――首次原子弹爆炸成功，威力巨大。 点评：美国在短短不到四年里，就成功试制了原子弹，主要取决于两个因素：一是大批最优秀的欧洲科学家由于受到希特勒的迫害，逃亡美国，使美国拥有最强大的科学家阵容，二是美国政府迫于战争需要，投入巨大的人力和物力，“曼哈顿计划”耗资20亿美元；投入人力50多万人，其中科研人员15万；占用了全国近三分之一的电力。“曼哈顿计划”的目标明确——制造原子弹。对于带有应用目标的计划，必须目标明确。 案例2：化工工业的创新 主题：以科学为基础，以市场竞争为动力，产生重大创新。 案例：化学工业常常被称为是第一个以科学为基础的工业。从最初的与纺织行业结合紧密的无机化学的发展，到首先是煤焦油派生物到石油化工的有机化学工业的发展，再到20世纪30年代通过对大分子结构的基础研究而导致碳氢化合物化学的重大突破，大量的创新迅速出现了：聚苯乙烯、有机玻璃、PVC、聚乙烯、合成橡胶、尼龙和所有的人造纤维。化学工业的所有的重大创新几乎都是在大型化工企业的实验室内完成的。 杜邦公司发明的尼龙(nylon )就是一个很好的例子。1930年杜邦研究实验室从严格合成的材料中第一次获得有使用价值的纤维，被称为人造丝，通过4年的反复试验，终于完全合成了实用的合成纤维，到1938年正式宣布这项发明，定名为“尼龙”，并与1939年开始投产。由于它强度大、耐摩擦和不易腐烂，在国内外市场大受欢迎，并在二次世界大战中广泛地应用到飞机和汽车轮胎用衬布、军用服装、降落伞和其他用途等。杜邦公司这个存在近两
决策支持系统期末考试题 一、判断题（对的打√，错的打×；每题2分，共计10分） 1、决策支持系统使用大量数据和多个模式，形成决策方案，替代决策者实现决策。 2、专家系统使用知识和推理机制，运用定性分析的方式辅助决策。 3、数据仓库是面向主体的、集成的、稳定的、相同时间内的数据集合，用于支持决策。 4、云计算是利用远处的数据中心，通过互联网向客户提供软件、存储、数据处理等服务。 5、人们编写计算机程序是可以不受计算机硬件限制，按照人们的正常的思维方式进行。 二、选择题（在下列选项中，只有一个是正确的；每题2分，共计20分） 1、决策支持系统主要是解决决策过程中出现的（）问题。 A. 结构化问题 B. 半结构化问题 C. 非结构化问题 D. 不确定性问题 2、计算机中知识的表示不包括下列哪一种表述（）。 A. 数理逻辑知识 B. 产生式规则 C. 数学模型 D. 本体 3、决策支持系统的模型库中的模型是以（）方式存储的。 A. 计算机程序 B.数学模型 C. 本体知识 D. 产生式规则 4、（）是专家系统的理论基础。 A. 数据库 B. 数学模型 C. 知识库 D.知识表示 5、数据仓库的运行结构采用（） A. B/S 结构 B. C/S 结构 C. B/C 结构 D. PC结构 6、下列不属于联机分析处理基本功能的是（） A. 切片 B. 钻去 C.旋转 D.投影 7、在关联分析中，关于支持度和可信度的说法正确的是（）。 A. 支持度越大，关联规则就越重要 B. 可信度高，支持度低，则关联规则重要 C. 支持度是对关联规则精确度的衡量 D.可信度度是对关联规则重要性的度量 8 、基于云计算的决策支持系统设计方案主要体现在（）。 A. 海量数据的处理和并行数据挖掘 B. 软硬件资源隐没于云端，提供商收取费用 C. 分布式多服务器提供数据处理方法，结果自动获取 D. 原有的决策支持系统不能解决的问题，借助于云计算来解决
大数据对企业管理决策影响分析 随着云计算技术的快速普及，加之物联网、移动互联网应用的大规模爆发，人类进入了大数据时代。大数据的数据集远远超出了目前典型数据库管理系统获取、存储、管理和分析的能力。研究机构Gartner将大数据定义为需要新处理模式才能具有更强的决策力、洞察 发现力和流程优化能力的海量、高增长率和多样化的信息资产；国际数据公司(IDC)认为大数据是从海量规模数据中抽取价值的新一代技术和架构；IBM将大数据定义为4个V即大量化(Volume)、多样化(Variety)、快速化(Velocity)及产生的价值(Value)。针对大数据的特征挖掘其价值并作出决策，成为企业在大数据环境下进行决策的重要依据。2012年1月达沃斯世界经济论坛将大数据作为主题之一，探讨了如何更好地利用数据产生社会效益；2012年5月联合国“Global Pulse”特别分析了发展中国家面对大数据的机遇和挑战，并倡议运用大数据促进全球经济发展；2012年3月美国奥巴马政府发布“大数据研究和发展倡议”，正式启动大数据发展计划，随后英国、加拿大、澳大利亚、法国、日本等30多个国家也相继启动了大数据计划；Google、IBM、EMC、惠普、微软和阿里巴巴、百度等国内外公司正在积极抢占大数据技术市场。大数据应用领域包括客户关系管理、市场营销、金融投资、人力资源管理、供应链管理和卫生保健、教育、国家安全、食品等各个行业，已成为一个影响国家、社会和企业发展的重要因素。在互联网时代，基于数据判断、决策成为国家、企业和个人的基本技能。大数据的出现改变了企业决策环境，并将对企业的传统决策方式产生巨大影响。 1、大数据对管理决策环境的影响 1.1大数据下数据驱动的决策方式 目前人类每年产生的数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、 EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。美国互联网数据中心指出，全球已有超过150 亿台连接到互联网的移动设备，互联网上的数据每年增长50%，每两年便翻一番，而目前世界上90%以上的数据是最近几年才产生的，随着数据的急剧增长，大数据时代已经到来。大数据下的决策依赖于大量市场数据，如何有效地收集和分配数据、可靠智能地分析和执行数据成为企业未来面临的挑战。基于云计算的大数据环境影响到企业信息收集方式、决策方案制定、方案选择及评估等决策实施过程，进而对企业的管理决策产生影响。舍恩伯格指出，大数据的“大”，并不是指数据本身绝对数量大，而是指处理数据所使用的模式“大”：尽可能地收集全面数据、完整数据和综合数据，同时使用数学方法对其进行分析和建模，挖掘出背后的关系，从而预测事件发生的概率。数据驱动型决策(data-driven decision making)是大数据下决策的特点。研究表明，越是以数据驱动的企业，其财务和运营业绩越好。大数据是个极丰富的数据集，数据是知识经济时代重要的生产要素，是经济运行中的根本性资源。数据生产信息，信息改善决策，进而提高生产力。可以预期，未来决定、评价企业价值的最大核心在于数据，数据积累量、数据分析能力、数据驱动业务的能力将是决定企业价值的最主要因素。 1.2大数据下决策方式应用现状 MIT沙龙主编与IBM商业价值协会通过对100个国家30多个行业的近3000名公司执行者、管理者和数据分析工作者进行调查，基于调查结果为公司提供了5条建议，其中提出对于每个机会，企业需要从问题而不是数据开始，所以应该先定义满足商务目标的问题，然后识别那些可以解答问题的数据。枟经济学家枠杂志2010年的一项调查显示，经营大数据已成为企业管理的热门话题，但大数据的应用目前还处于初级阶段。2013年3月IBM的大数据调研白皮书枟分析：大数据在现实世界中的应用枠显示“大数据”将带来蓬勃商机，
大数据统计分析方法简介 随着市场经济的发展以及经济程度不断向纵深发展, 统计学与经济管理的融合程度也在不断加深, 大数据统计分析技术通过从海量的数据中找到经济发展规律, 在宏观经济分析中起到的作用越来越大, 而且其在企业经营管理方面的运用也越来越广。基于此, 文章首先对强化大数据统计分析方法在企业经营管理中的意义以及必要性进行分析;其次, 详细阐述大数据统计分析方法在宏观经济方面及企业经营管理方面的运用;最后, 对如何进一步推进大数据统计分析方法在经济管理领域中的运用提出政策建议。 统计学作为应用数学的一个重要分支, 其主要通过对数据进行收集, 通过计量方法找出数据中隐藏的有价值的规律, 并将其运用于其他领域的一门学科。随着数据挖掘(Data Mining) 技术以及统计分析方法逐渐成熟, 大数据统计分析方法在经济管理领域中所起到的作用越来越大。当前, 面对经济全球化不断加深以及经济市场竞争不断激烈的双重压力, 将统计学深度的融合运用于经济管理领域成为提高经营管理效率、优化资源配置、科学决策的有效举措。随着市场经济的发展以及经济程度不断向纵深发展, 统计学与经济管理的融合程度也在不断加深, 大数据统计分析技术通过从海量的数据中找到经济发展规律, 在宏观经济分析中起到的作用越来越大, 而且其在企业经营管理方面的运用也越来越广。由此可见, 加强大数据统计分析方法在经济管理领域中的运用对促进经济发展和和提升企业经营管理效率具有重要意义。 为了进一步分析大数据统计分析方法在宏观经济发展以及企业经营管理方面的运用, 本文首先对强化大数据统计分析方法在企业经营管理中的意义以及必要性进行分析;其次, 详细阐述大数据统计分析方法在宏观经济方面及企业经营管理方面的运用;最后, 对如何进一步推进大数据统计分析方法在经济管理领域中的运用提出政策建议。 一、大数据统计分析方法在经济管理领域运用的意义 由于市场环境以及企业管理内容的变化, 推进统计学在企业经营管理领域运用的必要性主要体现在以下两方面。 (一) 宏观经济方面 经济发展具有一定的规律, 加强大数据统计分析方法在宏观经济中的运用对发展经济发展规律具有重要意义。一方面, 通过构架大数据统计分析系统将宏观经济发展中的行业数据进行收集, 然后利用SPSS、Stata等数据分析软件对关的行业数据进行实证分析, 对发现行业发展中出现的问题以及发现行业中潜在的发
大数据处理及分析理论方法技术 （一）大数据处理及分析建设的过程 随着数据的越来越多，如何在这些海量的数据中找出我们需要的信息变得尤其重要，而这也是大数据的产生和发展原因，那么究竟什么是大数据呢？当下我国大数据研发建设又有哪些方面着力呢？ 一是建立一套运行机制。大数据建设是一项有序的、动态的、可持续发展的系统工程，必须建立良好的运行机制，以促进建设过程中各个环节的正规有序，实现统合，搞好顶层设计。 二是规范一套建设标准。没有标准就没有系统。应建立面向不同主题、覆盖各个领域、不断动态更新的大数据建设标准，为实现各级各类信息系统的网络互连、信息互通、资源共享奠定基础。
三是搭建一个共享平台。数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类指挥信息系统的数据交换和数据共享。 四是培养一支专业队伍。大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支懂指挥、懂技术、懂管理的大数据建设专业队伍。 （二）大数据处理分析的基本理论 对于大数据的概念有许多不同的理解。中国科学院计算技术研究所李国杰院士认为：大数据就是“海量数据”加“复杂数据类型”。而维基百科中的解释为：大数据是由于规模、复杂性、实时性而导致的使之无法在一定时间内用常规软件工具对其进行获取、存储、搜索、分享、分析、可视化的数据集合。 对于“大数据”（Bigdata）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决
图2.1：大数据特征概括为5个V （三）大数据处理及分析的方向 众所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定
大数据时代的数据库的创新与发展
大数据时代的数据库的创新与发展 摘要：大数据时代的到来，使得传统数据库在处理百TB以上、特别是PB级数据的查询、 统计、分析等应用时，遇到性能上的瓶颈。面对电信、金融、安全、政企等大数据量应用，包括电信话单、金融细帐、智能电网、经营分析、公安网监、舆情监控、审计稽查、应急指挥等，用户体验往往不可接受。海量数据的3V(数量Volume、速度Velocity、多样Variety)挑战着传统数据库曾经非常成功的“一种架构支持多类应用”的模式。互联网和大数据应用的冲击下，世界数据库格局在发生革命性的变化，通用数据库(OldSQL)一统天下变成了OldSQL、NewSQL、NoSQL共同支撑多类应用的局面。 大数据是信息化的一个崭新发展阶段，通过分析各种大数据，人类对知识的认知可以见微知著、集腋成裘、由此及彼，对世界的认知也将更全面、更深入、和更具前瞻性。自2011年5月，EMC和IDC在合作研究“数字宇宙”五年之后提出“大数据”概念以来，“大数据经济”的影响力愈发显著，谷歌、Facebook竞相超过微软，曾经的“软件为王”让位于“数据为王”。 可以预见，大数据时代将引发大量应用创新，比如，城市大数据应用将支撑智慧城市建设，还有智慧教育、智慧医疗、智慧交通、智慧金融等; 关键词：大数据时代，数据库；系统；创新； 引言：“大数据”（ big data）或者称为“海量数据”，这个直白的名词，已经在全球 引起了广泛关注，已经引领了又一轮数据技术的革命。 美国EMC 公司于2011 年5 月在美国拉斯维加斯举办第11 届 EMC World 大会，大会的核心是帮助企业利用IT变革的重要趋势。此次大会以“云计算相遇大数据（ Cloud Meets Big Data）”为主题，着重展现当今两个最重要的技术趋势，正式抛出了“大数据”概念。 根据IDC《数字世界》研究项目在2012年的统计，2010年全球数字资源的规模首次突破了ZB（1ZB=1万亿GB）级别，达到了1.227ZB；而2005年只有130Eb，五年增长了10倍。如果保持这种爆炸式的增长速度，到了2020年，我们的数字资源规模将超过40ZB，相当于世界上每个人拥有超过5200GB的数据。无疑，我们已进入了大数据时代。 在 2011 年 12 月，我国工信部发布了物联网“十二五”规划，提出了4项关键技术创新工程。信息处理技术的内容包括海量数据存储、数据挖掘、图像视频智能分析等，都是大数据技术的重要组成部分；另外 3 项关键技术创新工程，包括信息感知技术、信息传输技术、信息安全技术，这些也都与“大数据”密切相关。我国也对大数据技术给与了足够的重视。基于以上概述，大数据时代已经到来，已经对我们的社会产生了重大影响，本文将尝试对大数据时代我国的索引和数据库事业的发展与创新进行研究和展望。 大数据时代： 多权威机构和企业对大数据给予了不同的定义。麦肯锡认为，“大数据所涉及的数据集规模已经超过了传统数据库软件获取、存储、管理和分析的能力。”IBM公司认为，可以用3个特征相结合来定义大数据：数量（V olume）、种类（Variety）和速度（Velocity），即庞大容量、极快速度和种类丰富的数据。IDC认为，“大数据不是一个事物，而是一个跨多个信息技术领域的活动。大数据技术描述了新一代的技术和架构，其被设计用于通过使用高速（V elocity）的采集、发现或分析，从超大容量（V olume）的多样（Variety）数据中经济地提取价值（Value）。” 综合对种不同的见解，本文认为，具备以下特征的就是大数据。
187．大数据环境下社会舆情分析与决策支持研究 大数据环境下社会舆情分析：（理论发展、）方法改进和实践创新一、研究起点：背景与基础 （谢邦昌（子课题负责人）、魏谨瑞（执笔人）） 国际背景、国内背景、社会舆情调查与分析的发展阶段、大数据环境下社会舆情分析的学科属性（理论基础、理论元素）、大数据环境下社会舆情分析的方法论基础、大数据环境下社会舆情分析的范围与特点、大数据环境下社会舆情分析的未来发展方向，等等。 二、数据信息：采集与清洗（清理） （孙玉环、孙玉环） 数据信息的一般收集（传统）方法（什么是社会舆情信息，社会舆情信息采集的一般方法、该类方法遇到哪些挑战）、大数据环境下社会舆情信息的种类与特点、大数据环境下社会舆情信息的收集方法、大数据环境下社会舆情信息的抓取方法、大数据环境下社会舆情信息的清洗（清理）（清洗的重要性、清洗的利弊、清洗的方法、清洗程序）、大数据环境下社会舆情信息的留存（数据库建设与维护）三、分析方法：挖掘与模拟 （魏谨瑞、魏谨瑞） 四、应用研究： （付士民、王勇） 有哪些方面的应用？几个案例？我没想好，也不太明白。
五、决策支持：监控与预警 （金钰或刘丹丹、刘丹丹） 助推大数据环境下社会舆情调查与分析改进的政策体系、事前预警、过程监控、事后评估，等。 建议： 第五部分的内容包括两个部分： 一是政策体系。包括数据政策、技术创新、人才培养和数据共享机制； 二是决策支持系统。包括（1）大数据分析关键技术支持：大数据分析关键技术，强调数据由传统的、线形的、自下而上的精英决策模型向非线性、面向不确定性的、自下而上的决策模型转变；（2）“情景—应对”应急管理决策支持。管理决策范式由传统的“预测—应对”向“情景—应对”的转变。 第五部分重点要分析社会舆情情景推演与评估方法体系研究，包括对情景推演结果评判与应对实效评估。 另外，课题还应该包括第六部分，关于社会舆情分析数据的计算实验平台设计，这部分是为课题应用研究和决策支持服务的，可能包括标准化的计算实验、动态可视化显示与人机交互环境、开放交互式编程环境及配套工具等。当然，这部分内容，应该有相应计算机背景的课题组成员参加。
数据库开题报告 随着现在信息科技的发展，数据的储存量越来越大，那么数据库的发展趋势又是怎样的呢? 数据库技术的现状及其发展趋势研究开题报告 数据库技术的现状及其发展趋势研究开题报告专业：信息管理与信息系统学生：**学号：0924620036 一、选题背景及意义： 数据库技术主要研究如何存储、使用和管理数据 ,是计算机技术中发展最快、应用最广的技术之一。作为计算机软件的一个重要分支，数据库技术一直是倍受信息技术界关注的一个重点。尤其是在信息技术高速发展的今天，数据库技术的应用可以说是深入到了各个领域。当前，数据库技术已成为现代计算机信息系统和应用系统开发的核心技术，数据库已成为计算机信息系统和应用系统的组成核心，更是未来信息高速公路的支撑技术之一。因此，为了更好的认识和掌握数据库技术的现状及发展趋势,本文对有关数据库发展的文献进行了收集整理，以求在对现有相关理论了解、分析的基础上，对数据库发展进行综合论述，对数据库技术发展的总体态势有比较全面的认识，从而推动数据库技术研究理论的进一步发展。 二、论文综述 1、数据库技术发展历程：许多年以来在数据库技术领域很少有重大的技术创新能够引起人们对整个数据库发展历程的回顾与反思。2006年DB2 9中推出的pureXML技术，对过去数十年来关系型数据库的最基本的数据组织方式进行了重大的创新，第一次让我们对数据库的历史，以及过去支撑其发展壮大
的理论基础和外部挑战从新的角度进行审视。今天我们很少去回顾数据库的历史，对于绝大多数IT技术人员，数据库等同于关系型数据库，数据则和表紧密联系。E-R模型几乎是我们描述世界的唯一方式，SQL语言是数据库信息访问处理的唯一手段。关系型数据库已经成为了一种宗教式的信仰，数据相关的所有理论问题似乎都已经解决。 然而历史的发展总是在我们不经意间产生转折，所有重大技术的产生及发展都有其生存的土壤。40年前数据库的诞生并不是关系型数据库，第一代的数据库第一次实现了数据管理与应用逻辑的分离，采用层次结构来描述数据，是层次型数据库(IMS)。第二代数据库奠基于上世纪70年代E.F Codd博士提出的关系型理论以及SQL语言的发明。实现了数据建模和数据操作处理的标准化，关系型数据库在其后的20多年的时间取得了长足的发展,得到了广泛的应用。技术的演进主要集中在性能、扩展性和安全性等方面的提升，其基本的理论框架和技术理念并没有大的变化。 与之相反，在过去的20多年里，IT产业发生了重大的变化和一系列技术及理念的创新。数据库所生存的外部土壤随着Internet以及在网络环境下IT系统互联互通相互协作的趋势，对信息管理技术提出了新的挑战。 2、国内研究的综述：《移动数据库技术研究综述》《Web数据库技术综述》《Web 与数据库技术》《数据库技术发展趋势》 三、论文提纲 (一)数据库技术概论 1、数据库技术概念及类型 2、数据库技术发展历程
大数据数量庞大，格式多样化。大量数据由家庭、制造工厂和办公场所的各种设备、互联网事务交易、社交网络的活动、自动化传感器、移动设备以及科研仪器等生成。它的爆炸式增长已超出了传统IT基础架构的处理能力，给企业和社会带来严峻的数据管理问题。因此必须开发新的数据架构，围绕“数据收集、数据管理、数据分析、知识形成、智慧行动”的全过程，开发使用这些数据，释放出更多数据的隐藏价值。 一、大数据建设思路 1)数据的获得 大数据产生的根本原因在于感知式系统的广泛使用。随着技术的发展，人们已经有能力制造极其微小的带有处理功能的传感器，并开始将这些设备广泛的布置于社会的各个角落，通过这些设备来对整个社会的运转进行监控。这些设备会源源不断的产生新数据，这种数据的产生方式是自动的。因此在数据收集方面，要对来自网络包括物联网、社交网络和机构信息系统的数据附上时空标志，去伪存真，尽可能收集异源甚至是异构的数据，必要时还可与历史数据对照，多角度验证数据的全面性和可信性。 2)数据的汇集和存储 数据只有不断流动和充分共享，才有生命力。应在各专用数据库建设的基础上，通过数据集成，实现各级各类信息系统的数据交换和数据共享。数据存储要达到低成本、低能耗、高可靠性目标，通常要用到冗余配置、分布化和云计算技术，在存储时要按照一定规则对数据进行分类，通过过滤和去重，减少存储量，同时加入便于日后检索的标签。 3)数据的管理
大数据管理的技术也层出不穷。在众多技术中，有6种数据管理技术普遍被关注，即分布式存储与计算、内存数据库技术、列式数据库技术、云数据库、非关系型的数据库、移动数据库技术。其中分布式存储与计算受关注度最高。上图是一个图书数据管理系统。 4)数据的分析 数据分析处理：有些行业的数据涉及上百个参数，其复杂性不仅体现在数据样本本身，更体现在多源异构、多实体和多空间之间的交互动态性，难以用传统的方法描述与度量，处理的复杂度很大，需要将高维图像等多媒体数据降维后度量与处理，利用上下文关联进行语义分析，从大量动态而且可能是模棱两可的数据中综合信息，并导出可理解的内容。大数据的处理类型很多，主要的处理模式可以分为流处理和批处理两种。批处理是先存储后处理，而流处理则是直接处理数据。挖掘的任务主要是关联分析、聚类分析、分类、预测、时序模式和偏差分析等。 5)大数据的价值：决策支持系统 大数据的神奇之处就是通过对过去和现在的数据进行分析，它能够精确预测未来;通过对组织内部的和外部的数据整合，它能够洞察事物之间的相关关系;通过对海量数据的挖掘，它能够代替人脑，承担起企业和社会管理的职责。 6)数据的使用 大数据有三层内涵：一是数据量巨大、来源多样和类型多样的数据集;二是新型的数据处理和分析技术;三是运用数据分析形成价值。大数据对科学研究、经济建设、社会发展和文化生活等各个领域正在产生革命性的影响。大数据应用的关键，也是其必要条件，就在于"IT"与"经营"的融合，当然，这里的经营的内涵可以非常广泛，小至一个零售门店的经营，大至一个城市的经营。 二、大数据基本架构 基于上述大数据的特征，通过传统IT技术存储和处理大数据成本高昂。一个企业要大力发展大数据应用首先需要解决两个问题：一是低成本、快速地对海量、多类别的数据进行抽取和存储;二是
对于有形物体，我们可以衡量出它的价值，对于无形的概念，或许我们就难以衡量它的相对 价值，在信息技术高速发展的今天，大数据的影响却来越重要，它所带来的价值也越来越大。大数据或许成为了一个新的行业，企业专门针对大数据进行数据分析，寻找数据背后蕴含的 价值。大数据的概念，大数据分析的方法又是什么呢？ 大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需 要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样 化的信息资产。 大数据分析方法 1.预测趋势分析 数据挖掘可以让分析员更好地理解数据，而预测性分析可以让分析员根据可视化分析和数据 挖掘的结果做出一些预测性的判断。根据预测性的判断，及时做出一定的对策，做到真正的 反防范于未然。 2.相互对比分析 数据的多样性造就了数据的对比性丰富，在做数据分析时，可以依据数据的这一特性，将数 据进行对比分析，找到数据的不同。针对不同数据的变化趋势，对最终数据产生的结果做一 定的预判。 3.不同象限分析 不同数据的来源于与数据的质量可以划分为不同的象限，根据固定的象限规定线进行区分， 得到不同数据的权重分布，从大的范围将数据划分为一个整体，为最终数据结果的总结提供 不同的趋势走向。 4.多向交叉分析 对比分析既有横向对比，又有纵向对比。如果既想横向对比，又想纵向对比，就有了交叉分 析法。交叉分析法就是对数据从多个维度进行交叉展现，进行多角度的结合分析。这样得出 的数据分析结果更加的全面。 商业智能数据分析平台 数据分析方法是紧紧围绕数据展开，对于企业而言，相比人工数据分析而言，借助于专业的 数据分析系统的效率更高。在商业智能领域，帆软的Finebi就很好的运用数据分析的强大功 能其简单易用的特点，解决了非技术人员的困扰，成为真正企业人人可用的自助式BI，为最 终的实现企业的高效运转提供强有力的推动力。目前在商业智能领域，Finebi独占鳌头，深 受行业用户的青睐，相信，未来数据分析的应用将会更加的全面，应用的领域也将更加的广泛，数据分析技术也将更加的先进，我们拭目以待。
数据库开题报告 篇一：数据库技术的现状及其发展趋势研究开题报告数据库技术的现状及其发展趋势研究开题报告专业：信息管理与信息系统学生：李清学号：09246XX6 一、选题背景及意义： 数据库技术主要研究如何存储、使用和管理数据 ,是计算机技术中发展最快、应用最广的技术之一。作为计算机软件的一个重要分支，数据库技术一直是倍受信息技术界关注的一个重点。尤其是在信息技术高速发展的今天，数据库技术的应用可以说是深入到了各个领域。当前，数据库技术已成为现代计算机信息系统和应用系统开发的核心技术，数据库已成为计算机信息系统和应用系统的组成核心，更是未来“信息高速公路”的支撑技术之一。因此，为了更好的认识和掌握数据库技术的现状及发展趋势,本文对有关数据库发展的文献进行了收集整理，以求在对现有相关理论了解、分析的基础上，对数据库发展进行综合论述，对数据库技术发展的总体态势有比较全面的认识，从而推动数据库技术研究理论的进一步发展。 二、论文综述 1、数据库技术发展历程：许多年以来在数据库技术领域很少有重大的技术创新能够引起人们对整个数据库发展历程的回顾与反思。XX年DB2 9中推出的pureXML技术，对过去数十年来关系型数据库的最基本的数
据组织方式进行了重大的创新，第一次让我们对数据库的历史，以及过去支撑其发展壮大的理论基础和外部挑战从新的角度进行审视。今天我们很少去回顾数据库的历史，对于绝大多数IT技术人员，数据库等同于关系型数据库，数据则和表紧密联系。E－R模型几乎是我们描述世界的唯一方式，SQL语言是数据库信息访问处理的唯一手段。关系型数据库已经成为了一种宗教式的信仰，数据相关的所有理论问题似乎都已经解决。 然而历史的发展总是在我们不经意间产生转折，所有重大技术的产生及发展都有其生存的土壤。40年前数据库的诞生并不是关系型数据库，第一代的数据库第一次实现了数据管理与应用逻辑的分离，采用层次结构来描述数据，是层次型数据库(IMS)。第二代数据库奠基于上世纪70年代 E.F Codd博士提出的关系型理论以及SQL语言的发明。实现了数据建模和数据操作处理的标准化，关系型数据库在其后的20多年的时间取得了长足的发展,得到了广泛的应用。技术的演进主要集中在性能、扩展性和安全性等方面的提升，其基本的理论框架和技术理念并没有大的变化。 与之相反，在过去的20多年里，IT产业发生了重大的变化和一系列技术及理念的创新。数据库所生存的外部土壤随着Internet以及在网络环境下IT系统互联互通相互协作的趋势，对信息管理技术提出了新的挑战。
智慧神州（北京）科技有限公司 密级：保密 大数据决策支持系统 实施方案 （V1.0） 项目编号：项目名称： 编写人：李茂发编写日期：2018.05.09 审核人：侯俊华审核日期：2018.05.13 批准人：批准日期： 1
文档修订记录 2
目录 第1章.编写说明 (5) 1.1编写目的 (5) 1.2术语定义 (5) 第2章.项目实施总述 (6) 2.1子项目建设目标与任务 (6) 2.1.1. 子项目建设总体目标 (6) 2.1.2. 子项目分阶段目标 (6) 2.2子项目建设内容 (7) 2.2.1. 子项目总体架构 (7) 2.2.1.1.总体架构 (7) 2.2.1.2.技术架构 (8) 2.2.1.3.数据架构 (10) 2.2.1.4.关键技术介绍 (13) 2.2.2. 子项目软硬件系统建设内容 (18) 2.2.2.1.专题库建设······································································································错误!未定义书签。 2.2.2.2.大数据决策系统应用 (18) 2.2.3. 子项目实施工作内容 (22) 2.2.4. 子项目外部系统对接技术方案 (23) 2.2.5. 子项目实施进度规划 (23) 2.2.6. 实施风险与关键点 (25) 第3章.里程碑计划 (28) 第4章.详细工作计划 (30) 3
文档格式约定:： 一级标题：左对齐黑体字二号字加粗 二级标题：左对齐黑体字小二号字加粗 三级标题：左对齐黑体字三号字加粗 四级标题：左对齐黑体字四号字加粗 正文：正文首行缩进2字符 1.5倍行距宋体小四号字图片：居中 表格：居中表格文字左对齐宋字五号字 4
1. 【多选题】大数据技术领域的发展得到国家的高度重视，近年来不断推出了些促进这些领域创新和产业发展的指导意见、发展规划和行动纲要，主要有哪些？正确答案:[A,B,C,D,E] A: 2015年8月31日：《促进大数据发展行动纲要》B: 2015年12月29日：《“互联网＋”行动的指导意见》C: 2017年7月8日：《新一代人工智能发展规划》D: 2017年4月10日：《云计算发展三年行动计划（2017－2019年）》E: 2015年5月8日：《中国制造2025》 2. 【判断题】人工采集效率低、成本高、错误多。自动化采集靠技术实现，效率高、采集的数据量大。对错 3. 【多选题】数据资源向信息、知识、价值转换的流程可以概括成5个环节：（）（）（）（）（）正确答案:[A,B,C,D] A: 数据采集B: 数据存储C: 数据处理D: 数据分析与挖掘E: 知识应用 4. 【判断题】由于数据采集都是在多点进行的，数据存储也从传统中央磁盘存储变成分布式云存储。云存储的优点是容量大、
费用低。对错 5. 【判断题】数据是所表达的对象或事件的信息的载体，记录了对象的属性特征。对错 6. 【多选题】数据采集可以划分为（）和（）。 A: 人工采集B: 自动化采集 7. 【多选题】大数据有3个显著的特征： A: 数据规模大B: 数据变化快C: 数据类型复杂 8. 【多选题】大数据时代是（）（）（）（）4大技术领域齐头并进发展的时代，也可称作“大智移云”时代。 A: 大数据B: 人工智能C: 移动互联网（或物联网）D: 云计算 9. 【判断题】目前大数据存储的另一趋势是向数据中心集中，以便于大数据的管理、集成和综合分析。对错
数据分析方法、数据处理流程实战案例 大数据时代，我们人人都逐渐开始用数据的眼光来看待每一个事情、事物。确实，数据的直观明了传达出来的信息让人一下子就能领略且毫无疑点，不过前提是数据本身的真实性和准确度要有保证。今天就来和大家分享一下关于数据分析方法、数据处理流程的实战案例，让大家对于数据分析师这个岗位的工作内容有更多的理解和认识，让可以趁机了解了解咱们平时看似轻松便捷的数据可视化的背后都是 有多专业的流程在支撑着。 一、大数据思维
在2011年、2012年大数据概念火了之后，可以说这几年许多传统企业也好，互联网企业也好，都把自己的业务给大数据靠一靠，并且提的比较多的大数据思维。 那么大数据思维是怎么回事？我们来看两个例子： 案例1：输入法 首先，我们来看一下输入法的例子。 我2001年上大学，那时用的输入法比较多的是智能ABC，还有微软拼音，还有五笔。那时候的输入法比现在来说要慢的很多，许多时候输一个词都要选好几次，去选词还是调整才能把这个字打出来，效率是非常低的。
到了2002年，2003年出了一种新的输出法——紫光拼音，感觉真的很快，键盘没有按下去字就已经跳出来了。但是，后来很快发现紫光拼音输入法也有它的问题，比如当时互联网发展已经比较快了，
会经常出现一些新的词汇，这些词汇在它的词库里没有的话，就很难敲出来这个词。 在2006年左右，搜狗输入法出现了。搜狗输入法基于搜狗本身是一个搜索，它积累了一些用户输入的检索词这些数据，用户用输入法时候产生的这些词的信息，将它们进行统计分析，把一些新的词汇逐步添加到词库里去，通过云的方式进行管理。 比如，去年流行一个词叫“然并卵”，这样的一个词如果用传统的方式，因为它是一个重新构造的词，在输入法是没办法通过拼音“ran bing luan”直接把它找出来的。然而，在大数据思维下那就不一样了，换句话说，我们先不知道有这么一个词汇，但是我们发现有许多人在输入了这个词汇，于是，我们可以通过统计发现最近新出现的一个高频词汇，把它加到司库里面并更新给所有人，大家在使用的时候可以直接找到这个词了。 案例2：地图
数据库技术领域的发展趋势 1 泛数据研究 2 国际数据库研究界动态 3 主流技术发展趋势 信息集成 数据流管理 传感器数据库技术 XML 数据管理 网格数据管理 DBMS 的自适应管理 移动数据管理 微小型数据库技术 数据库用户界面 1 泛数据研究的时代 数据库技术从诞生到现在,在不到半个世纪的时间里,形成了坚实的理论基础、成熟的商业产品和广泛的应用领域,吸引了越来越多的研究者加入,使得数据库成为一个研究者众多且被广泛关注的研究领域.随着信息管理内容的不断扩展和新技术的层出不穷,数据库技术面临着前所未有的挑战.面对新的数据形式,人们提出了丰富多样的数据模型(层次模型、网状模型、关系模型、面向对象模型、半结构化模型等),同时也提出了众多新的数据库技术(XML 数据管理、数据流管理、Web 数据集成、数据挖掘等). 回顾数据库发展之初,数据模型是制约数据库系统的关键因素. Codd 博士(1923-2003)提出的关系模型充分考虑了企业业务数据的特点,从现实问题出发,为数据库建立了一个坚实的数学基础.在整个计算机软件领域,恐怕难以找到第2 个像关系模型这样,概念如此简单,但却能带来如此巨大市场价值的技术. 关系模型在关系数据库理论基本成熟后,各大学、研究机构和各大公司在关系数据库管理系统(RDBMS)的实现和产品开发中,都遇到了一系列技术问题.主要是在数据库的规模愈来愈大,数据库的结构愈来愈复杂,又有愈来愈多的用户共享数据库的情况下,如何保障数据的完整性、安全性、并发性以及故障恢复的能力,它成为数据库产品是否能够进入实用并最终为用户接受的关键因素.Jim Gray 在解决这些重大技术问题,使RDBMS 成
收稿日期：２０１４－１０－１４ 修回日期：２０１４－１１－３０ 基金项目：国家自然科学基金项目“２４小时知识工厂的知识共享活动模型与服务支持系统研究”（编号：７１１７１１５３ ）。作者简介：夏火松（１９６４－），男，博士，教授，博士生导师，研究方向：知识管理、数据挖掘、物流信息管理和电子商务、ＤＳＳ；甄化春（１９８９－），男，硕士研究生，研究方向：数据挖掘、信息管理。 ·舆情研究· 大数据环境下舆情分析与决策支持研究文献综述＊ 夏火松 甄化春 （武汉纺织大学管理学院 武汉 ４３００７３ ）摘 要 大数据时代使得传统的舆情分析方式发生了剧变，已有的舆情分析技术和监控系统很难适应这一情景的变化。大数据舆情处理理论和技术的研究与发展状况，迫切需要很好的梳理。论文对当前国内外的舆情分析及决策支持系统的构建等相关研究进行了文献梳理和分析， 对当前的网络舆情分析的关键技术进行了总结，构建了大数据时代舆情监控与决策支持的分层模型，并针对当前网络舆情分析的不足进行了讨论，提出了值得研究的问题。最后对社会舆情分析的发展方向进行了展望。关键词 大数据 舆情分析 决策支持 中图分类号 Ｇ３５３．１１ 文献标识码 Ａ 文章编号 １００２－１９６５（２０１５）０２－０００１－０６ＤＯＩ １０．３９６９／ｊ ．ｉｓｓｎ．１００２－１９６５．２０１５．０２．００１Ｐｕｂｌｉｃ Ｏｐｉｎｉｏｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｄｅｃｉｓｉｏｎ Ｓｕｐｐｏｒｔ Ｓｔｕｄｙ ｕｎｄｅｒ Ｂｉｇ Ｄａｔａ ＳｕｒｒｏｕｎｄｉｎｇｓＸｉａ Ｈｕｏｓｏｎｇ Ｚｈｅｎ Ｈｕａｃｈｕｎ（Ｓｃｈｏｏｌ ｏｆ Ｍａｎａｇｅｍｅｎｔ，Ｗｕｈａｎ Ｔｅｘｔｉｌｅ Ｕｎｉｖｅｒｓｉｔｙ ，Ｗｕｈａｎ ４３００７３）Ａｂｓｔｒａｃｔ Ｔｈｅ ｎｅｗ ｂｉｇ ｄａｔａ ｅｒａ ｂｒｉｎｇｓ ａ ｇｒｅａｔ ｃｈａｌｌｅｎｇｅ ｔｏ ｔｈｅ ｏｒｉｇｉｎａｌ ｐｕｂｌｉｃ ｏｐｉｎｉｏｎ ａｎａｌｙｓｉｓ ｍｅｔｈｏｄｓ．Ｔｈｅ ｅｘｉｓｔｉｎｇ ｐｕｂｌｉｃ ｏｐｉｎ－ｉｏｎ ａｎａｌｙｓｉｓ ｔｅｃｈｎｏｌｏｇｉｅｓ ａｎｄ ｏｎｌｉｎｅ ｐｕｂｌｉｃ ｍｏｎｉｔｏｒｉｎｇ ｓｙｓｔｅｍｓ ａｒｅ ｉｎｓｕｆｆｉｃｉｅｎｔ ｆｏｒ ｔｏｄａｙ＇ｓ ａｐｐｌｉｃａｔｉｏｎ ｒｅｑｕｉｒｅｍｅｎｔｓ．Ｔｈｅｒｅ ｉｓ ａｎ ｕｒ－ｇｅｎｔ ｎｅｅｄ ｆｏｒ ｔｈｅ ｒｅｓｅａｒｃｈ ｏｎ ｔｈｅ ｓｔａｔｕｓ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ ｔｒｅｎｄ ｏｆ ｐｕｂｌｉｃ ｏｐｉｎｉｏｎ ａｎａｌｙｓｉｓ ｕｎｄｅｒ ｂｉｇ ｄａｔａ ｓｕｒｒｏｕｎｄｉｎｇｓ．Ｔｈｉｓ ｐａｐｅｒｓｕｍｍａｒｉｚｅｄ ｔｈｅ ｐｒｅｓｅｎｔ ｓｔｕｄｙ ｓｉｔｕａｔｉｏｎ ｏｆ ｐｕｂｌｉｃ ｏｐｉｎｉｏｎ ａｎａｌｙｓｉｓ ｈｏｍｅ ａｎｄ ａｂｒｏａｄ ａｎｄ ｐｒｏｐｏｓｅｄ ａ ｈｉｅｒａｒｃｈｉｃａｌ ｍｏｄｅｌ ｆｏｒ ｐｕｂｌｉｃ ｏ－ｐｉｎｉｏｎ ｍｏｎｉｔｏｒｉｎｇ ａｎｄ ｄｅｃｉｓｉｏｎ ｓｕｐｐｏｒｔ．Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ，ｗｅ ｄｉｓｃｕｓｓｅｄ ｔｈｅ ｗｅａｋ ｐｏｉｎｔｓ ｏｆ ｔｈｅ ｐｒｅｓｅｎｔ ｓｔｕｄｙ．Ｆｉｎａｌｌｙ，ｗｅ ｐｕｔ ｆｏｒ－ｗａｒｄ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｔｒｅｎｄ ｏｆ ｔｈｅ ｐｕｂｌｉｃ ｏｐｉｎｉｏｎ ａｎａｌｙｓｉｓ ｉｎ ｔｈｅ ｃｏｎｔｅｘｔ ｏｆ ｂｉｇ ｄａｔａ ｅｒａ．Ｋｅｙ ｗｏｒｄｓ ｂｉｇ ｄａｔａ ｐｕｂｌｉｃ ｏｐｉｎｉｏｎ ａｎａｌｙｓｉｓ ｄｅｃｉｓｉｏｎ ｓｕｐｐｏｒｔ０ 引 言 大数据的发展与应用给社会的各方面带来了深远的影响，其中大数据情景下社会舆情的研究成为当前政府、企业和科研机构的一个热点研究课题。２０１２年３月奥巴马政府推出了包括大数据的管理、 分析、可视化以及大数据辅助决策等项目的“ 大数据研究与开发计划”，２０１３年国务院副总理汪洋谈大数据时以流感病毒的舆情分析为例强调了大数据分析对于政府工作的重要性。近年来，以“郭美美事件”、“切糕王子”以及“航母Ｓｔｙｌｅ”为代表的社会热点事件进一步的推动了大数据时代社会舆情研究的热潮。 在大数据时代，如何快速的对海量网络数据进行 分析并建立舆情监控和引导机制从而为管理者提供决策支持是当前研究的热点和难点。相对于传统的社会舆情分析，大数据时代的社会舆情分析更集中于对大量网络数据的搜集、存储、清洗并结合文本挖掘技术从大量低价值密度的数据中获取相关的舆情研究信 息［ １－３］ 。大数据时代为我们提供了海量研究数据同时， 其数据容量大、流动快、形态多样、价值密度低以及真实性不高等特点，使得仅依据数据统计进行舆情监 控的传统方法不再适用［４－６］ 。如何浓缩海量信息，抵 抗“数据爆炸”，从而实现舆情信息增值并提高关联数据的趋势研判能力是大数据时代舆情分析的重大挑 战［ ３，７］ 。文章对大数据舆情分析以及决策支持系统相关的研究文献进行了归纳总结，对文献中有关大数据 第３４卷 第２期２０１５年２月 情 报 杂 志ＪＯＵＲＮＡＬ ＯＦ ＩＮＴＥＬＬＩＧＥＮＣＥ Ｖｏｌ．３４ Ｎｏ．２ Ｆｅｂ． ２０１５