大数据的应用及带给企业的挑战
随着信息技术特别是信息通讯技术的发展，互联网、社交网络、物联网、移动互联网、云计算等相继进入人们的日常工作和生活中，全球数据信息量呈指数式爆炸增长之势。根据国际数据公司IDC发布的研究报告，预计全球数据量大约每两年翻一番，到2020年全球将达到35ZB的数据信息量。随着前所未有巨量数据信息的聚集，“大数据”已得到广泛关注。本文将分企业数据、机器数据和社会化数据三类，针对企业数据处理面临的挑战、机器数据应用场景、社会化数据带来的变革展开讨论。
1、企业数据处理面临的挑战
中国的企业已经认识到大数据蕴含着巨大的商业价值，但国内互联网巨头作为率先使用大数据技术的用户，仅仅是基于开源软件自主开发大数据应用，未形成企业级的个性化应用。
(1)非结构化和结构化数据的统一及整合
随着互联网和通信技术的迅猛发展，企业中的数据类型早已不是单一的以文本为主的结构化数据，还充斥着广泛存在于社交网络、物联网、电子商务等之中的网络日志、音频、视频、图片、地理位置信息等多类型的数据。这些数据称为非结构化数据。据统计，企业中
85%的数据属于非结构化数据。但是企业现有的数据处理方法仅适用于结构化数据，无法将大量的非结构化数据与结构化数据进行统一、整合，就无法发掘数据中的价值。
(2)跨业务平台数据的关联
当今企业环境中存在着：不同业务模块的数据分布在不同的系统平台，这些被割裂的数据在单一业务平台无法得到有效利用；不同业务模块的数据无法实现共享、关联；仅对关键业务的数据进行收集、整合和利用，非关键业务的数据被忽视等现状。企业中的数据由于业务模块的划分而被割裂开来．单一业务模块的数据价值远远小于所有业务模块数据关联起来进行分析运用，企业将如何实现跨业务平台数据的关联与整合将面临巨大的挑战。
(3)面向数据的实时分析
随着经济的飞速发展，企业所面临的市场行情也在瞬息万变，企业曾经惯用的事后处理机制已经不能应对，企业需要实时洞察业务运营状态，以便迅速应对不断变化的市场形势。
企业业务的运营状态将体现在海量数据的快速处理和有效进行
实时分析的基础上。但随着大数据的爆炸式增长，与企业相关的数据可能在无限量的不断增长，这些不断变化的数据，需要企业进行全面、实时的分析。
(4)数据驱动的战略决策
社交网络、移动互联网、企业信息化近几年迅猛发展，不断产生的海量数据将越来越影响企业从战术到战略制定的各个方面。麻省理工学院斯隆管理学院教授Erik Brynjolfsson表示，基于数据分析的决策实现的生产率增长，要比任何其他因素5%-6%。这种生产率增长能够决定大多数行业的胜负。
企业决策行为将基于数据和分析而做出，而非基于经验和直觉，这对于企业是一个巨大的挑战。
2、机器数据应用场景分析
机器数据是由机器产生的数据，也是大数据最原始的数据类型，包括了日志文件、各种历史记录、Web服务器日志等。它们会由网络交换机、企业应用系统、网络以及安全设备等产生。
庞大的数据资源使得各个领域开始了量化进程，无论而对物联网、电子商务、医疗，还是电信、金融领域，在大数据时代，满足机器数据存储、管理、检索、分析、可视化等应用需求，结合IT运维、系
统安全、搜索引擎、电子商务等特定应用的需求实现大数据环境下机器数据的存储、管理、检索和分析。
(1)IT运营管理
大数据时代，面对日益膨胀增长的数据与IT系统，如何提高IT 运维管理水平，降低IT运营的风险，保障业务正常、高效运行，已
经成为大家越来越关注的焦点。实现机器数据良好的IT运营管理，
包括：
统一管理：实现日志的统一收集、集中检索与分析，对各种设备、操作系统、应用的日志进行统一的实时监测与可视化分析：通过海量日志快速分析与检索系统，协助管理员快速发现、关注与定位事件；及时发现设备运行异常情况，并第一时间通过邮件或短信通知管理员，为排查故障争取时间。
关联分析：分析故障发生前后，所有相关IT设备、系统、应用
的非正常运行状态，发现可疑的关联问题；对系统的非正常运行状态进行分析，挖掘日志内容之间的关联性，定期生成相应的关联分析图、聚类分析图等日志分析图谱：系统自带一些分析规则，将这些分析规则的分析结果推荐给用户，为用户的决策提供参考意见。
(2)IT系统安全和日志审计
政府机构经过多年信息化建设，为方便业务开展和更好的服务民众，在系统内搭建了多个应用系统，但各类数据库和信息资源在方便开展业务的同时，数据信息的安全、违规操作、异常访问等问题日益突出，个别事件还在社会上产生较大的负面影响。
实现机器数据的IT系统安全，包括：
基于敏感信息的用户行为检测：基于关键字的敏感信息定义：预先定义一组敏感信息关键字，系统对日志的用户访问行为进行扫描和检测，如果发现某个用户查询了系统预先定义的关键字，则认为该用户访问了敏感信息：基于工作角色与数据资源匹配的敏感信息定义：对系统内的用户进行工作角色定义，每个角色授予一定的数据资源访问权限。如果发现某个用户访问的数据资源超出了其工作角色限定的范围，访问的信息与工作范围不匹配，则可认为是访问敏感信息。
用户异常访问行为自动检测：通过对用户异常访问行为的检测，识别非法访问行为。监测登录时间异常：例如发现非工作时间访问，或长期不活跃，某段时间突然活跃访问敏感信息：监测登录地点异常：例如发现非习惯工作地点的异常伸地址访问：监测访问行为异常：短时间内大数据量访问，类似下载行为或机器爬虫访问行为：持续访问敏感信息：短时间、持续访问敏感信息。
(3)用户行为分析
机器数据应用之——基于用户行为分析的业务创新，用户分析包括了用户来源统计、访问量统计、访问轨迹分析、网站用户流失原因分析等。大数据的预测能力正在被探索，机器数据的用户行为分析让精细衡量成为可能。
用户来源统计：包括用户的IP、来源地区、来路域名和页面；访客操作系统、游览器等信息；Robots/Spiders的统计：对不同文件类型的统计信息。
访问量统计：包括访问量/访问次数/页面浏览量/点击数/数据流量等：用户在不同时段的访问量情况，精确到每月、每日、每小时的数据；用户在网站的停留时间、跳出率、回访者、新访问者、回访次数、回访相隔天数；注册用户和非注册用户，分析两者之间的浏览习惯。
访问轨迹分析：分析用户的访问路径，发现最常访问的路径，进行网站路径优化。
网站用户流失原因分析：找到系统里最近一批非活跃用户(先前活跃，但某个时间点后较长时间不访问本系统)：对该组用户的最近访问轨迹进行关联规则挖掘，挖掘访问规律；根据访问规律分析流失原因：某个页面或功能的不可用或不友好。
以上的用户分析，可以应用在各个领域，例如可以实现搜索引擎优化、文档推荐应用、社交网络的文档推荐与人物推荐、电子商务推荐引擎的相关工作、招聘网站的推荐引擎、其他用户行为分析等。
3、社会化数据驱动市场调研和营销变革
