大数据时代
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
大数据
随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。著云台的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
“大数据”在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量。
大数据到底有多大？一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD；发出的邮件有2940亿封之多（相当于美国两年的纸质信件数量）；发出的社区帖子达200万个（相当于《时代》杂志770年的文字量）；卖出的手机为37.8万台，高于全球每天出生的婴儿数量37.1万……
截止到2012年，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB （1024PB=1EB）乃至ZB(1024EB=1ZB)级别。国际数据公司（IDC）的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。IBM 的研究称，整个人类文明所获得的全部数据中，有90%是过去两年内产生的。而到了2020年，全世界所产生的数据规模将达到今天的44倍。
数据价值
一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万…… 这些庞大数字，意味着什么？
它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。
事实上，当你仍然在把微博等社交平台当作抒情或者发议论的工具时，华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”，先人一步用其预判市场走势，而且取得了不俗的收益。
现在就让我们一起来看看——他们是怎么做的。
这些数据都能干啥。具体有六大价值：
1、华尔街根据民众情绪抛售股票；
2、对冲基金依据购物网站的顾客评论，分析企业产品销售状况；
3、银行根据求职网站的岗位数量，推断就业率；
4、投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹；
5、美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播状况；
6、美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好。数据转化
案例 - 你开心他就买，你焦虑他就抛
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一，就是利用电脑程序分析全球3.4亿微博账户的留言，进而判断民众情绪，再以“1”到“50”进行打分。根据打分结果，霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单：如果所有人似乎都高兴，那就买入；如果大家的焦虑情绪上升，那就抛售。
这一招收效显著——今年第一季度，霍廷的公司获得了7%的收益率。
可视化
大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都
成为了当前重要的研究课题。
“当时时变幻的、海量的数据出现在眼前，是怎样一幅壮观的景象？在后台注视着这一切，会不会接近上帝俯视人间星火的感觉？”
倒是有公司已经在大数据中有接近上帝俯视的感觉，美国洛杉矶就有企业宣称，他们将全球夜景的历史数据建立模型，在过滤掉波动之后，做出了投资房地产和消费的研究报告。
四个特征
数据量大（Volume）
第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。
类型繁多（Variety）
第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。
价值密度低（Value）
第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。
速度快时效高（Velocity）
第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。
既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。
提供依据
大数据是信息通信技术发展积累至今，按照自身技术发展逻辑，从提高生产效率向更高级智能阶段的自然生长。无处不在的信息感知和采集终端为我们采集了海量的数据，而以云计算为代表的计算技术的不断进步，为我们提供了强大的计算能力，这就围绕个人以及组织的行为构建起了一个与物质世界相平行的数字世界。
大数据虽然孕育于信息通信技术的日渐普遍和成熟，但它对社会经济生活产生的影响绝不限于技术层面，更本质上，它是为我们看待世界提供了一种全新的方法，即决策行为将日益基于数据分析做出，而不是像过去更多凭借经验和直觉做出。
事实上，大数据的影响并不仅仅限于信息通信产业，而是正在“吞噬”和重构很多传统行业，广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。而在零售业中，数据分析的技术与手段更是得到广泛的应用，传统企业如沃尔玛通过数据挖掘重塑并优化供应链，新崛起的电商如卓越亚马逊、淘宝等则通过对海量数据的掌握和分析，为用户提供更加专业化和个性化的服务。
最让人吃惊的例子是，社交媒体监测平台DataSift监测了Facebook（脸谱）IPO当天Twitter上的情感倾向与Facebook股价波动的关联。在Facebook开盘前Twitter上的情感逐渐转向负面，25分钟之后Facebook的股价便开始下跌。而当Twitter上的情感转向正面时，Facebook股价在8分钟之后也开始了回弹。最终当股市接近收盘、Twitter上的情感转向负面时，10分钟后Facebook的股价又开始下跌。最终的结论是：Twitter上每一次情感倾向的转向都会影响Facebook股价的波动。
这仅仅只是基于社交网络产生的大数据“预见未来”的众多案例之一，此外还有谷歌通过网民搜索行为预测流感爆发等例子。不仅在商业方面，大数据在社会建设方面的作为同样令人惊叹，智能电网、智慧交通、智慧医疗、智慧环保、智慧城市等的蓬勃兴起，都与大数据技术与应用的发展息息相关。
“大数据”可能带来的巨大价值正渐渐被人们认可，它通过技术的创新与发展，以及数据的全面感知、收集、分析、共享，为人们提供了一种全新的看待世界的方法。更多地基于事实与数据做出决策，这样的思维方式，可以预见，将推动一些习惯于靠“差不多”运行的社会发生巨大变革。
对于大数据的认识和理解 这学期选修了网络工程这门课程，当时是抱着扫盲的态度选的这门课程，给自己定的目标不高，只需要对一些基础的概念和网络结构有些认识就可以，以免 以后在人前谈论的时候不至丁成为IT文盲，被一些专业性的技术人员所吓倒。事实证明，态度决定一切，由丁自己刚开始设定的目标就比较低，所以注定能够上升到的水平■也就不局0 经过这几周的学习，对计算机网络的基础知识和大致结构有了一个粗浅的认识。由丁学生本身这方面的基础不扎实，知识结构在这方面比较薄弱，所以不能在技术方面进行深入的研究，只能对一些理论性的知识做一些了解和认识，建立 起大概的知识框架。在学习过程中，魏忠老师所提及的知识中有一点印象最为深刻，关丁大数据Big Data方面的提及引起了我很大的兴趣，越是自己私下里做了一些阅读和查询（主要是维克托迈尔-舍恩伯格的《大数据时代》和网络上查看的一些资料）。最后提交的这篇课程总结就着重报告一下自己在阅读了他人关丁大数据的一些理论后自身的认识。 在这之前，我发现身边很多人都提起过大数据，其中包括老师和同学。可是对丁这些热门的新技术、新趋势人们往往趋之若鸯却乂很难说的透彻，如果你问他大数据和你有什么关系？估计很少同学能说出一二三来。究其原因，一是因为 大家对新技术有着相同的原始渴求，至少知其然在聊天时不会显得很无知”，因为现在人们普遍都有以一种信息焦虑感，别人知道的东西我不知道，就会感到焦虑，无论这些信息对你有没有用；二是在工作和生活环境中真正能参与实践大数据的案例实在太少了，所以大家没有必要花时间去知其所以然。当然我也一样，虽然我希望能有些不一样，但是自己实在欠缺IT这方面的知识，所以也只能查 阅一些资料，翻阅了最新的专业书籍，在自己局限的认识下把这些些零散的资料碎片或不同理解论述综合起来做一个类似丁文献综述的报告，其实我很真诚的希 望进入事物探寻本质。下面就从理论、技术、实践这三个层面写一下大数据的认识大数据的一些相关理论： 最早提出大数据时代到来的是麦肯锡：数据，已经渗透到当今每一个行业 和业务职能领域，成为重要的生产因素。人们对丁海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” 业界（IBM最早定义）将大数据的特征归纳为4个“V（量Volume,多样Variety,价值Value,速Velocity）,或者说特点有四个层面：第一，数据体量巨大。大数据的起始计量单位至少是P （1000个T＞、E （100万个T）或Z （10亿个第二，数据类型繁多。比如，网络日志、视频、图片、地理位置信息等等。第三，价值密度低，商业价值高。第四，处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。 很早就流传着一句话：三分技术，七分数据，得数据者得天下。先不论这句话是谁说得，但是这句话的正确性已经不用去论证了。维克托迈尔-舍恩伯格在《大数据时代》一书中举了很多例证，都是为了说明一个道理：在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中，作者提及最多的
大数据时代的Excel统计与分析 第1章大数据分析概述 1.1 大数据概述 1.1.1 什么是大数据 1.1.2 数据、信息与认知 1.1.3 数据管理与数据库 1.1.4 数据仓库 1.1.5 数据挖掘的内涵和基本特征 1.2 制造行业需要分析哪些数据？ 1.2.1 产品的良率监控 1.2.2 产品的BOM设计 1.2.3 市场数据监控 1.2.4 财务数据 1.2.5 产品生产数据 1.2.6 设备预防性维护数据 1.2.7 产品需求数据 1.2.8 其他日常数据等 第2章数据挖掘流程 2.1 数据挖掘流程概述 2.1.1 问题识别 2.1.2 数据理解 2.1.3 数据准备 2.1.4 建立模型 2.1.5 模型评价 2.1.6 部署应用 第3章大数据的Excel统计分析 3.1 研究程序与抽样 3.2 频率分布 3.2.1 传统的建表方式 3.2.2 离散变量—单选题频率布 3.2.3 如何用Word编辑频率分布表 3.2.4 绘制频率分布统计图表 3.2.5 离散变量—复选题频率分布 3.2.6 利用RANK（）函数处理 3.3 集中趋势 3.3.1 平均值\平均值的优点 3.3.2中位数\ 众数\ 内部平均值\ 最大值\最小值 3.3.3 第几最大值第几最小值
3.3.4 描述统计 3.4 离散程度 3.5 假设检验 3.6 单因子方差分析 3.7 相关分析 3.8 回归分析 3.9 聚类分析 3.10预测分析 第4章大数据的图表分析案例 前言：常见图表分析的三大错误 4.1 用实例说明九大类型图表：饼图、柱状图、条形图、折线图、散点图、雷达图、气泡图、面积图、圆环图的应用场合 4.2 几种专业的图表分析法 4.3九大类型图表的生成实例演练 4.4介绍几种专业的图表分析工具，您需要展示与众不同的专业度 -利用双曲线组合图表显示预计销量和实际销量对比 -利用柱形层叠图显示计划完成度 -利用双侧比较图显示市场调查结果 -利用复合饼图深入分析主要销售组成 -使用断层图分析企业数据 第5章数据分析应用实践 5.1 合理的数据呈现与EXCEL/PPT图表制作 图表制作的关键要素 合适的图表展示合适的数据 正确表达需要的主题 图表与文字的协调 图表的结论 5.2科学的数据分析结果解读 注意因果关系 不要以偏概全 考虑环境影响 兼顾定性研究 第6章数据分析报告与汇报 6.1如何撰写一份优秀的数据分析报告 6.2现场实操演练：分析报告撰写 6.3 汇报的技巧 第7章商业预测技术 预测是企业重要的决策依据，企业通过预测技术可以估计下一季度、年度的市场规模、市场占有率、销售量等。 1. 预测责任者与支持者 2. 预测的组织流程
对大数据的认识 很多时候，我们潜移默化的进行着某种行为或按照我们的经验来辨别某件事物，那些微不足道的东西构建了我们的生活和生命，大数据，是将我们及我们所在世界的人和物的习性和经验进行数字化整合，从而指导我们更加便捷地生活、生产。 社会文明的进步在于经验的传承，在以往传承的过程中会因为时间、空间的因素导致许多优秀的经验流失，那么，大数据时代来了，大数据可以将物种起源的过程记录下来并总结出来，然后形成一个甚至比一加一等于二还要简单的公式，然后大家通过这个公式谁都知道接下来会发生什么。 以前我们要了解市场，可能会去做市场调查，然后进行数据整合，接着数据分析，最后得出指导性意见。现在或许我们只需要发个帖，然后就有一大堆指导性意见可供参考，这就是数据整合的成果，这就是大数据的力量：大量、高速、多样、价值、真实性。一个人的力量终究有限，一群人的力量就蔚为可观了，而大数据是以整个社会的力量来做事。善于利用大数据，就相当于随手握着一根杠杆，即使不能撬动地球也能顶起自己的“帽子”。 大数据对于企业的应用例子已不胜枚举，在建筑行业里，上海已率先使用IBM，而且规定超过2万平的建筑必须使用IBM；在电商行业里，各大网站后台对于每件商品都有浏览量、销售量甚至评价统计；在金融行业里，更要实时掌握社会平均利润率以控制各项利率；在财会行业里，我们要掌握实时数据变化来更好地做出决断。 对于目前的我们来讲，建立企业大数据部门是一项挑战，挑战我们的以下几个方面：一、我们要通过大数据达到什么样的目的；二、如何收集数据；三、如何分析数据；四、数据成果的使用范围等。这是对我们的考验，更是我们的机遇，做成并维护好大数据系统，将令我们受益终身。 这是一次超越时空的伟大变革，这是一次破茧而出的奋发新生。这是社会发展的必然结果，也必然因此而改变世界。
2013．5 一、问题的提出 大数据（ｂｉｇｄａｔａ）泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据。这里的“大”有两方面含义。一是数据量巨大。指在科学技术、计算机仿真、互联网应用、电子商务等诸多应用领域产生的海量数据集。二是以数据为“大”的价值论。即大数据之 “大”更多地反映在其重要性上，而不完全指数量上的庞大。因为可以从这些数据中挖掘出有价值的信息，目前大数据被世界经济论坛的相关报告认定为其价值堪比石油的新财富。随着互联网和移动互联网的发展，无处不在的信息感知和采集终端，将行政管理、生产经营、商务活动等众多领域源源不断产生的海量即时电子化数据，通过“云计算”技术构建了一个与物质世界相平行的数字世界，所以很多专家认为人类已经跨入了大数据时代。作为数据生产的权威机关，这样一个时代的到来给统计调查工作带来了什么样的挑战与启示？统计调查部门和统计调查工作者应该怎样应对才能满足时代提出的需求？对此，笔者拟结合多年基层工作经历进行初步探讨，意在抛砖引玉，以期更多的同仁共同关注、思考大数据时代对统计工作带来的变化和影响。 二、大数据时代的来临及意义 有资料显示，１９９８年全球网民平均每月使用流量是１ＭＢ，２００８年是１ＧＢ，２０１４年将是１０ＧＢ。全网流量累计达到１ＥＢ的时间在２００１年是一年，在２００４年是一个月，在２００７年是一周，而２０１３年仅需一天，即一天产生的信息量可刻满１．８８亿张ＤＶＤ光盘。淘宝网站单日数据产生量超过５０ＴＢ，存储量４０ＰＢ。百度公司每天要处理６０亿次搜索请求，几十ＰＢ数据。一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十ＰＢ。数据的规模越大，处理的难度也越大，但对其进行挖掘可能得到的价值更大，这就是大数据热的原因。根据中国互联网络信息中心统计，２０１２年底我国网民数为５．６４亿，手机网民为４．２亿。这些网民每天在网上将产生海量的数据，这些数据记载着他们的思想、行为乃至情感，蕴含着丰富的内涵和很多规律性信息，通过分析相关数据，可以了解大众需求、诉求和意见， 反映舆情民意。大数据的重要价值还在于对其有效的开发和使 用能对社会的发展起到巨大的推动作用。企业和政府的信息系统每天源源不断产生大量数据。根据全球第四大独立软件公司，美国赛门铁克公司的调研报告，全球企业的信息存储总量已达２．２ＺＢ，年增６７％。医院、学校和银行等也都会收集和存储大量信息。政府可以部署传感器等感知单元， 收集环境和社会管理所需的信息。２０１１年，英国《自然》杂志曾出版专刊指出，倘若能够有效地组织和使用大数据，人类将得到更多的机会发挥科学技术 对社会发展的巨大推动作用。 （备注：1024B=1KB 1024KB=1MB 1024MB=1GB 1024GB=1TB 1024TB=1PB 1024PB=1EB 1024EB=1ZB 1024ZB=1YB 1024YB=1BB ） 三、大数据时代统计工作面临的挑战 可以预见，大数据时代的到来，对统计调查部门生产出更高质量的统计产品提供了难得的机遇和更大的可能性，但与此同时，带来更多的则是挑战。这种挑战集中体现在随着大数据时代的到来，统计调查部门应该能够使用更少的投入生产出时效性更强、质量更高的产品。社会各界对统计调查部门新的服务需求和更高的工作要求也将随之形成。基于此，笔者认为在大数据背景下，统计调查工作正面临六大挑战。 一是统计工作方式的挑战。在大数据科技大浪潮的背景下，数字化的行政商业记录、网络在线文本、流媒体数据大大拓宽了统计机构收集数据信息的渠道，统计调查部门的业务工作方式也势必发生改变。在数据收集方面， 会更多的需要从互联网、物联网的数据中进行挖掘收集。如物联网的发展将使工业生产、运输物流、最终消费、服务等各种交易生成直接可用的数据。又如，现行的居民家庭日记帐是通过统一的报表和计量方式将调查对象的收入消费行为转化为可用的数据，在大数据时代将有可能实现通过对超市商场收银系统、ＥＴＣ电子收费系统、ＧＰＳ定位测量、银行转账、微信等数据进行挖掘从而收集到需要的数据，不再需要调查对象长期认真的配合。这种数据收集方式可以有效避免人为误差，篡改数据的可能性越来越小，数据质量将更有保 大数据时代统计调查工作的挑战与思考 季晓晶 摘要：大数据(bi g d ata )泛指伴随社会化数据出现的大量在线文本、图片、流媒体数据。因其数据量巨大又可以从中挖掘出有价值的信息， 目前被世界经济论坛的相关报告认定为其价值堪比石油的新财富。随着互联网和移动互联网的发展，无处不在的信息感知和采集终端,将行政管理、生产经营、商务活动等众多领域源源不断产生的海量即时电子化数据，通过“云计算”技术构建了一个与物质世界相平行的数字世界，所以很多专家认为人类已经跨入了大数据时代。作为数据生产的权威机关，这样一个时代的到来给统计调查工作带来了什么样的挑战与启示？ 统计调查部门和统计调查工作者应该怎样应对才能满足时代提出的需求？对此，笔者结合多年基层工作经历进行了初步探讨。 关键词：大数据；统计调查工作；思考 问题研究 １７
浅谈大数据认识 —王小丽 从入学的第一天就一直在好奇大数据[1]是什么？是新兴的技术？还是跟风的乌托邦？ 最开始我只是浅层次认为大数据就是很大的数据，只要满足：数据量大、速度快、数据多样性、数据密度低等特征的数据[2]。 在经过这一年的书本学习，老师讲解，参加各种大数据峰会、座谈交流，大数据论文调研，公司大数据部门的实习后，我发现大数据不只是一个单一的名词，它更是一种技术、应用、挖掘潜在价值趋势的表象或特征而已。 为了更全面地认识大数据，我认为应该从理论、技术、实际应用这三方面来学习。 一. 理论认识 理论是认识的必经途径，也是快速认识的基础。 1. 名人的见解： 最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”。其实也可以看出。大数据的诞生是信息技术发展的必然结果，是不可避免的。 IBM 最早将大数据的特征归纳为4个“V”（量V olume，多样Variety，价值Value，速Velocity）。但这并不能说明大数据的真实特征，它还应该包括：分析、存储、技术、复杂等特征。 维克托·迈尔-舍恩伯格在《大数据时代》[3]一书中坚持认为大数据的思维应转变：1-需要全部数据样本而不是抽样；2-关注效率而不是精确度；3-关注相关性而不是因果关系。 我很认同阿里巴巴的王坚也曾说过的一句话：“你千万不要想着拿数据去改进一个业务，这不是大数据。你一定是去做了一件以前做不了的事情。”因为大数据的正真价值在于创造。
2. 大数据的价值： 大数据的核心价值就是充分地挖掘出有用的信息，通过这些信息可以获取更大的利润，实现数据增值[4]。因此，得数据者得天下这句话是很有道理的。譬如，春节期间在智能交通实验室做的油耗模型建立的项目中，如果没有数据，我们能从数据中发现汽车的速度、机动车比功率和油耗之间存在着某种微妙的关系，进一步说，没有发现这层关系，我们又怎么对车辆的耗油建立预估模型。如果没有模型，又怎么把这项发现加以推广应用，创造价值。 因此，未来在大数据领域最有价值的两种事物：：1-拥有大数据思维的人，这种人可以将大数据的潜在价值转化为实际利益；2-还未有被大数据触及过的业务领域。这些是还未被挖掘的油井，金矿，是所谓的蓝海[5]。 3. 大数据当下的应用 ●大数据可以帮助智慧城市的建设[6]。 ●帮助电商公司向用户推荐商品和服务，提高公司受益 ●在社交网络上更精准的推荐好友，用户所需信息。 ●使医疗行业更加便捷、智能 虽然这些应用会提高用户的满意度和生活的价值。但是，数据是把双刃剑， 有利有弊。在数据共享的同时也无形中也泄露了个人的隐私，容易遭受攻击。因此，数据安全问题也是大数据面临的一大难题[7]。 二. 大数据技术 可以说，大数据之所以如此快速发展，源于技术的支持。 具体有什么技术和大数据密切相关？毫无置疑，就是我们经常说的云计算。在云计算中分布式处理技术，海量数据的存储和管理技术，NoSQL、实时流数据处理、智能分析技术等都极大支持了大数据，也促使了它的发展。但是云计算和大数据也存在区别：云计算改变了大数据，而大数据改变了业务层，两者的目标受众不同。
大数据时代对统计学的影响分析 大数据和统计学两者在本质上是相互联系、相互促进，没有数据也不可能完成统计，所以二者缺一不可。在大数据时代，统计学必须与时俱进，跟上时代发展的脚步，勇敢地接受大数据带来的的挑战和变革，才会走得更长远。而大数据也要珍惜统计学，两者是无法离开的，只有在共同学习进步下，才能够实现双赢，成为主宰。 关键词：大数据时代；统计学；影响分析 引言 对于大数据(Big data)，可以理解为新模式中具备决策性、洞察力、发现力的一门技术。它主要概括数据的自然增长力和多样化的信息资产。 统计学是大数据里面的一门重要的学科。因为它和大数据有着千丝万缕的关系，所以它被人们广泛使用和学习。它是通过整理分析得出来的科学的数据。具有精准性、客观性即概括性。完成统计学的方法有很多种，如调查法、立案法、实验法等主要广泛应用于社会、科学等方面。 一、大数据和统计学的关系 (一)两者的关系 在当今信息时代，用数字代表的信息越来越多，科技迅速发展，互联网时代高速运转，在许多公司用来统计数据的时候，都用的电子表格，进行整理分析。在把它们汇总起来，就成了统计。数据是统计的本质，统计是数据的概括及意义。数据就像零零碎碎的字母，统计就是英语单词，通过整理分析，把字母拼成一个具有意义的单词，这就是数据和统计的意义。只有相互依存，你中有我我中有你。 （二）大数据和统计学的区别 信息功能不同。大数据的意义是某种事物的代表，有些东西要是用它原本的名称代替可能不太放便，这样一个简便的代号即简便又容易记忆。在工作中，工作人员根据超市销售的数据进行整理分析，在汇总起来就是统计，最终他们看得都是统计整理得出的数，分析的也是统计后的数据。因此，统计学是用样本单位来分析和推断数据总体的特征。由数据控制，我们只能根据获得的数据来推断总体数量。在信息时代，越来越多的东西可以用数据表示，几乎全部的信息资料都
大数据认识 班级：B200216电商本科2 姓名：陈家玮学号：20021624 一 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。 层面 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。 第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。 第三层面是实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。 价值 1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销 2) 做小而美模式的中小微企业可以利用大数据做服务转型 3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值 趋势 趋势一：数据的资源化 何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。 趋势二：与云计算的深度结合 大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。
也谈大数据（一）记录中的世界 2015年9月24日孙波 今天去听了个讲座，关于大数据和云计算，主讲老师主要围绕大数据的一些基础和应用示例以及数据安全方面，有一点收获，有一点想法，很多老师没有提到的东西，还有些自己对大数据理解已经沉淀很久了，特此写下来。主要是关于大数据的认识。 一、大数据的概念 讲座上，老师讲的大数据概念，几乎和百度百科上的一样：大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。然而这样的“大数据”对我们又有什么价值呢？我觉得，我们所提到的大数据，必须是以能从中挖掘出一定价值的，能指导我们现实生活作为前提条件的。 我理解的大数据有两个层面： 1、广义的大数据概念。 广义的大数据，就是“人类通过信息化手段将现实世界记录为数据的集合”。或者说，其本质是在人类世界目前的所有信息化系统下，产生的数据集合，这些数据汇集成一个映射现实世界的虚拟信息世界。这个虚拟信息世界的所有数据，即广义大数据，也就是说，广义的大数据有且只有一个。 2、狭义的大数据概念 狭义的大数据概念，是指围绕某一对象，以及某一时间范围进行考察，该对象在该段时间内通过各种信息化途径产生的数据的集合，称之为“大数据”。这里引入“对象”的概念，是建立在我前面提出的“大数据必须是有价值的”这一基础上的，要让大数据产生价值，就要有目的性的去挖掘、分析、统计，并为某些对象提供服务，就好像肉对狗有价值，草对羊有价值，考察对象至关重要。 二、三个世界 为了进一步阐述我的大数据观点，这里我提出“三个世界”的观点，所谓三个世界，是指“客观世界”、“记录世界”、“认知世界” 1、客观世界 “客观世界”指的是唯物主义理论中的世界，它不以人类的认知为界限，不为人类的意识所改变。是一个客观现实，不管人类是否探索到，或者是否了解，是否理解。 2、记录世界 “记录世界”可以说是数字化的“客观世界”，是人类在生产、生活过程中对“客观世界”的发现和有意或者无意的信息记录。一定程度上是对“客观世界”的信息化映射。 3、认知世界 “认知世界”是指人类对客观世界的认知，从而产生了一个在人类文明中的“世界”，
龙源期刊网 https://www.doczj.com/doc/77181501.html, 大数据时代下统计方法研究 作者：孔社霞 来源：《财讯》2018年第03期 大数据统计方法研究企业管理 大数据时代下的统计发展 （1）我国传统的统计方法发展现状 全球经济活动呈现多元化、多样化和复杂化发展。传统的统计方法很难精确、全面获得在经济、信息资源全球化中占据主导地位所需要的各项统计数据信息。 在大数据时代下，数据的容量变得非常巨大，且种类多样，有价值的数据密度相对变低，需要处理数据的速度变快。而我国传统统计存在一些固有的缺陷，影响企业对经济市场的判断。首先，我国传统的统计方法与国际通行的指标体系不接轨，专业统计制度与核算统计制度之间的矛盾日益突出，使得我国统计制度与方法难以保障未来发展中的科学性。其次，现有的统计方法缺乏活力。伴随着信息数据的大量增加，我国统计人员习惯了统计抽样、线性回归分析等方法，但这些方法已经不适合大数据时代的要求。我国统计方法主要以描述为主，不能准确的分析出我国国民经济体系中的每个统计数据指标的关系，对有效信息的抓取也比较困难。最后，统计服务工作滞后，收集的数据质量普遍较低，致使分析出的结果很难对经济发展和人们的日常生活提供有力的保障。因此，我国传统的统计方法在大数据时代的潮流下，需要做出改变。 （2）大数据时代对统计方法的影响 大数据时代对统计方法的影响是多方面的，尤其是对经济统计的影响是非常深远的。首先，大数据时代的到来，改变了数据的收集方式。传统的数据收集方法是进行普查、问卷调查和抽样调查等。面对当今海量的数据形势，传统的数据收集方法已经无法满足客户对数据的收集速度和数量的要求。这就促使了数据的收集和处理方式的转变。使数据的处理模式能够适应当前的海量的数据形势。其次，数据的分析模式发生了改变。传统的数据在收集之后，进行随机的抽样分析。大数据时代的来临，抽样的分析模式已经无法适应时代对数据的准确性的要求。海量数据进行分析的系统模式逐渐形成了全数据的分析模式，使其准确性和时效性得到了很大的提高。最后，数据之间的因果关系淡化。传统的少量数据中存在着明显的因果关系，而大数据时代的到来，数据之间的因果关系淡化，需要用户在进行数据的分析时关注数据的相关的信息关系，从而实现数据的价值化。 统计方法改革的必要性 （1）统计方法的变革是政府工作的需要
对大数据的心得体会 早在XX年，人类制造的信息量有史以来第一次在理论上超过可用存储空间总量，近几年两者的剪刀差越来越大。XX年，全球数字规模首次达到了“ZB”级别。XX年，淘宝网每天在线商品数超过8亿件。XX年底，中国手机网民超过 6亿户。随着互联网、移动互联网、传感器、物联网、社交网站、云计算等的兴起，我们这个社会的几乎所有方面都已数字化，产生了大量新型、实时的数据。无疑，我们已身处在大数据的海洋。有两个重要的趋势使得目前的这个时代与之前有显著的差别：其一，社会生活的广泛数字化，其产生数据的规模、复杂性及速度都已远远超过此前的任何时代；其二，人类的数据分析技术和工艺使得各机构、组织和企业能够以从前无法达到的复杂度、速度和精准度从庞杂的数据中获得史无前例的洞察力和预见性。 大数据是技术进步的产物，而其中的关键是云技术的进步。在云技术中，虚拟化技术乃最基本、最核心的组成部份。计算虚拟化、存储虚拟化和网络虚拟化技术，使得大数据在数据存储、挖掘、分析和应用分享等方面不仅在技术上可行，在经济上也可接受。 在人类文明史上，人类一直执着探索我们处的世界以及人类自身，一直试图测量、计量这个世界以及人类自身，试图找到隐藏其中的深刻关联、运行规律及终极答案。大数据
以其人类史上从未有过的庞大容量、极大的复杂性、快速的生产及经济可得性，使人类第一次试图从总体而非样本，从混杂性而非精确性，从相关关系而非因果关系来测量、计量我们这个世界。人类的思维方式、行为方式及社会生活的诸多形态正在开始发生新的变化。或许是一场革命性、颠覆性的变化。从这个意义上讲，大数据不仅是一场技术运动，更是一次哲学创新。 1 大数据的概述 大数据的概念 大数据是指那些超过传统数据库系统处理能力的数据。它的数据规模和转输速度要求很高，或者其结构不适合原本的数据库系统。为了获取大数据中的价值，我们必须选择另一种方式来处理它。 数据中隐藏着有价值的模式和信息，在以往需要相当的时间和成本才能提取这些信息。如沃尔玛或谷歌这类领先企业都要付高昂的代价才能从大数据中挖掘信息。而当今的各种资源，如硬件、云架构和开源软件使得大数据的处理更为方便和廉价。即使是在车库中创业的公司也可以用较低的价格租用云服务时间了。 对于企业组织来讲，大数据的价值体现在两个方面：分析使用和二次开发。对大数据进行分析能揭示隐藏其中的信息，例如零售业中对门店销售、地理和社会信息的分析能提
认识大数据(一)
也谈大数据（一）记录中的世界 2015年9月24日孙波 今天去听了个讲座，关于大数据和云计算，主讲老师主要围绕大数据的一些基础和应用示例以及数据安全方面，有一点收获，有一点想法，很多老师没有提到的东西，还有些自己对大数据理解已经沉淀很久了，特此写下来。主要是关于大数据的认识。 一、大数据的概念 讲座上，老师讲的大数据概念，几乎和百度百科上的一样：大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。然而这样的“大数据”对我们又有什么价值呢？我觉得，我们所提到的大数据，必须是以能从中挖掘出一定价值的，能指导我们现实生活作为前提条件的。 我理解的大数据有两个层面：
为了进一步阐述我的大数据观点，这里我提出“三个世界”的观点，所谓三个世界，是指“客观世界”、“记录世界”、“认知世界” 1、客观世界 “客观世界”指的是唯物主义理论中的世界，它不以人类的认知为界限，不为人类的意识所改变。是一个客观现实，不管人类是否探索到，或者是否了解，是否理解。 2、记录世界 “记录世界”可以说是数字化的“客观世界”，是人类在生产、生活过程中对“客观世界”的发现和有意或者无意的信息记录。一定程度上是对“客观世界”的信息化映射。 3、认知世界 “认知世界”是指人类对客观世界的认知，从而产生了一个在人类文明中的“世界”，这个世界里包含了人类各个历史阶段各个层次的文明，从地心说到日心说，牛顿定律到相对论等等，也是指人类科学和社会意识形态中所理解的“世
界”。“认知世界”是人类试图去探索“客观世界”，去理解“客观世界”的成果。通常“认知世界”是一部分人类专注于对“记录世界”的分析研究和归纳总结后产生的。 为了更好的说明这三个世界，我举一个例子。 描述1：孙波生活在地球上，地球上经常有火山喷发。 描述2：孙波每次打喷嚏都会写进日记。地球上每次火山喷发也都有人类记录。 描述3：若干年后，通过这些记录，人们有一个惊人的发现：孙波每打100个喷嚏，就正好会有一座火山喷发，于是科学家推导出这个理论：每当孙波打喷嚏的次数能被100整除，就会发生火山喷发。从此，每当孙波打90个喷嚏的时候，火山周围的村民就会搬迁或者躲到地下。 上面三个描述，描述1就是客观世界，描述2就是记录世界，描述3就是认知世界。虽然例
浅谈对大数据的看法 大数据与大脑有相关性。大数据在日常生活中已经开始应用广泛，它的本质不是传统的数据统计带来的简单的因果关系，而是数据的相关关系。在相关关系分析法基础上的预测才是大数据的核心。这让人自然会想到大脑的功能，每个人的思维就是一个大数据处理体系，如果有的人擅长去寻找不同事件之间发生的因果关系，那么这个叫做因果错觉，因果错觉容易发生在女性身上，因为女性因性格敏感等特点，会不自觉的将事情发生的结果，采用自己主观判断来归因，但事实上，事情之间的相关关系才是真正的关系。人的思维体系中，相关关系更加重要，相关关系代表调取大脑中的既往相关经验，来处理眼前的事情，更加客观。 大数据将开启一次重大的时代转型。信息广速度快，是很好，可是这不是最重要的，最重要的是不要让数据无处不在。大脑就像数据仓库，在数据充满我们的大脑、生活、生命中时，如果不去清理，不去遗忘，很容易一脑子浆糊，身心不舒畅。任何环境下我们都需要在纷繁的情况里简化问题。 这时自然会产生疑问：怎么删除？在这个信息碎片化的时代，如何做一个自我的搜索和过滤器，最好做成一个芯片，安放在我的手腕处皮肤下，这样，我就可以快速的找到我想看到的东西，忽视噪音，更加直接的去感受和了解自己。因为路径缩短，我便可以将时间放长，慢慢的去体会和感受。 当然芯片是个玩笑，出色的信息提取能力能够促进一个人的决策，一个人的一念一息及多年慢慢形成的价值观才是做选择的依据。你是不是有和我一样的经历，上千张照片中，删还是不删是个问题。怎么确定保留哪张，根据什么原则，每个人都有不同的原则，有的人认为，人最全的一定要留，有的人认为背景全的一定要留，有的人认为留表情最好的，有人认为留姿势最美的，甚至有的认为没对好焦距的朦胧的才是最有意境的。而我应该最清楚我怎么筛选，艺术家罗丹说，“雕像就在那块石料里，我只是将那些不要的东西去掉了。但是要知道雕像到底是什么，只有我自己才明白我自己到底要雕什么。”看书也是一样，书籍能使一个人瞥见这个世界的一角。是你自己选择去瞥见哪一角。 从心理学的角度，做出选择，同时意味着舍弃其他的可能性，这是一件异常困难的事情。造成这个困难的无非是“利”、“弊”两个字，但因利弊两个字背后掺杂了太多的心理变量，因此难倒了古往今来多少英雄好汉。为了有能力更好的进行抽象的思考和决策，挑战自我，不妨尝试一下删删删删的效果。 日本可能因为资源集中而紧缺，一直很倡导简生活，最近很流行的一位日本女士所著的一本书《断舍离》，将人身边的外物采用各种方式进行清理，代表对内心的一种扫除力，从而保持一种简约清爽的生活态度。还有很多其他方式对生活进行删减，看网上写过一个训练，基本要求为整天不语，不带手机，不带手表，
大数据时代的统计学 摘要：本文主要围绕“大数据”展开话题，结合“统计学”专业，论述了什么是大数据，什么是统计学，在对概念的了解基础上掌握大数据的发展历程以及统计学的发展历程。从中找出大数据与统计学的联系，然后进一步了解在大数据时代下统计学所处的地位以及大数据时代下统计学的变化和发展。在前人的研究基础上，我们进一步的发现问题并探讨问题，运用统计学方法去解决大数据时代下的一些问题，并提出自己的看法。 关键词：大数据；统计学；数据挖掘；数据分析 引言 本文写作的目的在于阐述大数据的定义、历史发展及趋势、运用领域等有关大数据的问题，以及阐述统计学的定义、发展趋势、运用领域等有关统计方面的问题。在此基础上探析大数据时代下的统计学发生的变化，带来的影响，以及所导致的统计学的发展趋势。 有关大数据的文献很多，涉及的领域也相当广泛，如互联网、天文学、大气科学、基因组学、大规模电子商务等等，都离不开计算机作为载体，它们都成为了大数据的来源。本文写作主要基于运用统计学知识去处理大数据所涉及问题，而运用统计方法分析问题所涉及的范围也相当广泛。对于大数据的到来，对于统计学来说是福音，因为它为大数据时代处理大数据问题带来了有效的解决方法。 本文所引用文献主要来自于2011年到2015年的国内外有关大数据的期刊文献，从不同角度描述了大数据对当今时代的影响，尤其是对本文的另一位主角--统计学的影响。而对于一个统计学专业出身的人，对于大数据时代下统计学的发展有喜有忧，大数据时代的到来在一定程度上促进了统计学的发展，同样的也带来了巨大的挑战。这些都需要我们一步步的解决并完善。 正文 1 大数据的来源与发展历程 “大数据”这个术语最早期的引用可追溯到apache org的开源项目Nutch。当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。随着谷歌MapReduce和Google File System （GFS）的发布，大数据不再仅用来描述大量的数据，还
对大数据的理解与看法 知行1501 15321050 王继锋首先我们要明白大数据是什么？大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V特点：V olume（大量）、Velocity （高速）、Variety（多样）、Value（价值）。对于“大数据”（Big data）研究机构给出了这样的定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 由此可见，大数据在现实生活中有着很大的用处，他能带动产业的发展，优化市场营销模式，创造出前所未有的价值，发现人们很难察觉到的机遇。那么，大数据有什么具体的应用呢？ 据显示，17%-18% 的妇女都曾因受孕困难寻求过医学帮助。
PayPal 联合创始人兼CTO Max Levchin 认为：“受孕困难说到底是一个信息问题。大多数妇女如果能更好地掌握自己排卵周期，更好地读懂自己身体发出的各种信号。她们怀孕的几率会大很多。”于是Levchin 想借助大数据和移动互联网来解决这个困扰夫妇的实际问题。 在近日的D11 大会上，Levchin 展示了其打造的助孕应用Glow。通过Glow，妇女们能够记录和跟踪与怀孕有关的各种重要身体信号，包括月经周期、晨温、上一次性行为时间、体重、心理压力，当然还有最重要的宫颈粘液稠度。具体Glow 是如何助孕的，女生们可以参考其官网的FAQ页面。这里就不多解释了，还是有些害羞哈。Glow 目前正在等待App Store 的审核。 怀孕是两个人的事，不孕自然男人也脱不了干系。Levchin 表示，未来还会推出记录和跟踪男性身体信号的应用。而目前，丈夫也是可以使用Glow 来记录自己对妻子的观察数据。 录入数据之后，Glow 内置的算法能够推算出可能的受孕时间。想造人的夫妻就可以赶紧利用这个时间，而不想要拖油瓶的夫妻则最好尽量避免这个时间。另外，在预测准确率方面，Levchin 表示，随着用户的增多，Glow 的大数据技术能够提高准确率。 不只想做受孕预测，Glow 还想做一款金融工具。Levchin 表示，美国很多夫妻当遇到不孕不育问题都会寻求医疗帮助，但这笔数目不小的费用却没有纳入美国的医保体系，很多夫妻表示压力山大。对此，Glow 推出了一个“不孕不育公积金”的概念。每对有受孕困难的
带您认识大数据 本刊编辑部 “大数据”的由来 2008年9月4日，英国《自然》杂志刊登了一个名为“Big Data”的专辑，首次提出大数据概念，该专辑对如何研究PB 级容量的大数据流，以及目前正在制订的、用以最为充分地利用海量数据的最新策略进行了探讨。2011、2012年达沃斯世界经济论坛将大数据作为专题讨论的主题之一，发布了《大数据、大影响：国际发展新的可能性》等系列报告。 2011年以来，中国成立了大数据委员会，研究大数据中的科学与工程问题，科技部《中国云科技发展“十二五”专项规划》和工信部《物联网“十二五”发展规划》等都把大数据技术作为一项重点予以支持。业界普遍认为，2013年是中国“大数据元年”。 “大数据”的涵 【定义】 继物联网、云计算之后，“大数据”已迅速成为大家争相传诵的热门科技概念。“大数据”作为信息社会发展的一个新生事物，目前尚处在逐渐被认识、被应用的初始阶段，无论是学术界还是IT行业对大数据的理解各有侧重，尚未形成一套完整的理论体系。全球最具权威的IT研究与顾问咨询公司Gartner将“大数据”定义为“需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力围的数据集合。《互联网周
刊》则认为，“大数据是通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力”。国家信息中心有关专家将“大数据”广义地界定为，“我国现代信息化进程中产生的和可被利用的海量数据集合，是当代信息社会的数据资源总和，是信息时代的全数据，既包括互联网数据，也包括政府数据和行业数据。” 【属性】 随着大数据的发展，大数据的涵已不仅仅局限于技术维度，而是在演变过程中不断扩展，形成了一个语义更加丰富、维度更加多元的综合性的概念。 大数据是一类海量信息的数据集，是一项对海量数据进行快速处理并获取有价值信息的技术，更是一种新的认知世界和改造世界的思维方式和能力。大数据开启了一个以数据为基本元素的、以数据为战略资产的时代，在大数据时代掌握了数据就意味着拥有了核心竞争力。大数据时代让社会朝着更加个性化、化、自由化、开放化的方向发展。 1．“4V”特征 大数据在诞生之初仅仅是一个IT 行业的技术术语，业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的容特征。 一是数据体量巨大(Volume)。国际数据公司(IDC)的研究结果表明，截至2012年，人类生产的所有印刷材料的数据量是200PB。IBM研究称,整个人类文明所获得的全部数据中,有90%是过去两年产生的。而到了2020年,全世界所产生的数据规模将达到今天的44倍。当前，典型个人计算机硬
魏强：大数据时代下的统计行业新思维 发布时间：2013.11.19 09:06 来源：赛迪网作者：烨岚 【赛迪网讯】11月19日消息，统计行业是与国家发展和居民生活情况等息息相关的行业，统计的基本任务是对国民经济和社会发展情况进行统计调查、统计分析，提供统计信息和咨询意见，实现统计监督，为各级政府部门的决策提供依据。随着新一代信息技术的不断发展，统计信息化水平取得快速发展，也赋予了“统计现代化”更多内涵。尤其是大数据技术理念的推广和普及，给多年来与数据打交道的统计行业带来了更加深刻的变革。 统计行业的“四大工程” 国家统计局在《“十二五”时期统计发展和改革规划纲要》中明确提出，把建设以企业一套表为核心的四大工程作为推动“十二五”统计建设与发展的重要抓手，是当前统计系统的“第一号任务”。所谓四大工程建设：一是建设真实完整、及时更新的基本单位名录库；二是建立规范统一、方便企业填报的企业一套表制度；三是建设功能完善、统一兼容的数据采集处理软件系统；四是建设安全畅通、便捷高效的联网直报系统。 基本单位名录库是我国所有法人单位、产业活动单位（分支机构）基本信息的数据库，通过对每个企业进行编号形成名录库。企业一套表则是一种制度，将之前混乱无序的统计表格模型打乱，用元数据的技术重新构建一套表，表内的内容则用指标去描述。数据采集处理软件系统通过整合打破了信息孤岛，统一了软件平台和填报方法。联网直报系统统一了网络，改变了手工报数的原始方式。由此可见，四大工程是管理业务的大变革，是统计制度的革新，是基于信息化的现代化的统计方法，真正实现了用信息化带动业务模式的创新。 时至今日，企业一套表的建设任务已基本完成，那么接下来要做什么呢？统计信息化要如何规划未来的发展呢？带着这个问题，记者采访了常年与国家统计局进行深入合作的统计行业专家——同方物联网本部数据资源工程事业部副总经理魏强，听他讲述了大数据时代下的统计行业新思维。 同方物联网本部数据资源工程事业部副总经理魏强 大数据时代下的统计行业新思维 四大工程是统计制度和管理业务的大变革 同方参与了四大工程建设中的企业一套表和数据采集处理软件系统两大工程，魏强认为四大工程不仅仅是一个软件，而是一套非常先进的管理模式和管理理念，这套管理模式将给统计行业带来深刻变革，也给地方统计局带来了更多的机遇与挑战。对于地方统计局来说，一是对国家统计局，二是对地方，两个方向的工作都非常重要，而双方的需求则不尽相同。例如，国家统计局更加关注涉及国民经济的三上企业，而地方则更关心能带动当地发展的文化、旅游等产业，面对这些地方政府的个性化需求，地方统计局需要将四大工程这套先进的管理模
第31卷第1期2014年1月统计研究 Statistical Ｒesearch Vol．31，No.1Jan．2014 衡等传统计算机技术与现代网络技术融合起来，把多个计算实体整合成一个具有强大计算能力的系 统，并借助SaaS 、PaaS 、IaaS 、MSP 等商业模式把它分布到终端用户手中。云计算的核心理念就是不断提 高“云”处理能力来减少用户终端的处理负担，使用户终端简化成一个单纯的输入输出设备，并能按需 享受强大的“云”计算处理能力。可见，统计技术与云计算技术的融合是一种优势互补，只有这样统计 技术才能在大数据时代一展身手、有所作为，才能真 正把统计思想在数据分析中得到体现，实现统计分析研究的目的。 数据创造统计，流量创新分析。由于各个应用领域的不断变化，特别是数据来源与类型的不断变化，使得统计学还难以成为一门真正成熟的科学。因此，在数据分析的世界里，不断提高驾驭数据的能力是统计学发展的终身动力。 大数据时代对统计学的挑战 * 邱东 内容提要：本文首先探讨了面对大数据潮流应持有的科学态度，然后从大数据能否淹没整个世界、信息与噪声 能够泾渭分明吗、 统计学与数据科学究竟是什么关系、大数据潮流对统计学究竟产生了什么样的影响等四个方面论述了大数据对统计学的挑战。 关键词：大数据；信息；噪声；数据科学；统计学 中图分类号：C829.2 文献标识码：A 文章编号：1002－4565（2014）01－0016－07 The Challenge of Statistics in the Age of Big Data Qiu Dong Abstract ：This paper discusses the trend to big data which is due from scholars to scientific attitude ，and then discusses the challenges of big data from four aspects as following ：Can big data cover the whole world ？Can Information and noise be quite distinct from each other ？What ’s relationship between statistics and data sciences ？What kind of impact generated on the trend of big data ？ Key words ：Big Data ；Information ；Noise ；Statistics ；Data Sciences *本文为第十七次全国统计科学讨论会特邀论文。 一、除了机遇还有挑战 世界潮流，浩浩荡荡，不可阻挡，国人讲究识时务者为俊杰，信息时代，数据爆炸。大数据大势当 前，究竟采取什么样的态度才是真正的 “识时务”？大数据时代并不会自动生成，总是需要不断地提出和解决大数据发展所遇到的问题和矛盾，才会有切实的进步。事物发展的不同阶段有不同的“时 务”，需要不同的应对。2009年，大数据成为互联网信息技术行业的流行词汇。而早在1980年，著名未来学家A．托夫勒 出版《第三次浪潮》，其中已将大数据赞颂为“第三 次浪潮的华彩乐章”。此间30余年，能不能看作大数据发展的萌芽期？多数人对数据爆炸还懵懵懂 懂，世界需要赛博世界（Cyber world ）的开拓者，需要大数据潮流的预示者，需要导师，需要先声夺人。 一旦人们接受大数据汹涌而来的现实，就需要既讲机遇，也讲挑战。我们固然仍需要启蒙，需要科 普， 需要科学理论和方法论的“二传手”，但不需要跟风，不需要屏蔽了部分信息的“偏息图”，不需要抓住一点不及其余的“唯数据论”，不需要“应运而生”的投机者。我们更需要切实有学术增加值的数