智能公交卡大数据的发展与应用
［摘要］大数据是当今最热的话题之一，在城市规划及相关领域，一批城市规划、、地理、计算机等学科的研究者开展了一系列基于大数据的城市规划，形成了当下的一股热潮，并迅速对城市规划产生了冲击，引起规划行业的重视。在智慧城市、智能公共交通的大背景下，大量学者开始将公共交通大数据用于城市交通规划中。尽管基于大数据的各类城市研究初具规模，大半大数据在城市规划中的利用却仍很有限，本文重点分析智能公交卡大数据的运用现状及研究展望。
1．研究背景：
2015年11月，“十三五规划建议”中提出：推进交通运输低碳发展，实行公共交通优先，加强轨道交通建设。作为提高公共交通系统服务水平和运营效率从而将更多的留客吸引带公共交通系统中的一种重要途径，国内外的一些城市引入了智能公共交通系统（Advanced Public Transportation System ,APTS）。智能公共交通系统是智能交通系统的重要组成部分之一。
公交IC卡收费系统作为APTS中应用最广泛的子系统之一，每天在运行中产生大量的刷卡交易。以广州为例，广州城市公共交通电子收费系统涵盖公交、地铁、轮渡、出租车、路边停车收费，该系统从2001年6月开始运营，2004年12月，发卡量突破350万张，日交易量200万比。每刷一次设备就记录了一次数据，进而形成了庞大的数据库。
大数据是当今最热门的话题之一，也是一场革命。开放性数据运动和互联网使得大数据能够迅速对城市规划产生影响力，鉴于大数据潜在的巨大影响，很多国家将其作为战略资源，甚至提升为国家战略。在智慧城市和智能公共交通的大背景下，国内像北京、上海、广州等大城市均进行了基于智能公交大数据的城市交通系统分析、规划、优化等。目前，大量学者利用智能公交数据研究车辆OD、行人OD、公共交通客流量、公交路线网等，以缓解城市交通拥挤，解决城市交通问题。
2．智能公交卡大数据使用现状
公交乘客每使用一次IC卡刷卡乘车，收费系统就记录一条数据，通过全天的刷卡记录就可以获得一个使用公交IC卡乘客的公交系统全天出行信息。公交IC卡系统数据一般包括刷卡卡号、刷卡日期和时间、刷卡的公交路线和车辆编号（或刷卡设备编号）、消费金额等信息。随着公交IC卡收费系统在国际范围内的广泛应用，近年来美国麻省理工学院、英国威斯敏斯特大学、加拿大蒙特利尔理工学院及我国的东南大学、同济大学等机构，开始对公交IC卡数据的潜在用途进行研究。本节结合国内外研究现状，重点阐述数据挖掘应用的内容、基于公交IC卡大数据的分析方法的基本思路、技术特点、存在问题及目前国内研究进展。
2.1数据挖掘应用内容
整个交通活动的参与者，有出行用户、交通管理者和企业运营者，我们在建立预测性模型以优化现有公共交通的过程中就必须面向这三个群体来挖掘数据。
2.1.1．面向用户出行
a)人工智能分析模拟用户出行偏好，提供符合用户户型习惯的实时出行意见（个体
用户出行诱导）
b)为实现城市客流管控及导向性，提供各种用户出行诱导的综合便捷服务体系（人
群群体诱导）
2.1.2．面向交通管理者
a)以交通线网点>线>面的实时办法为理论基础，参考公共交通白皮书研究开发公共
交通一体化线网标准模型及实际模型（交通行业线网模拟建立）。
b)结合交通行业相关数据，研究开发公共交通行业综合线网拟合优化及诊断评价决
策支持系统（交通行业当前线网优化）。
c)通过一体化公交线网的GIS仿真模拟，通过假设数据输入，实现站点、线网规划
重置，变化相关影响模拟运算及假设分析（变化影响智能仿真模拟）。
2.1.3．面向企业运营者
a)面向营运的轨道、公交智能分析辅助决策支持（企业运营优化决策支持）。
b)通过实时运营数据、结合城市公交一体化线路网模型、对于城市突发事件的运营
指导提供快速响应的辅助决策支持系统（突发响应方案提供）。
2.2．基于公交IC卡大数据的分析方法
2.2.1．基于公交IC卡数据的分析方法的基本思路
公交IC卡收费系统记录了公交卡乘客的乘车信息。每位公交乘客，一天都有若干次出行。全天第一次刷卡的站点一定是该乘客全天第一次出行的起点，以后每一次刷卡，可能是下一站的起点。判断连续两次乘车为换乘关系，可以将换乘出行的2段或2段以上的行程连接起来，构成一次完整的出行。如果再判断出行乘客的下车站点，那么就可以得到每位乘客每次公交出行的起点和终点。通过对公交IC乘客的上车站点和下车站点进行确定，并判断出是否进行换乘，就可以得到乘客每一次出行的公交出行链。由此，可以重现出每一位公交IC卡乘客全天公交出行的时空路径。在此基础上，可以得到公交出行OD、出行时耗、乘距、换乘距离、换乘时间等信息。公交IC乘客上车站点的确定、是否换乘的判断和下车站点的确定是公交IC数据分析的三个关键问题。者三个关键问题的解决，除了公交IC数据之外，还需要公交系统的相关运营数据，图站点坐标、运行记录、公交运行GPS数据等。将公交IC卡数据及相关运营原始数据进行抽取、清洗后，建立数据仓库。再根据分析工作内容，提取相关数据集，既可以进行数据的查询、分析、挖掘等工作。
2.2.2．基于公交IC卡大数据的分析方法的技术特点
与传统的公交数据调查方式相比，在调查技术方面：公交卡数据有数据样本容量大、数据连续记录、数据采集费用低廉及数据处理可实现自动化等特点，为公交系统服务水平联系检测和调控提供了可能。
2.3.基于公交IC卡大数据的分析方法存在的问题
但是公交卡大数据分析也存在一定问题。首先，公交卡数据分析方式只有在出行用户以刷卡方式进行交通活动的比例或者概率比较大的情况下才具有较高的可参考性。其次，公交卡乘客总体上市城市常住人口，对于流动人口的出行特征分析仍需要传统的公交调查方法来完成。最后，公交卡数据还不能获取公交乘客的个人属性，因此不能对公交出行特征与乘客个人属性进行关联型分析。
2.4基于公交IC卡大数据的分析方法的研究进展
目前，国内对公交IC卡大数据的研究有，北规院龙瀛等人利用公交 IC卡数据所做的城市通勤研究、陈君等人所做的融合智能调度数据的公交IC卡乘客换乘点判断方法、公交IC卡数据分析技术研究、李方正等基于公交刷大数据分析的城市绿倒规划研究——以北京为例、北京交通发展研究中心基于IC卡数据的地铁运量推算方法研究等。
3智能公交卡大数据库研究的展望
矛明睿学者在大数据在城市规划中的应用中谈到，“尽管开放数据运动以及众包运动为城市研究者们提供了大量大数据，缓解了数据不足的矛盾，但在实际的规划编制任务与做研究是有差异的。研究者在选区数据范围、时间跨度、精确度、覆盖面上可以有较大的弹性，而规划编制任务的要求高得多。此外，对研究者而言，做研究开展得数据抓取得时间成本是可容忍得，而规划编制任务中数据的抓取、处理都需要达到工业化水平，其时间成本的宽度
非常低。”目前智能公交卡并没有像银行卡一样实施联名制，很多城市的票价也只有跟路线长度有关，再加上城市的公共交通具有很大的不确定性，所以要将现有研究完美地应用于智能交通系统，在进一步研究大数据,构建数学模型，设计自动调度、优化、决策智能平台时，也可以随城市发展增添新的元素和改良现有只能公交卡的性能，实现大数据时代下的智慧城市、智能交通。
参考文献
[1]高联雄. 智能公交系统数据挖掘研究与应用[D].北京邮电大学,2011.
[2]茅明睿. 大数据在城市规划中的应用:来自北京市城市规划设计研究院的思考与实践[J]. 国际城市规划,2014,06:51-57.
[3]周晶,张伦珂. 利用IC卡数据估计公交OD矩阵的模型及算法[J]. 系统工程理论与实践,2006,04:130-135.
[4]陈君,刘靓. 公交IC卡数据分析技术研究[A]. Intelligent Information Technology Application Research Association (IITA Association), Hong Kong、Shenzhen University, China.Proceedings of 2010 The 3rd International Conference on Power Electronics and Intelligent Transportation System(Volume 6)[C].Intelligent Information Technology Application Research Association (IITA Association), Hong Kong、Shenzhen University, China:,2010:4.
[5]陈君,杨东援. 融合智能调度数据的公交IC卡乘客换乘站点判断方法[J]. 长安大学学报(自然科学版),2013,04:92-98.
[6]孔海兰,谭北海,程航. 智能公交云服务系统的研究[J]. 无线互联科
技,2015,11:49-52.
[7]Milan Lovri?,TingLi,PeterVervest. Sustainable revenue management: A smart card enabled agent-based modeling approach[J]. Decision Support Systems,2012,:.
[8]Marie-Pier Pelletier,MartinTrépanier,CatherineMorency. Smart card data use in public transit: A literature review[J]. Transportation Research Part C,2010,194:.
[9]Olga Titova-Candel. Smart cards in transportation systems lead the way[J]. Card Technology Today,2008,202:.
大数据在智能交通中的应用 第1章绪论 1.1 论文的研究背景 随着我国经济的高速发展，百姓生活的步伐逐渐加速，人们生活水平的日益提高，交通拥堵现象及交通事故问题将愈加严峻。同时道路基础设施资源有限，而汽车的需求量却将随经济的发展继续增加，因此两者之间的矛盾将愈加尖锐，交通问题就愈加严重。而交通拥堵和交通事故将导致人员的伤亡，浪费人们大量的出行时间，致使车辆行驶速度降低，尾气排放加大，光污染、环境污染加剧，城市空气质量降低，不仅浪费了石油资源和人类的出行的等待时间，给人们的日常生活带来了不便，还降低了经济的增长速度；与此同时，还给人类带来了生离死别的伤害，危及了人类的健康，因而交通问题严重降低了人类的幸福指数。因此面对如此严峻的社会问题，急需我们及时去解决。因而各国相继对智能交通系统进行开发以便逐渐解决交通问题，并且建设力度逐渐加大。我国的智能交通相对于西方发达国家虽然发展较晚，近几年的发展也比较迅速，取得了些许相应的技术突破。然而还有很多危及人类幸福感的交通问题未曾解决，和发达国家之间现在依旧还有较大差距，形不很乐观。 交通是国民经济发展中发挥着关键性作用的产业，便捷的交通方式成为了国民经济快速发展的基础性条件。道路交通因其可以实现门到门直达交通、交通边际成本低、速度快等优越特点在城市间和城区间被广泛采用于交通客运和物流运输中，成为我国交通的主要方式之一。加快对交通基础设施的建设，将通信技术、计算机技术、电子通讯技术、大数据技术等先进技术广泛应用于交通系统中，提升道路基础设施建设水平，提高道路资源利用效率，降低交通危害对加快交通发展具有重要的意义。这是道路交通系统急需解决的重要问题。当前国际智能智能交通的发展方向中主要将物联网、云计算、大数据技术等广泛应用于智能交通热点领域的车路协同系统、车联网、公众出行便捷服务中，随着对先进技术研究的不断深入，可逐渐将大数据应用于智能交通中，通过大数据技术对大数据的加工、处理、分析研判，从而获取有价值的交通数据信息，通过将这些有价值的交通大数据信息应用到智能交通中从而满足各类交通主体对交通信息的需要，提高对交通基础设施资源的使用效率，减少环境污染及能源消耗，减轻甚至是解决交通危
大数据在金融行业的应用与发展展望 现如今，人们的生活中无不充斥着互联网的痕迹，越来越多的行为和事件被大数据记录又被大数据影响，金融行业因其安全性的重要更是与大数据技术息息相关。 金融业务对于数据应用的广泛性与质量要求 在互联网发展日新月异的时代背景下，人们的生活、工作、消费、活动的习惯与行为特点在被不断重塑，大量数据被留存记录，各行业对于数据的挖掘和使用有了适应时代发展的新特点，这在银行等金融机构的业务中尤为凸显。获客、信用风险控制、留存客户、触发客户消费是金融行业的几大痛点，而以集奥聚合(北京集奥聚合科技有限公司简称)为代表的大数据技术公司引领的大数据行业的发展正好满足了这些需求，有效克服了目前金融机构数据来源单一、覆盖率不足、数据挖掘程度不深等问题。 金融行业既涉及宏观国民经济的方方面面，又与微观社会主体的经济生活密切相关，中国是一个人口大国，也是社会活动多样性的代表性国家，金融机构为了在纷繁的条件下做出正确的商业判断越发需要依据海量的高质量数据进行分析，但这也与相关数据覆盖人群不足、信息孤岛尚未联通等社会大环境形成了相对矛盾。例如，在个人信用风险控制方面，过去金融机构主要依托从各金融机构上报的信贷类数据的集中管理者——人民银行征信中心调取相关数据对于个人
进行信用评价，但人民银行征信中心的数据并未对中国全部人口有实质性的广泛覆盖，甚至可以说只覆盖了偏少一部分有信贷、信用卡消费记录的人群，加之考虑到因互联网金融日益发展等因素而对金融产品需求愈发多样的人群，仅基于信贷类数据评价这些人群可能会误伤很多暂时还没有信贷纪录的中低收入人群，利用不同来源的“大数据”及相关技术(以下统称大数据)解决个人客户信用评价的全面性与客 观性问题的重要作用凸显出来。 有价值大数据汇聚具备的特点 有价值的大数据的汇聚具备以下特点，这也是金融业应用大数据时要考虑的关键： 一、数据的联通性。由于很多数据是基于不同渠道、场景和主键进行的汇聚，要把这些碎片化数据进行准确整合，需要有很强的ID MAPPING能力，数据的联通解决不同数据是否归属于同一主体的能力。问题举例，10条行为信息，究竟是10个不同主体产生的，还是1个人在10个不同渠道留下的，不同的判断会直接影响数据分析的结果。 二、数据的连续性。数据汇聚需要在“约定“的频率下持续不断、全面地进行才能产生集合价值。首先，数据连续性要求数据源本身具备稳定提供数据的能力、数据全面和质量可靠的能力。就完整和可靠而言，金融机构是公认的最完整和可靠的数据来源。就稳定性而言，
大数据的意义和发展趋势 一：大数据之于智能交通意义重大 智能交通建设和运营的过程中，从视频监控、卡口电警、路况信息、管控信息、营运信息、GPS定位信息、RFID识别信息等每天产生的数据量可以达到PB 级别，并且是指数级的增长。虽然绝大部分数据是“沉睡的数据”，但按照相关规定，需要对数据进行有期限或无期限的保存，这无疑给用户在存储成本上带来压力，而通过监控摄像机前端智能技术和大数据分析技术的应用，很好地解决了行业用户的此类问题，给用户带来经济效益，同时也可以将工作人员从纷繁复杂的监控画面中解放出来。 大数据之于智能交通的意义，可以解决跨越行政区域的限制，实现数据信息的共享，在信息集成优势和组合效率上，有助于建立综合性立体的交通信息体系;另外在车辆安全、交通资源配置以及利用大数据的快速性和可预测性能提升交通预测的水平都有极大的帮助。 第一，大数据的虚拟性可以解决跨越行政区域的限制。交通大数据的虚拟性，有利于其信息跨越区域管理，只要多方共同遵照相关的信息共享原则，就能在已有的行政区域下解决跨域管理问题。 第二，大数据具有信息集成优势和组合效率。大数据有助于建立综合性立体的交通信息体系，通过将不同范围、不同区域、不同领域的“数据仓库”加以综合，构建公共交通信息集成利用模式，发挥整体性交通功能，这样才能发现新价值，带来新机会。例如气象、交通、保险部门的数据结合起来，可高效率地研究交通领域防灾减灾；IC卡数据结合抽样调查，能更快捷、更精确测得城市交通流分布状况。 第三，大数据的智能性能较好的配置交通资源。通过对大数据的分析处理，可以辅助交通管理制定出较好的统筹与协调解决方案。一方面减少各个交通部门运营的人力和物力，另一方面可有些提升道理交通资源的合理利用。如根据大数据结果确定多模式地面公交网络高效配置和客流组织方案，多层次地面公交主干网络绿波通行控制以及交通信号自适应控制。 第四，大数据的快速性和可预测性能提升交通预测的水平。在对各个部门的数据进行准确提炼和构建合适的交通预测模型后，可以有效模拟交通未来运行状态，验证技术方案的可行性。而在实时交通预测领域，大数据的快速信息处理能力，对于车辆碰撞、车辆换道、驾驶员行为状态检测等实时预测也有非常高的可靠性。 第五，提高交通运行效率。大数据技术能促进提高交通运营效率、道路网的通行能力、设施效率和调控交通需求分析。交通的改善所涉及工程量较大，而大数据的大体积特性有助
大数据的发展应用前景介绍 越来越多的人投身于大数据行业，这几年，大数据的火爆也产生了很多疑问，大数据是不是过于被热捧了，产生的价值是不是与实际并不相符。无忧考网今天为大家来简单的描述下大数据的一个意义，也让参加大数据培训的同学有个很好的认识。 大数据与事务 因为许多数据流入企业，企业的大数据剖析人员搜集并剖析这些数据，从而为企业发展供给所需的洞察力。小数据事务范畴的这一新改动也意味着企业现在将寻找知道怎么处理当今许多信息流入中最为重要的问题的职业专家。 大数据带给企业运营方法的洞察力也使得之前的小数据事务发生了巨大的改动。当人们不得不人工监控公司的库存，发货地址以及怎么完结时，现在大数据的改动将使所有这些变得更有效率。主动软件能够完结核算作业，在出售方面供给更好的报答。 增加的潜力 人们现在也能够找到许多就业机会，就像现在大数据怎么改动竞赛环境一样。这种状况的一个比如是一位28岁的斯坦福大学教授研讨政治学和数学的状况。在他的一项研讨中，他能够创建一个算法，这个算法能够剖析博客文章，新闻文章和新闻稿。这样做的意图是为了更好地猜测政治观念将怎么改动。在推举剖析和猜测方面这个算法
有着巨大的潜力。现在标明有许多需求添补的空白，以取得更准确的成果。 大数据年代 现在，各个范畴的大数据爆破式增加。人们在网上的所有社交活动和行为都将对刻画社会风气带来影响，这是企业应该更多地了解大数据以及怎么供给协助的众多原因之一。现在，供货商，客户和货运方能够经过产品系列中的立异进行监控。企业有必要了解大数据对其环境的影响和优点，而这些数据曾经是小数据。 消费主义 “大数据”一词描绘了人们改动对世界运作方法的了解的方法。如果不满足消费者的需求，所有这些改动和立异将是不完整的。现在，它能够在从洗衣机到电表不同的消费产品中布置传感器。这些来自这些产品的数据将使制造商，政府和民间社会了解更多状况，他们将看到消费者怎么消费他们的产品，以及怎么改进，并发明更好的版别。 大数据现在变得更简单被消费者所了解。毫无疑问，大数据为企业和个人日子带来了许多增加的机遇。有了这些改动就有危险，但大数据的危险不应该超越供给的优点。职业专家和政府部门的作业就是管理好收益并抵消危险。这样做将保证人们能够从大数据的发展中受益。 科技的发展往往伴随着淘汰一批，产生一批，历史的车轮浩浩荡荡，碾压没有上车的，上车的自然享受历史前进的红利。
智能交通大数据及云应用平台解决方案 随着日益增长的交通“大数据”，给交通管理创新带来的新挑战，以及对交通管理工作提出的新要求，交通信息化建设必然步入云计算智慧应用阶段，利用云计算破解当前诸多交通瓶颈问题。 什么是交通大数据 交通概念很大，所涉及的范围很广，如城市道路交通指数、地铁运行数据、一卡通乘客刷卡数据、港口集装箱数据、机场航班数据、轨道交通运营数据、远洋及内河航道船舶数据、物流车辆及货物数据、公交车实时数据、出租车行车数据、空气质量状况、气象数据、道路事故数据、高架匝道运行数据、以及衍生的相关拥堵、事故、违法信息等都属于交通数据。我们通常所提的城市公安交通管理大数据是指在城市智能交通建设和运营的过程中，从视频监控、卡口电警、路况信息、管控信息、营运信息、GPS定位信息、RFID识别信息等每天产生的大量数据，并借助信息化手段将这些相互关联的数据整合到一起（比如车辆信息、地图信息、人员信息、违规违章记录信息等等），形成一个有价值数据链，从而知道城市交通信息化建设，为公安交通实战应用服务，为市民出行服务。 什么是云分析 云分析系统具备超高的计算性能，单机设备每天处理的信息量最大高达2000万张图片。云分析具备对卡口、电警以及部分监控设备拍摄的车辆图像信息的结构化智能分析功能，主要包括识别图像中车辆的品牌、型号、年款、车身颜色、类别、异常特征（如遮挡面部、遮挡号牌）、唯一性局部特征（如年检标志、车内饰物）等关键信息。 可对提交的图像中的车辆车牌颜色及车牌号进行二次识别，通过大数据进行，时间、地理、轨迹等的对比识别，以得出分析结果。 过去几年，智能交通系统建设取得了长足的进步与发展，针对道路交通违法、交通安全等，不断在不同的时间，不同的阶段建立了交通卡口、违法检测、道路智慧监控、交通事件监测等信息化系统，但这些信息化系统所采用的设备、平台均来自于不同的厂家，采用的标准，上下级不能很好的实现级联，与公安系统融合度不高，无法进行集中管理，资源共享，发挥统一的实战作用。
行业现状 当前，许多国家的政府和国际组织都认识到了大数据的重要作用，纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手，实施大数据战略，对大数据产业发展有着高度的热情。 美国政府将大数据视为强化美国竞争力的关键因素之一，把大数据研究和生产计划提高到国家战略层面。在美国的先进制药行业，药物开发领域的最新前沿技术是机器学习，即算法利用数据和经验教会自己辨别哪种化合物同哪个靶点相结合，并且发现对人眼来说不可见的模式。根据前期计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。 目前，欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。 英国在2017年议会期满前，开放有关交通运输、天气和健康方面的核心公共数据库，并在五年内投资1000万英镑建立世界上首个“开放数据研究所”；政府将与出版行业等共同尽早实现对得到公共资助产生的科研成果的免费访问，英国皇家学会也在考虑如何改进科研数据在研究团体及其他用户间的共享和披露；英国研究理事会将投资200万英镑建立一个公众可通过网络检索的“科研门户”。 法国政府为促进大数据领域的发展，将以培养新兴企业、软件制造商、工程师、信息系统设计师等为目标，开展一系列的投资计划。法国政府在其发布的《数字化路线图》中表示，将大力支持“大数据”在内的战略性高新技术，法国软件编辑联盟曾号召政府部门和私人企业共同合作，投入3亿欧元资金用于推动大数据领域的发展。法国生产振兴部部长ArnaudMontebourg、数字经济部副部长FleurPellerin和投资委员LouisGallois在第二届巴黎大数据大会结束后的第二天共同宣布了将投入1150万欧元用于支持7个未来投资项目。这足以证明法国政府对于大数据领域发展的重视。法国政府投资这些项目的目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展”。众所周知，法国在数学和统计学领域具有独一无二的优势。 日本为了提高信息通信领域的国际竞争力、培育新产业，同时应用信息通信技术应对抗灾救灾和核电站事故等社会性问题。2013年6月，安倍内阁正式公布了新IT战略——“创建最尖端IT国家宣言”。“宣言”全面阐述了2013～2020年期间以发展开放公共数据和大数据为核心的日本新IT国家战略，提出要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”。日本著名的矢野经济研究所预测，2020年度日本大数据市场规模有望超过1兆日元。 在重视发展科技的印度，大数据技术也已成为信息技术行业的“下一个大事件”，目前，不仅印度的小公司纷纷涉足大数据市场淘金，一些外包行业巨头也开始进军大数据市场，试图从中分得一杯羹。2016年，印度全国软件与服务企业协会预计，印度大数据行业规模在3年内将到12亿美元，是当前规模的6倍，同时还是全球大数据行业平均增长速度的两倍。印度毫无疑问是美国亦步亦趋的好学生。在数据开放方面，印度效仿美国政府的做法，制定了一个一站式政府数据门户网站https://www.doczj.com/doc/1911591800.html,.in，把政府收集的所有非涉密数据集中起来，包括全国的人口、经济和社会信息。 我国大数据行业仍处于快速发展期，未来市场规模将不断扩大 ?目前大数据企业所获融资数量不断上涨，二级市场表现优于大盘，我国大数据行业的市
大数据在智能交通中的应用与发展 发表时间：2018-11-02T15:18:46.880Z 来源：《防护工程》2018年第18期作者：王钢 [导读] 来有效的利用已有的大规模数据，并且挖掘其内在价值，为本行业创造更好地发展。其中交通领域是一个非常重要的领域，影响着人们的每日出行和时间效率。而大数据是智能交通的关键技术，可有效地分析和解决日常生活中的交通问题。对此，本文对大数据在智能交通中的应用与发展进行探究。 王钢 浙江浙大中控信息技术有限公司浙江杭州 310051 摘要：随着大数据和人工智能的不断发展和深入，各行各业都想通过大数据的方法，来有效的利用已有的大规模数据，并且挖掘其内在价值，为本行业创造更好地发展。其中交通领域是一个非常重要的领域，影响着人们的每日出行和时间效率。而大数据是智能交通的关键技术，可有效地分析和解决日常生活中的交通问题。对此，本文对大数据在智能交通中的应用与发展进行探究。 关键词：智能交通系统，大数据，发展方向 在交通行业当中的大数据应用，主要是针对在智能交通领域方面的大数据技术应用，当前具备的交通基础设施已经相对比较完善，通过使用大量的先进设备和技术，产生了海量的交通数据资源，通过深入的挖掘和分析这些海量的数据资源，能够有效促进交通行业的不断发展。 1 智能交通系统内涵分析 智能交通系统（Intelligent Traffic System，ITS），主要是指借助计算机技术和信息数据传输技术，能对交通运行过程进行科学化的管理和指挥，在管理机制建立过程中，要对人员因素、车辆因素、道路环境因素等进行全方位考量和判定。为了保证交通管理的高效性，将技术和管理体系融合在一起，确保交通管理系统的多元化发展。在智能交通系统建立和运行过程中，智能交通管理模块、智能信息管理模块、智能公共交通模块、车辆管理模块以及电子收费和应急管理模块是研究的重点。 2 大数据在智能交通中的应用 大数据技术能够优化智能交通系统结构体系及其架构。因此，对于 C/S 架构，一方面需要布设好局域网，精心配置数据库服务器，将监控装备设置在数据采集前部，完成自动监控作业之后，要将监控视频与图片信息传输至服务器内，最后对数据进行处理，并将其分别传输到分中心与省中心。另一方面，要综合使用大数据技术着重优化智能交通硬件结构，精心配置车道计算机、控制器、微波读写器、触发线圈、车辆检测器、抓拍摄像机、信号灯、费额显示器、声光报警器、字符叠加器和高速挡车器，这样有助于保持交通的畅通性。 2.1车辆检测技术 车辆检测技术大多被应用于 ETC 车道系统中，该系统通常在车道的入口与出口运用地感线圈来自动检测车辆。传统ETC车道系统通常会使用三线圈进行设置，一般情况下，第一个线圈是触发线圈，通过启动车道天线读写的方式来检测进入车道的车辆；第二个线圈是抓拍线圈，该线圈通过启动车辆识别系统来识别车牌和抓拍车辆图像；第三个线圈是落杆线圈，通常是在完成ETC交易之后自动回落栏杆。如今，ETC 车道系统在三线圈的基础上又增加了一个线圈，对系统进行了细致地优化。简而言之，当代智能化 ETC 车道系统由两个线圈识别车辆的队列信息，另外两个线圈则用以判断交易车辆。 2.2 图像抓拍识别技术 从智能交通管理的角度来讲，图像抓拍识别技术属于车牌识别系统的核心技术，车牌识别系统主要是利用数字图像处理模式来识别车辆与车牌，并全面采集数字视频与数字图像。通常，智能交通管理将车牌号作为识别车辆的重要标记，因此，可以说图像抓拍识别工作性质的关键影响因素是车牌号的重要性以及特殊性。只要有车辆途经 ETC 车道，ETC系统和车牌识别系统就会自动识别车牌，并精确抓拍车辆的视频与照片，然后将车辆的车牌信息和所有图片信息进行加工并输入，使之形成流水数据，然后根据数据信息来判断来往车辆是否存在违规行为。 2.3自动车辆识别技术 自动车辆识别技术能够准确识别途经车辆的大小、规模、车辆车型、重量、座位数、轴型和轮胎等，该技术属于自动车型识别系统的核心技术，其组成装备主要包括红外线扫描仪、轨道接触器、动态称重装置、电感环线圈和激光扫描器，这些精密装备仪器能够进一步促进交通管理智能化，将所有识别信息以数据形式输入 OBU 中。 3 大数据在智能交通发展中的前景 3.1加强对个人信息的保护 信息时代，不管是人们生活中的微不足道的事情，还是教育、卫生等重大决策，都会将相关信息留在信息系统中，如果整合这些信息，就能研究出一个人的生活轨迹，从而暴露个人隐私。交通大数据也涉及到隐私问题，比如车主的行车路径等，因此为了避免个人信息的泄漏，政府需要制定相关的法律法规，依法完善交通信息管理。 3.2改善交通数据收集的多样性 中国虽然人口基数庞大，汽车拥有量居世界前列，但在新信息收集方面还有欠缺。在交通信息数据收集上，除了选择传统的收集方法，比如调取交通部门存储的信息之外，还可以调动公众方面的力量，实现数据收集的多样性，并通过丰富数据资源来提高交通数据信息的自动化水平。 3.3提升交通运输系统的效能和交通服务的水平 交通部门可以通过网络资源配置和结构优化技术的无缝整合，来协同提高运输系统整体效率，实现工程布局合理化，明确交通信息流通和服务体系分工，真正做到相互配合，优势互补。进一步提升和开发高效便捷的公众出行所需的智能化服务技术，比如实时交通信息发布技术和公交运营智能化技术等。 3.4大力发展智能车路协同技术 智能车路协同技术将在一段时间引领智能交通的发展方向，这个领域的发展程度将决定我国智能交通系统整体的实力，是我们当前应
A:2015 年 8 月 31 日：《促进大数据发展行动纲要》B: 2015 年 12 月 29 日：《“互联网＋”行动的指导意见》C: 2017 年 7 月 8 日：《新一代人工智能发展规划》D: 2017年4月10日：《云计算发展三年行动计划（2017－ 2019 年）》E: 2015 年5 月 8 日：《中国制造2025》 2.【判断题】人工采集效率低、成本高、错误多。自动化采集 靠技术实现，效率高、采集的数据量大。对错 3.【多选题】数据资源向信息、知识、价值转换的流程可以概 括成 5 个环节：（）（）（）（）（）正确答案:[A,B,C,D] A:数据采集B:数据存储C: 数据处理D: 数据分析与挖掘E: 知识应用 4.【判断题】由于数据采集都是在多点进行的，数据存储也从 传统中央磁盘存储变成分布式云存储。云存储的优点是容量大、 费用低。对错
5.【判断题】数据是所表达的对象或事件的信息的载体，记录 了对象的属性特征。对错 6.【多选题】数据采集可以划分为（）和（）。 A: 人工采集B:自动化采集 7.【多选题】大数据有 3 个显著的特征： A:数据规模大B:数据变化快C:数据类型复杂 8.【多选题】大数据时代是（）（）（）（） 4 大技术领域齐 头并进发展的时代，也可称作“大智移云”时代。 A:大数据B:人工智能C: 移动互联网（或物联网） 云计算
9.【判断题】目前大数据存储的另一趋势是向数据中心集中， 以便于大数据的管理、集成和综合分析。对错 10.【多选题】大数据的产生是由于信息技术及应用的不断发 展和进步的几个阶段： A: 从信息系统应用的发展来看，80 年ERP系统用于企业管理，数据规模在MB；B: 90 年度信息技 术用于客户管理，即CRM 系统，数据规模达到GB 级；C: 2000 年互联网时代的Web技术使企业数据达到TB级；D: 近年来，互联网+物联网在企业中应用使数据达到PB级
大数据时代智能交通的数据技术 大数据的来临对我们的日常生活产生了巨大影响，人们生活的方方面面都受到了大数据发展所带来的便利。随着经济水平的发展，我国汽车保有量正经历着飞速发展，人民的日常出行也不满足私家车出行，公交车、BRT、出租以及地铁都为人们出行提供了多样的选择性。在大数据的时代背景下，通过数据采集和分析，对当下城市交通系统进行合理改善，能够解决现有城市普遍存在的城市化所带来的问题。 标签：大数据时代数据技术城市交通 引言 随着经济水平的不断发展，人民生活水平的日益提高，人均拥有汽车的系数不断增高，汽车保有量急剧增加。在城市化的发展进程中，汽车的剧增超过了原有的交通承载力，城市道路超负荷运行，导致城市交通问题日益严峻。利用大数据带来的分析解决方法对城市交通进行改善，是本文主要围绕进行阐述的内容。 一、大数据的发展现状 在大数据的应用发展中，我国的大数据观念和产业均起步较晚。但在对情景分析中，我国的大数据产业在通信、金融领域市场突破百亿元大关。在高增长率的发展下，未来三年将突破150亿元。在社会各界对大数据的关注和推动发展下，大数据应用已经应用于各行各业，包括交通、医疗、生物技术、零售业、农业生产及个人服务等行业领域，在其中也发展出大数据的有关新服务和新技术。 根据我国对大数据产业发展规划，我国将着力打造大数据成为国民经济支柱产业，在各行业和社会服务中广泛推广应用，推动大数据产业在我国快速发展，健全有关大数据产业的体系，推动地方政府进行对大数据产业的法律法规制定和政策引导，主动引入大数据产业的企业进行行业引导。对有资质进行大数据产业创新发展的公司进行政策扶持，提高和带动地区大数据产业的发展，使大数据行业达到较高水平。 二、大数据的应用特点 1.大数据的含义 大数据就是巨量数据集合的意思，由于全世界范围大数据发展都处于开始阶段，目前大数据的涵盖范围广泛，还没有统一的定义。在2011年，由全球著名的公司在研究后提出大数据的概念，意为信息时代海量数据集合。在短短的几年中，大数据已经广泛存在应用在各个行业中，并成为行业发展不可或缺的重要组成部分，在大数据的应用中，人们能够在当中挖掘发现海量的相关数据进行分析研究，从而掌握行业的发展重点。伴随着互联网信息技术的不断发展，大数据作
精心整理 Google IT 2019年9月11日
目录 一、简述 (4) 二、Google经典三篇大数据论文介绍 (5) 2.1、GFS (5)
一、大数据时代的来临 1.大数据的概念： 按照维基百科上的定义，所谓“大数据”（big data）在当今的互联网业指的是这样一种现象：一个网络公司日常运营所生成和积累用户网络行为的数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭”。这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P （1000个T），E（一百万个T）或Z（ 据。 大数据泛指巨量的数据集， 尔街日报》将大数据时代、 竞争、生产力提高的前沿。 加快了信息化向社会经济各方面、大众 1MB（兆字 ，2008年是1GB（1GB等于1024MB）， （即10亿GB或1000PB）的时间在2001 年是一周，而2013年仅需一天，即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB（1PB等于1000TB）。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生3.6GB 数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量将达几十
PB。医院也是数据产生集中的地方。现在，一个病人的CT影像数据量达几十GB，而全国每年门诊人数以数十亿计，并且他们的信息需要长时间保存。总之，大数据存在于各行各业，一个大数据时代正在到来。
大数据发展现状与未来发展趋势研究 朱孔村 （江苏省科学技术情报研究所，江苏南京210042） 【摘要】数据是信息化时代的“新石油”资源，如何利用好这种“新石油”资源需要大数据技术的支持。文章介绍了大数据技术及其发展历程，概括了当前国内外大数据的发展现状并展望了大数据技术和产业方面的未来发展趋势。 【关键词】大数据；现状；趋势 【中图分类号】TP391【文献标识码】A【文章编号】1008-1151(2019)01-0115-04 Research on the Current Situation and Future Development Trend of Big Data Abstract: Data is the “new petroleum” resource of the information age and how to make good use of this “new petroleum” resource needs the support of big data technology. This paper first introduces the big data technology and its development process and summarizes the current development of big data at home and abroad. Finally, the future development trend of big data technology and industry is prospected. Key words: big data; current situation; trend 1 大数据技术概述 1.1大数据技术 随着物联网、云计算、移动互联网等技术的成熟，以及智能移动终端的普及，全社会的数据量呈指数型增长，全球已经进入以数据为核心的大数据时代。大数据并不是一个新的概念，信息技术发展的每一个阶段都会遇到数据处理的问题，人类需要不停的面对来自数据的挑战。为满足商业结构化数据存储的需求而产生了关系型数据库，为满足互联网时代非结构化数据存储需求而产生了NoSQL技术，而大数据技术的产生是为了解决大型数据集分析的问题。 大数据技术目前还没有一个确切的定义，各行各业有着自己的见解，但总体而言，其关键在于从数量庞大、种类繁多的数据中提取出有用的信息。维基百科从数据处理的角度将大数据定义为一个超大的、难以用现有常规的数据库管理技术和工具处理的数据集。国际数据公司（IDC）给出的报告指出，大数据技术描述了一种新一代技术和构架，以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值[1]。 少量的数据看似杂乱无章，但是当数据累积到一定程度时，就会呈现出一种规律和秩序。大数据的价值就在于数据分析，利用大数据分析技术，从海量数据中总结经验、发现规律、预测趋势，最终为辅助决策服务。《大数据时代》的作者克托·迈尔-舍恩伯格认为：“大数据开启了一次重大的时代转型”，他指出大数据将带来巨大的变革，改变人们的生活、工作和思维方式，改变人们的商业模式，影响人们的经济、政治、科技和社会等各个层面。 1.2大数据发展历程 1.2.1萌芽阶段 20世纪90年代，“大数据”这个术语开始出现。1998年SGI首席科学家John Masey在USENIX大会上提出大数据的概念，他当时发表了一篇名为Big Data and the Next Wave of Infrastress的论文，使用了大数据来描述数据爆炸的现象。但是那时的大数据只表示“大量的数据或数据集”这样的字面含义，还没有涵盖到相关的采集、存储、分析挖掘、应用等技术方法与特征内涵 1.2.2发展阶段 从20世纪末到21世纪初期是大数据的发展期，在这一阶段中大数据逐渐为学术界的研究者所关注，相关的定义、内涵、特性也得到了进一步的丰富。2003至2006年，Google 发布的GFS、MapReduce和BigTable三篇论文对大数据的发展起到重要作用。2006至2009年，大数据技术形成并行运算与分布式系统。2009年，Jeff Dean在BigTable基础上开发了Spanner数据库。随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术如数据仓库、专家系统、知识管理系统等开始被应用。 1.2.3成熟阶段 2011年至今，是大数据发展的成熟阶段，越来越多的研究者对大数据的认识从技术概念丰富到了信息资产与思维变革等多个维度，一些国家、社会组织、企业开始将大数据上升为 总第21卷233期大众科技Vol.21 No.1 2019年1月Popular Science & Technology January 2019 【收稿日期】2018-11-06 【作者简介】朱孔村（1985－），男，山东临沂人，江苏省科学技术情报研究所实习研究员，从事电子政务相关工作。 - 115 -
大数据的应用领域和发展前景怎么样 随着大数据进军社会的各个领域，千锋教育培训机构在疯狂的输出大数据人才，力争打造大数据全才，就今年的综合情况来看，未来几年大数据在商业智能、政府服务和市场营销三个领域的应用非常值得看好，大多数大数据案例和预算将发生在这三个领域。 （1）商业智能 商业智能（Business Intelligence，简称：BI），又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。 过去几十年，分析师们都依赖来自Hyperion、Microstrategy和Cognos 的BI产品分析海量数据并生成报告。数据仓库和BI工具能够很好地回答类似这样的问题：“某某人本季度的销售业绩是多少？”（基于结构化数据），但如果涉及决策和规划方面的问题，由于不能快速处理非结构化数据，传统的BI会非常吃力和昂贵。大多数传统BI工具都受到以下两个方面的局限： 首先，它们都是“预设-抓取”工具，由分析师预先确定收集什么数据用于分析。 其次，它们都专注于报告“已知的未知”（Known unknowns），也就是我
们知道问题是什么，然后去找答案。（而大数据会给出一些未知的未知，也就是你没有想到的一些问题的结果）传统BI工具主要用于企业运营，侧重于成本控制和计划执行报告。 而大数据技术最主要的功能/应用是ETL（Extract、Transform、Load）。将近80%的Hadoop应用都与ETL有关，例如在导入Vertica这样的分析数据库之前对日志文件或传感器数据的处理。 今天计算和存储硬件变得非常便宜，配合大量的开源大数据工具，人们可以非常“奢侈”地先抓取大量数据再考虑分析命题。可以说，低廉的计算资源正在改变我们使用数据的方式。此外，处理性能的大幅提高（例如内存计算）使得实时互动分析更加容易实现，而“实时”和“预测”将BI带到了一个新的境界——未知的未知。这也是大数据分析与传统BI之间最大的区别。未来几年，随着企业间的兼并和新产品的不断推出，传统的BI工具将与大数据分析并存。 （2）公共服务 大数据另外一个重大的应用领域是社会和政府。如今，数据挖掘已经能够预测疾病暴发、理解交通模型并改善教育。
智能交通大数据综合服务平台 1. 概述 随着经济发展、城市化进程的加快以及城市规模不断扩大，机动车拥有量及道路交通流急剧增加，城市紧缺的土地资源和高密度的土地利用模式，使得交通供给与交通需求之间的矛盾日益突出，交通拥堵、停车困难、环境恶化等交通问题不断加剧，影响了城市的可持续发展及人民生活水平的提高，阻碍了经济的发展。大城市也面临同样的问题，近年来机动车保有量持续快速增长，高峰交通拥堵日益加剧，交通发展面临严峻形势和新的挑战。很多城市在市区主要范围内实施“错峰限行”等交通管理措施。采取调控交通需求削减交通需求总量其原因之一是城市道路已经难以通过基础设施规划建设来改善交通。另一方面,如何利用智能交通系统(ITS)来缓解交通、提升交通效率也是可以着力的一个方向。 目前各交通管理部门建立了功能相对完善的交通指挥控制中心，包括交通信号控制系统、道路交通监控系统、交通诱导显示系统、停车管理系统、交通违章处理系统等，初步实现了交通信号控制、道路监控、交通信息综合查询、有/无线指挥调度及交通诱导等基础功能。ITS的各种信息采集技术（如微波采集技术、视频采集技术、环形线圈感应式采集技术等）被广泛地运用于交通数据采集，公安交管部门不仅具备了交通基础信息，还拥有了各类动态数据，如车辆实时营运信息、道路交通状况等，采集的数据类型包括属性数据、空间数据、影像数据等。对交通三要素（人流、车辆、道路）连续不断采集的多源交通数据流产生了巨量的交通数据，具有典型的“3V”特性：大容量、多样性、高速度，也具有价值、复杂性的特点，属于名符其实的交通“大数据”。仅以国内某城市内道路卡口数据为例，每天达到约15GB的数据量，要实现对城市道路交通的整体运营水平和人们出行规律的深度挖掘，就要以日、月甚至年为时间粒度对大数据进行计算和分析。 数据是智能交通的核心，数据为王的大数据时代已经到来[。如何高效地从海量数据中分析、挖掘所需的信息和规律，结合已有经验和数学模型等生成更高层次的决策支持信息，获得各类分析、评价数据，为交通诱导、交通控制、交通需求管理、紧急事件管理等提供决策支持，为交通管理者、运营者和个体出行者提供交通信息，成为当务之急。交通数据分析的发展趋势正如TDWI大数据分析报告指出的，由常规分析转向深度分析，如图1所示。
IT新技术课题报告Google大数据技术 专业名称：软件工程 姓名：王六平 2019年12月19日
目录 一、简述 (4) 二、Google经典三篇大数据论文介绍 (5) 2.1、GFS (5) 2.2、MapReduce (6) 2.3、BigTable一个分布式的结构化数据存储系统 (7) 三、Google新大数据论文介绍 (8) 3.1、Caffeine：处理个体修改 (8) 3.2、Pregel：可扩展的图计算 (9) 3.3、Dremel：在线可视化 (11) 四、Google大数据的应用 (14)
一、大数据时代的来临 1.大数据的概念： 按照维基百科上的定义，所谓“大数据”（big data）在当今的互联网业指的是这样一种现象：一个网络公司日常运营所生成和积累用户网络行为的数据“增长如此之快，以至于难以使用现有的数据库管理工具来驾驭”。这些数据量是如此之大，已经不是以我们所熟知的多少G和多少T为单位来衡量，而是以P（1000个T），E（一百万个T）或Z（10亿个T）为计量单位，所以称之为大数据。 大数据泛指巨量的数据集，因可从中挖掘出有价值的信息而受到重视。《华尔街日报》将大数据时代、智能化生产和无线网络革命称为引领未来繁荣的三大技术变革。麦肯锡公司的报告指出数据是一种生产资料，大数据是下一个创新、竞争、生产力提高的前沿。世界经济论坛的报告认定大数据为新财富，价值堪比石油。因此，发达国家纷纷将开发利用大数据作为夺取新一轮竞争制高点的重要抓手。 2.大数据的发展 互联网特别是移动2互联网的发展，加快了信息化向社会经济各方面、大众日常生活的渗透。有资料显示，1998年全球网民平均每月使用流量是1MB（兆字节），2000年是10MB，2003年是100MB，2008年是1GB（1GB等于1024MB），2014年将是10GB。全网流量累计达到1EB（即10亿GB或1000PB）的时间在2001年是一年，在2004年是一个月，在2007年是一周，而2013年仅需一天，即一天产生的信息量可刻满1.88亿张DVD光盘。我国网民数居世界之首，每天产生的数据量也位于世界前列。淘宝网站每天有超过数千万笔交易，单日数据产生量超过50TB（1TB等于1000GB），存储量40PB（1PB等于1000TB）。百度公司目前数据总量接近1000PB，存储网页数量接近1万亿页，每天大约要处理60亿次搜索请求，几十PB数据。一个8Mbps（兆比特每秒）的摄像头一小时能产生3.6GB数据，一个城市若安装几十万个交通和安防摄像头，每月产生的数据量
大数据发展背景与研究现状 （一）大数据时代的背景 随着计算机存储能力的提升和复杂算法的发展，近年来的数据量成指数型增长，这些趋势使科学技术发展也日新月异，商业模式发生了颠覆式变化。《分 MGI）发 “赢 技术使得在线购物的完成率提升了10%到15%。我国信息数据资源80%以上掌握在各级政府部门手里，但很多数据却与世隔绝“深藏闺中”，成为极大的浪费。2015年，国务院印发《促进大数据发展行动纲要》，明确要求“2018年底前建成国家政府数据统一开放平台”；今年5月，国务院办公厅又印发《政务信息系
统整合共享实施方案》，进一步推动政府数据向社会开放。1 大数据可以把人们从旧的价值观和发展观中解放出来，从全新的视角和角度理解世界的科技进步和复杂技术的涌现，变革人们关于工作、生活和思维的看法。大数据的应用十分广泛，通过对大规模数据的分析，利用数据整体性与涌现性、相关性与不确定性、多样性与非线性及并行性与实时性研究大数据在 。2012年Gartner认为，不到两年时间大数据将成为新技术发展的热点，海量和多样化的信息资产使得大数据需要新的处理模式，才能为数据信息使用者提供有效的信息，使得企业洞察危险的能力增强，流程得以优化，决策更加准确。Victor 在其最新着作《大数据时代——生活、工作与思维的大变革》中指出，大数据 1人民网 26个好用大数据的秘诀
时代要想得到有价值的信息，要从总体而不是少量的数据样本分析与实务相关的所有数据。更加注重数据之间的相关关系，乐于加收纷繁复杂的数据，而不再探求难以捉摸的因果关系和追求数据的精确性。欧盟在其公布的《数字议程》中指出公共数据的市场价值约有320亿欧元，公共数据的开放和再利用可以产生新的商业和工作机会。开放行、公共数据，增加政府的开放和透明度可以给 年9 展的进程。2017年8月30日，国家旅游局、银联商务股份有限公司和中国电信集团联合成立“旅游消费但是数据联合实验室”，并发布了首份研究成果《2017年上半年中国旅游消费大数据报告》。三方在各自的领域有深耕多年的技术、大数据能力、市场资源和经验，通过签署站多合作，可以实现资源共享，优势互 3国家十三五规划纲要
大数据在智慧城市建设中的应用案例
大数据在智慧城市建设中的应用案例 来源：数据观时间：2015-09-25 16:20:22 作者： 当前，全球范围内城市化进程不断推进。随着互联网和信息化的发展，在云平台、大数据和物联网等技术的支持下，率先在美国“智慧星球”概念下诞生的“智慧城市”，逐渐成为当今世界各国城市建设的发展趋势和选择。 一、国外案例 自21世纪初期，美国、英国、德国、荷兰、日本、新加坡、韩国等先一步开展了智慧城市的实践，诞生了许多经典案例。 1. 迪比克 美国第一个智慧城市，也是世界第一个智慧城市，它的特点是重视智能化建设。为了保持迪比克市宜居的优势，并且在商业上有更大发展，市政府与IBM 合作，计划利用物联网技术将城市的所有资源数字化并连接起来，含水、电、油、气、交通、公共服务等，进而通过监测、分析和整合各种数据智能化地响应市民的需求，并降低城市的能耗和成本。该市率先完成了水电资源的数据建设，给全市住户和商铺安装数控水电计量器，不仅记录资源使用量，还利用低流量传感器技术预防资源泄漏。仪器记录的数据会及时反映在综合监测平台上，以便进行分析、整合和公开展示。 2. 纽约 通过数据挖掘，有效预防了火灾。据统计，纽约大约有100万栋建筑物，平均每年约有3000栋会发生严重的火灾。纽约消防部门将可能导致房屋起火的因素细分为60个，诸如是否是贫穷、低收入家庭的住房，房屋建筑年代是否久远，建筑物是否有电梯等。除去危害性较小的小型独栋别墅或联排别墅，分析
人员通过特定算法，对城市中33万栋需要检验的建筑物单独进行打分，计算火灾危险指数，划分出重点监测和检查对象。目前数据监测项目扩大到2400余项， 诸如学校、图书馆等人口密集度高的场所也涵盖了。尽管公众对数据分析和防范措施的有效性之间的关系心存疑虑，但是火灾数量确实下降了。 3. 芝加哥 通过“路灯杆装上传感器”，进行城市数据挖掘。在人们的生活里，无处不在的传感器被应用在了芝加哥市的街边灯柱上。通过“灯柱传感器”，可以收集城市路面信息，检测环境数据，如空气质量、光照强度、噪音水平、温度、风速。芝加哥城市信息技术委员会提供的资料表明，“灯柱传感器”不会侵犯个人隐私，它只侦测信号，不记录移动设备的MAC和蓝牙地址。在今后几年“灯柱传感器”将分批安装，全面占领芝加哥市的大小街区，每台传感器设备初次采购和安装调试成本在215～425美元之间，运行后的年平均用电成本约为15美元。该项目得到了思科、英特尔、高通、斑马技术（Zebra Technologies）、摩托罗拉以及施耐德等公司的技术和资金支持。 4. 西雅图 利用数据节省电力能源。该市与微软和埃森哲（Accenture）合作了一个试 验项目，以减少该地区的能源使用。该项目收集并分析从市区建筑物管理系统中得来的众多数据集，通过预测分析，找出哪里可以减少能源使用，或者根本不需要使用能源。项目的目标是将该地区的电力消耗减少25%。 5. 伦敦 利用数据管理交通。在2012年奥运会期间，负责运行伦敦公共交通网络的 公共机构“伦敦运输（Transport for London）”，在使用者增加25%的情况下，