大数据解决方案v1-段建民

城市大数据管理中心大数据资源平台概要设计方案目录背景与需求分析12345大数据管理中心发展背景为建设卓越全球城市，实现政府治理能力现代化目标，由市大数据中心牵头，在政务公共数据管理和互联网政务服务方面采取了一系列的实践工作。

根据《市公共数据和一网通办管理办法》要求，前期已在“一网通办”的政务服务领域进行了信息化项目建设，在提升了政府治理能力和公共服务水平的同时，也产生了汇聚全市政务公共数据，探索政务服务领域应用的需求。

市大数据中心作为全市政务数据的主要管理单位，承担着政策本地化落实、政务数据交换、大数据应用研究、信息化建设运维以及其他数据相关的工作职责，从中心成立之初便开始研究政务数据管理和应用的方法，去年年底探索了以政务数据交换共享为核心的实践，但随着对中心职能的理解加深，我们认为中心不仅作为全市政务数据的“枢纽中转中心”，更应该成为各政务服务条线领域的“归集管理中心”，为本市的经济活动、公共事业、社会关系、人员密度等各城市管理领域提供数据层面的最大支撑。

规划公共数据发展路线支撑城市服务能效提升精准城市服务整体共享协同数据科学管理ü公共数据共享ü社会数据协同ü条线业务协同ü数据服务开放ü社会治理ü宏观经济ü市场监管ü生态保护城市高效运行ü应急事件响应ü事件风险预防ü数据完整归集ü数据实时同步ü资源目录健全ü数据全面治理大数据共享交换平台建设与使用情况大数据中心自去年开始，根据整体规划启动了市数据共享交换平台项目的建设，并于2019年1月开始正式进行全市范围的试运行。

平台建设内容包括：1、总集成及部分应用开发：平台集成门户及整体平台的基础功能菜单级整合；2、数据治理子系统：包含数据交换模块和服务管理模块，实现数据资源目录及三清单的管理，并提供市级数据库的对外发布利用；3、数据共享交换子系统：实现数据交换引擎、统一调度引擎、任务管理、数据桥接等功能，以及数据湖数据的存储管理、共享与交换；4、数据质量监管及支撑子系统：实现数据质量管理功能，包括数据质量规则制定、数据质量稽核、数据质量问题闭环管理；5、大数据支撑管理子系统：包含市级数据湖和市级数据库，汇聚“四大基础库”、“市级统建系统”、“各市级委办系统”、“各行政区系统”的经过初始治理的原始数据；并存放经过一系列清洗、转换、加载、治理步骤后的高质量的政务数据资源，为城市管理、公共服务等提供数据来源；平台接入52个委办的公共数据，每月16亿条以上，数据总容量在176.0 TB，人口库预计46.75TB，法人库预计1.78TB，空间地理库预计7.99TB，电子证照库预计91.05TB。

地理空间大数据中心建设整体解决方案目录一、前言 (2)二、需求分析 (2)三、整体架构设计 (3)3.1 数据采集层 (5)3.2 数据处理层 (6)3.3 数据存储层 (7)3.4 数据服务层 (9)四、关键技术及产品选型 (10)4.1 数据采集技术 (12)4.2 数据处理技术 (13)4.3 数据存储技术 (14)4.4 数据服务技术 (16)五、实施方案 (17)5.1 项目实施流程 (19)5.2 项目实施步骤 (20)5.3 项目实施注意事项 (22)六、风险评估与应对措施 (23)七、效果评估与持续改进 (25)八、总结与展望 (27)一、前言随着信息技术的快速发展，大数据已成为推动社会进步和产业升级的重要力量。

在地理空间领域，大数据中心建设是应对地理信息数据爆发式增长、提升地理空间信息服务能力、实现地理信息资源高效管理与应用的关键举措。

地理空间大数据中心不仅是收集、存储和处理各类地理空间数据的重要平台，也是开展地理空间分析、提供决策支持和服务社会的重要载体。

二、需求分析随着信息技术的迅猛发展，地理空间大数据已经成为国家基础性、战略性资源，对政府决策、社会公益、企业运营等方面具有重要的应用价值。

我国地理空间大数据中心建设面临着数据规模庞大、数据处理能力不足、数据应用层次不高等问题，亟需构建一个高效、智能、安全的地理空间大数据中心整体解决方案。

海量数据存储与管理：针对地理空间大数据的海量特性，需要建设大规模的数据存储系统，采用分布式存储、云存储等技术手段，实现数据的弹性扩展、高效管理和稳定运行。

高效数据处理与分析：为满足实时性、准确性等要求，需要构建高性能的数据处理和分析平台，利用大数据计算框架（如Hadoop、Spark等）和机器学习算法，实现对地理空间数据的快速处理、深度挖掘和智能分析。

数据共享与交换：在保证数据安全和隐私保护的前提下，需要建立统一的数据共享交换平台，促进政府部门、企事业单位之间的数据互通有无，推动地理空间大数据的应用和价值释放。

•建设背景与需求分析•技术架构与平台设计•关键技术与实现方法•平台应用场景与效果展示•平台部署与实施方案目•平台经济效益与社会效益分析•总结与展望录建设背景当前各行各业的数据量正在呈现爆炸式增长，对数据的处理和分析提出了更高的要求。

传统的数据处理方式已经无法满足现代企业的需求，需要更加高效、智能的工具来帮助处理和分析数据。

随着科技的发展，AI智能和大数据可视化技术逐渐成熟，为解决这一问题提供了可能性。

010203需求分析技术架构设计010203前端框架后端架构数据库设计数据采集通过API接口、爬虫等技术手段，实现多源异构数据清洗对采集到的数据进行清洗、去重、转换等操作，数据存储数据可视化数据分析功能扩展接口平台功能设计可视化类型交互式操作数据源适配可视化配置数据可视化设计AI智能技术通过训练数据，让机器自动学习并找出规律，实现自动化分析和预测。

机器学习深度学习自然语言处理图像识别利用神经网络技术，实现更加复杂的数据处理和模式识别。

让机器能够理解和处理自然语言，实现文本分析、语言翻译等功能。

让机器能够识别和理解图像，实现图像分类、人脸识别等功能。

大数据存储与处理技术HBaseHDFSSparkKafka分布式消息系统，可实现数据的实时传输和处理，支持大规模并发数数据可视化技术基于JavaScript的可视化库，可实现丰富的图表类型和交互功能。

ECharts强大的数据可视化库，可实现高度自定义的图表和交互效果。

D3.js商业智能工具，可实现数据可视化、数据分析和数据挖掘等功能。

Tableau商业智能工具，可实现数据可视化、数据分析和数据挖掘等功能，支持多种数据源和平台。

Power BI应用场景一：智慧城市交通管理城市规划公共安全应用场景二：智能制造产品质量控制通过质量大数据平台，实现产品质量自动检测、质量预警和预测，提高产品质量稳定性和可靠性。

供应链管理通过供应链大数据平台，实现供应商评估、库存管理优化、物流智能调度等，提高企业供应链管理效率。

大数据平台建设方案1. 引言随着互联网的发展和技术的进步，大数据已经成为企业获得竞争优势和实现可持续发展的关键。

大数据平台的建设是企业实现数据驱动决策的基础，本文将介绍一套完整的大数据平台建设方案。

2. 建设目标大数据平台的建设目标是实现数据的高效收集、存储、处理和分析，以及提供可靠的数据服务支持决策和业务发展。

3. 技术架构大数据平台的技术架构包括数据采集、数据存储、数据处理和数据分析等核心组件。

数据采集是大数据平台的第一步，要从多个数据源收集和整合数据。

可以使用各种数据采集工具，如日志收集工具、爬虫工具和传感器等。

采集的数据要经过清洗和转换，以确保数据的质量和一致性。

3.2 数据存储大数据平台需要具备可扩展的数据存储能力，以应对不断增长的数据量。

常用的数据存储方式包括分布式文件系统和分布式数据库等。

数据存储应具备高可用性、高性能和可靠性。

3.3 数据处理数据处理是大数据平台的核心功能，主要包括实时处理和批处理。

实时处理可使用流处理框架，如Apache Kafka和Apache Flink；批处理可使用分布式计算框架，如Apache Hadoop和Apache Spark等。

数据分析是大数据平台的重要应用场景之一，可以通过数据挖掘和机器学习等技术对数据进行分析和挖掘，以发现数据中的模式、规律和趋势，支持决策和业务发展。

4. 方案实施大数据平台的建设需要进行全面的规划和实施。

以下是一个具体的大数据平台建设实施流程：4.1 确定需求首先，需要明确大数据平台的需求，包括数据的来源和用途，以及业务的需求和目标。

需求分析是建设大数据平台的基础，可以帮助选择适合的技术和工具。

4.2 技术选型根据需求分析的结果，可以进行技术选型。

需要考虑数据采集、数据存储、数据处理和数据分析等方面的技术选型，选择适合的开源或商业工具和框架。

4.3 平台搭建根据技术选型的结果，可以开始搭建大数据平台。

需要安装和配置相关的软件和硬件环境，同时进行网络和安全设置。

智慧统计大数据分析平台建设方案1. 背景随着信息技术的迅猛发展，大数据分析已经成为企业决策和发展的重要手段。

针对统计数据的分析和利用，需要一个智慧统计大数据分析平台来支持决策和创新。

2. 目标建设一个智慧统计大数据分析平台，能够有效地处理和分析大量的统计数据，并为决策者提供清晰的数据可视化和洞察力，以支持决策的制定和执行。

3. 主要功能- 数据采集和存储：平台应能够从各种数据源中采集数据，并将其存储在可靠和安全的数据库中。

- 数据清洗和预处理：为了保证数据的准确性和可靠性，平台应提供数据清洗和预处理功能。

- 数据分析和挖掘：平台应能够进行各类统计分析和数据挖掘，包括描述性统计、回归分析、聚类分析等。

- 数据可视化和报表生成：平台应具备良好的数据可视化和报表生成功能，可将分析结果以图表和报表的形式展示给用户。

- 决策支持和智能推荐：平台应能够为决策者提供智能化的决策支持和推荐，通过分析和挖掘大数据，为决策者提供有益的建议。

- 安全和隐私保护：平台应确保数据的安全性和隐私保护，采取措施防止数据泄露和滥用。

4. 实施步骤- 需求分析：与决策者和相关用户进行沟通，明确平台的具体需求和功能。

- 系统设计：根据需求分析结果，设计平台的系统架构和功能模块。

- 开发和测试：根据系统设计，进行平台的开发和测试，确保平台的稳定性和性能。

- 部署和上线：将开发完成的平台部署到服务器中，并进行上线运行。

- 运维和升级：对平台进行日常运维和维护，并根据用户反馈和需求进行功能升级和改进。

5. 预期效果- 提高决策的准确性和效率：通过智慧统计大数据分析平台的支持，决策者能够更准确地了解数据和趋势，从而提高决策的准确性和效率。

- 推动创新和发展：平台提供了数据分析和洞察的工具，使企业能够更好地了解市场和用户需求，从而推动创新和发展。

- 降低成本和风险：通过平台的数据分析和智能推荐，企业能够更好地利用资源，降低成本和风险。

以上为智慧统计大数据分析平台建设方案的简要概述。

基于多层激光雷达的可行驶区域信息提取算法段建民;王昶人;任璐;刘丹【期刊名称】《电子技术应用》【年(卷),期】2017(43)10【摘要】In order to extract the driving area information of the unmanned vehicle,an algorithm of driving area information extraction of the multi-layer lidar is proposed.First,the curb point set is obtained by combining the feature of the radar return data with the data interval density distribution and the resulting road-point clustering is achieved by using KNN-OPTICS algorithm based on weighted Euclidean distance KNN.Then,both sides of the curb are fitted using the least square method.Finally,the improved OPTICS algorithm is used to cluster the obstacle points on the road surface,and the position,distance and size of the obstacle are ing the method of data interval density distribution,the curb points will not be affected by the obstacle and the road surface.The improved OPTICS algorithm is no longer bound by Eps and can distinguish the noise accurately.It solves the problem that the obstacle information is inaccurate due to noise.Experimental results show that the algorithm is accurate and effective.%为了提取无人驾驶车前方可行驶区域信息,提出了一种基于多层激光雷达可行驶区域信息提取算法.首先,根据雷达返回数据的特征结合数据区间密度分布获得路沿点集,并利用基于加权欧氏距离KNN改进的OPTICS算法对得到的路沿点聚类.然后,使用最小二乘法拟合出两侧路沿.最后,通过改进的OPTICS算法将路面上的障碍物点云进行聚类,并通过计算得到障碍物的位置、距离、尺寸等信息.利用数据区间密度分布法提取路沿点不受障碍物以及路面点的影响,而改进的OPTICS算法则不再受Eps的约束,并且可以准确分辨出噪点,解决了障碍物信息由于噪点而提取不准确的问题.实车实验证明了算法的有效性和实时性.【总页数】5页(P78-82)【作者】段建民;王昶人;任璐;刘丹【作者单位】北京工业大学信息学部,北京100124;北京工业大学信息学部,北京100124;北京工业大学信息学部,北京100124;北京工业大学信息学部,北京100124【正文语种】中文【中图分类】TN958.98【相关文献】1.基于三维激光雷达的智能车可行驶区域提取 [J], 王福钊;徐友春;章永进;焦金星2.基于车载4线激光雷达的前方道路可行驶区域检测 [J], 段建民;李龙杰;郑凯华3.一种激光雷达可通行区域提取算法 [J], 袁夏;赵春霞4.基于信息熵和时间趋势的音频关注区域提取算法研究 [J], 刘宇; 张聪; 杭波; 王松; 赵涵捷; 朱华东5.基于互信息相对熵差异的显著区域提取算法 [J], 郭礼华因版权原因，仅展示原文概要，查看原文内容请购买。

大数据建设定位方案大数据建设方案方案大数据运营模式方案01缺乏理念03缺乏工具04缺乏 机制02缺乏 标准缺乏XX数据共享的理念 对治理现代化认识不足缺乏XX数据共享机制的责任主体，怕犯泄密错误，宁可不作为缺乏数据共享的技术支撑能力和基础平台缺乏XX数据共享的统一标准和规范，缺乏治理机制设计大数据利用面临的困惑和挑战大数据中心建设定位依托城市大数据中心相关平台和应用支撑，汇聚城市管理各相关部门业务数据，进行集中展示和分析，提升城市运行管理、服务、城市综合管理决策和产业转型升级等方面的综合能力。

惠民兴业善政通过大数据推动产业结构优化升级，催生基于大数据、网络经济的新兴产业，促进投资，拉动经济增长实现衣食住行医疗教育等公共服务便捷化，市民生活幸福指数明显提升基于大数据推进XX各项改革，转变执政理念，创新治理方式，由电子向智慧升级，不断提高XX工作的效率和效能城市管理大数据建设目标XX可借助大数据实现城市管理、社会管理、应急指挥等精准化治理。

大数据将通过全息的数据呈现，使XX从“主观主义”“经验主义”的模糊治理方式，转向“实事求是”“数据驱动”的精准治理方式。

XX可借助大数据，助力简政放权，支持从事前审批向事中事后监管转变，借助大数据实现XX负面清单、权力清单和责任清单的透明化管理，通过大数据实现精准监督。

XX借助大数据提高经济治理水平，融合税务、财政、金融等多部门数据，同时结合社会化大数据，建立经济大数据决策支持体系，为产业结构调整升级提供支持。

XX运用大数据推动民生服务，实现基于大数据的智慧交通、智慧环保、智慧医疗、智慧教育、智慧养老、智慧旅游等。

把大数据产业与大众创业、万众创新结合起来。

建立大数据创业公司、大数据产业园、大数据重点实验室数据融合分析数据采集交换共享信息应用交换数据数据融合跨部门数据整合加工数据质量处理跨部门数据关联融合按需服务融合数据服务数据数据交换平台XX 部门数据社会化数据管理对象基础属性信息业务状态信息城市运行大数据个人企业数据服务大数据建设思路公共服务大数据产业升级大数据XX 决策大数据互联网数大数据平台总体架构委办局数据库数据终端设备物联网监控设备事件信息实时监测流数据城市运行监控中心大数据门户决策支持平台城市运行大数据的资源采集监控n 基础设施：地下管网、城市部件n 交通出行：交通路况、车辆监控、客流量监控n 生态环境：气象、空气、水质、污染源、水位、雨量监测数据汇聚委办局数据打造城市资源基础平台实时可视化展示和预警n 整合城市管理相关部门数据，建设专题数据库n 接入天地图地图资源，全面展示城市综合运行视图n 监测数据实时更新，掌握最新动态n 重要场所视频监控，及时查看现场状况n 预警阈值设置和上报，提高保障能力城市大数据总体体征分析基于城市大数据的采集分析，建立一套经专家论证的、符合城市实际的、科学合理的城市运行评价指标体系，基本涵盖了城市运行的主要方面。

大数据资源平台总体技术架构方案V2随着互联网技术的迅速发展和普及，我们每天都在产生大量的数据。

这些数据包括文本、图像、视频等等，每个人都能够产生数百兆甚至数G的数据。

虽然这些数据看似毫无关联，但是通过技术处理后，不仅有可能发现它们之间的联系，而且还有可能从中挖掘出我们需要的信息。

因此，大数据已成为服务于整个社会经济的重要资源之一。

为了更好地服务于整个社会经济，需要建立一个大数据资源平台。

大数据资源平台的编制和建设不是简单的技术问题，而是涉及政策、技术、人才等各个方面的问题。

下面将围绕“大数据资源平台总体技术架构方案V2”对其进行详细阐述。

一、基础架构层面设计基础架构层面是大数据系统的基本架构，需要考虑可扩展性，可维护性，可靠性等方面的问题。

大数据系统的基本架构可以分为以下3个子系统：数据存储子系统，数据处理子系统和数据服务子系统。

1.数据存储子系统数据存储子系统是大数据系统的核心组成部分，主要用于存储各类数据。

常见的存储方式包括分布式文件存储系统、分布式数据库和NoSQL 数据库等。

其中，分布式文件存储系统主要用于存储大量的非结构化数据，分布式数据库和NoSQL数据库则主要用于存储结构化数据。

2.数据处理子系统数据处理子系统主要负责对数据进行分析和处理。

它可以分为离线处理和实时处理两类。

其中，离线处理主要用于大规模数据的分析和处理，而实时处理则主要用于对数据进行实时监控和预测。

3.数据服务子系统数据服务子系统主要用于将处理后的数据提供给用户。

它可以提供各种类型的数据服务，如数据查询、数据分析和数据可视化等。

二、技术架构层面设计在技术架构层面，需要考虑大数据平台的数据处理能力、数据存储能力、数据安全性和数据挖掘能力等问题。

1.数据处理能力数据处理能力是大数据平台的核心能力，需要考虑其处理速度和处理规模。

目前，大数据处理框框架有Hadoop、Spark、Flink等。

不同的框架适合不同的需求，需要根据具体的业务需求来选择。

智慧林业大数据云平台建设方案目录一、项目概述 (2)1. 项目背景 (2)1.1 林业信息化发展现状及需求 (3)1.2 大数据与云计算技术在林业中应用前景 (4)2. 项目目标 (5)2.1 实现林业数据全面整合与高效管理 (6)2.2 提升林业信息化水平，助力可持续发展 (7)二、总体架构设计 (8)1. 云计算平台架构 (10)1.1 基础设施层 (11)1.2 平台服务层 (12)1.3 软件应用层 (13)2. 数据中心建设方案 (15)2.1 数据存储与处理技术选型 (16)2.2 数据中心硬件设备配置及部署策略 (17)三、功能模块划分与实现 (19)1. 数据采集与传输模块 (20)1.1 数据采集技术选型及实施计划 (21)1.2 数据传输网络构建与优化方案 (22)2. 数据处理与分析模块 (23)2.1 数据处理流程设计 (24)2.2 数据分析模型构建与优化策略 (25)3. 决策支持与服务模块 (27)3.1 决策支持系统构建方案 (28)3.2 服务化应用开发与部署策略 (29)一、项目概述随着全球气候变化和环境保护意识的日益增强，林业作为国民经济的重要组成部分，其可持续发展对于维护生态平衡、促进社会经济绿色发展具有重要意义。

传统的林业管理模式面临着数据采集效率低、信息孤岛化、决策支持力度不足等问题，难以满足现代林业发展的需求。

为了突破这些瓶颈，本项目旨在构建一个高效、智能的“智慧林业大数据云平台”。

该平台以云计算为基础，以大数据技术为支撑，通过整合林业内外部资源，实现林业数据的全面感知、高效处理和智能应用。

平台的建设将有助于提高林业管理精细化水平，推动林业产业结构的优化升级，为生态文明建设和美丽中国建设提供有力支撑。

本项目的实施将遵循“统筹规划、分步实施、逐步完善”充分利用现有资源，避免重复投资，确保项目的科学性和实效性。

我们将注重与相关领域的技术对接和资源共享，形成优势互补、协同发展的良好机制，共同推动智慧林业的蓬勃发展。

基于AI的智慧社区大数据平台建设方案目录一、项目背景与目标 (3)1.1 背景介绍 (4)1.2 项目目标 (5)二、需求分析 (6)2.1 功能需求 (7)2.2 性能需求 (9)2.3 数据需求 (10)2.4 安全性需求 (11)三、技术架构 (12)3.1 总体架构 (13)3.2 技术选型 (14)3.3 系统模块划分 (16)四、平台功能设计 (18)4.1 数据采集与整合 (19)4.2 数据存储与管理 (20)4.3 数据分析与挖掘 (21)4.4 数据可视化与应用 (22)4.5 管理与维护功能 (24)五、平台性能优化 (25)5.1 性能优化策略 (26)5.2 数据处理算法优化 (27)5.3 平台扩展性设计 (28)六、安全与隐私保护 (30)6.1 数据加密与脱敏 (31)6.2 权限管理与访问控制 (32)6.3 安全审计与日志记录 (34)6.4 隐私保护政策与合规性 (35)七、项目实施计划 (37)7.2 任务分工与时间安排 (38)7.3 项目风险与应对措施 (40)八、项目预算与资源需求 (41)8.1 项目预算 (43)8.2 硬件资源需求 (45)8.3 软件资源需求 (46)8.4 人力资源需求 (47)九、项目效益评估 (49)9.1 社会效益评估 (50)9.2 经济效益评估 (52)9.3 环境效益评估 (53)9.4 可持续发展评估 (54)十、项目总结与展望 (55)10.1 项目成果总结 (56)10.3 未来发展趋势与展望 (59)一、项目背景与目标随着科技的不断发展和人们生活水平的提高，智慧社区已经成为了现代城市发展的重要组成部分。

智慧社区通过运用大数据、云计算、物联网等先进技术，实现对社区内各类信息的实时采集、分析和处理，从而为居民提供更加便捷、安全、舒适的生活环境。

基于AI的智慧社区大数据平台建设方案旨在构建一个集数据采集、数据分析、应用服务于一体的综合性平台，以满足社区管理者和居民的需求，提升社区治理水平和服务能力。

大数据平台建设方案摘要：本文将介绍大数据平台的建设方案，以帮助企业在当前信息爆炸的时代中更好地处理和利用海量数据。

首先，我们将简要介绍大数据的定义和意义，接着讨论了大数据平台的基本组成和关键技术。

然后，详细探讨了大数据平台建设的流程和各个环节中需要考虑的关键问题。

最后，我们总结了建设大数据平台的好处，以及建议企业在建设过程中应该注意的几个方面。

1. 引言随着信息技术的飞速发展和互联网的普及，各行各业所产生的数据量越来越庞大，传统的数据处理和分析方法已经无法满足需求。

大数据的兴起使得企业能够从海量的数据中挖掘出有价值的信息，为决策和创新提供支持。

为了更好地利用大数据，企业需要建设一个可靠的大数据平台。

2. 大数据平台的基本组成大数据平台通常由以下几个基本组成部分构成：1) 数据采集和清洗：从各种数据源中采集原始数据，并进行清洗和预处理。

2) 数据存储和管理：将清洗后的数据存储到适当的存储介质中，并进行有效的管理。

3) 数据处理和分析：对存储的大数据进行处理和分析，提取有价值的信息。

4) 数据可视化和展示：将处理和分析结果以直观的方式展示给用户，方便决策和分析。

5) 安全和隐私：保护大数据的安全和隐私，防止数据泄露和滥用。

3. 大数据平台的关键技术建设大数据平台离不开以下几个关键技术：1) 分布式计算：利用多台计算机进行并行计算，加快处理速度和提高可扩展性。

2) 数据挖掘和机器学习：通过算法和模型来挖掘数据中的潜在模式和规律。

3) 高可用性和容错性：确保系统能够24/7运行，防止单点故障导致系统崩溃。

4) 实时处理和流式计算：对实时产生的数据进行快速处理和分析。

5) 数据安全和隐私保护：采取措施保护数据的安全和隐私，如加密和访问控制。

4. 大数据平台建设的流程大数据平台的建设通常包括以下几个环节：1) 需求分析：明确企业的需求和目标，确定建设大数据平台的具体目标和功能。

2) 系统设计：设计大数据平台的整体架构和各个组成部分的关系。

51cto学院-ChinaHadoop 2013 Hadoop大数据沙龙现场视频[夏季]
适用人群
初级IT从业人员
课程简介
Hadoop生态系统正在从互联网领域快速扩展到传统行业，Hadoop正在迅速成为（或者说已经成为）数据中心里大规模数据处理方面的业界事实标准。

ChinaHadoop开源社区联络在一线互联网公司具有多年Hadoop大数据平台使用经验的技术专家，为大家献上一场精彩的技术分享活动。

51CTO独家提供相关视频资料，供大家学习。

课程
1
HBase在小米的应用
37分钟
嘉宾：崔建伟--小米科技研发工程师
2
百度的下一代离线存储系统
59分钟
嘉宾：童锁--百度基础架构部高级研发工程师
3
Hadoop在相似度计算中的优化
1小时8分钟
嘉宾：林述民--人人游戏数据科学家
4
Hadoop 2.0基本架构和发展趋势
43分钟
嘉宾：董西成--人民搜索研发工程师
5
HBase的技术特点和实践
45分钟
嘉宾：谭博侃--搜狗高级研发工程师
课程地址：
/course/course_id-432.html。