《智能网联汽车导论》教学课件—05智能网联汽车与大数据
- 格式：ppt
- 大小：4.11 MB
- 文档页数：33
下载文档原格式
合集下载
2024智能网联汽车概论课件模块一智能网联汽车概述
一智能网联汽车概述contents •智能网联汽车基本概念•智能网联汽车关键技术•智能网联汽车产业链分析•国内外典型案例分析•未来发展趋势预测与挑战分析•总结回顾与拓展思考目录定义与发展历程定义智能网联汽车是一种集环境感知、规划决策、多等级辅助驾驶等功能于一体的综合系统，它运用大数据、云计算、人工智能等新技术，实现车与车、路、人、云等智能信息交换共享，具备复杂环境感知、智能决策、协同控制等功能。
发展历程智能网联汽车经历了从单一功能到多功能集成，从低级自动化到高级自动化的发展历程。
随着技术的不断进步，未来智能网联汽车将实现更高程度的自动化和智能化。
技术体系架构及特点技术体系架构智能网联汽车技术体系架构包括感知层、决策层、执行层和控制层四个层次。
感知层负责采集车辆周围环境信息，决策层根据感知信息进行决策规划，执行层控制车辆各部件执行决策指令，控制层对整个系统进行监控和调度。
特点智能网联汽车具有环境感知、智能决策、协同控制等特点。
它能够实时感知周围环境信息，并根据不同场景做出智能决策和协同控制，提高驾驶安全性和舒适性。
行业应用现状及前景行业应用现状目前，智能网联汽车已经在多个领域得到应用，如自动驾驶出租车、物流运输车、公共交通等。
同时，各国政府和企业也在积极推动智能网联汽车的发展，加大技术研发和基础设施建设投入。
前景随着技术的不断进步和应用场景的不断拓展，智能网联汽车将迎来更加广阔的发展前景。
未来，智能网联汽车将实现更高程度的自动化和智能化，提高交通效率和安全性，改变人们的出行方式和生活方式。
同时，智能网联汽车也将成为智能交通系统的重要组成部分，推动交通行业的转型升级和可持续发展。
通过发射激光束并接收反射回来的光信号，精确测量距离和角度，实现环境感知和障碍物检测。
激光雷达利用毫米波段的电磁波进行探测，具有穿透雾、霾、尘等恶劣天气的能力，适用于中远距离的目标检测。
毫米波雷达通过捕捉图像信息，实现车道线识别、交通信号识别、行人检测等功能。
智能网联汽车技术教学课件项目一 智能网联汽车概论
谷歌的自动驾驶汽车始终是吸引眼球的焦点，主要得益于其高调的宣传以及谷 歌公司本身的高科技形象。实际上，谷歌的自动驾驶汽车代表了军用自主式自动 驾驶的技术路线，其技术源自美国国防部先进研究项目局（DARPA）。通过顶置 激光雷达等复杂传感系统对周围环境做全面感知，形成高精度数字地图，再根据 高精度地图进行轨迹规划与车辆自主决策及控制。其传感系统高昂的成本限制了 商业化应用，同时传感器可靠性与车辆高速性能也有待验证。类似的，我国军事 交通学院等单位研制的自动驾驶车辆也属于军用型方案。其优势是不依赖结构化 道路，对环境进行全面感知，可在全地形条件下“找路”。
智能网联汽车可以让人们在行进的汽车内随时随地购物和支付，应用场景包括网上商场、快餐店、加油站及停 车场等。另外，智能网联可以利用无线通信技术和网联技术进行文件传输、视频对话、会议交流等。这样，它就 成为了移动的办公室。 四、在信息娱乐服务方面的应用
智能网联汽车可以提供各种信息、娱乐、预约、应急服务等，其中信息包括车辆信息、路况信息、交通信息、 导航信息、定位信息、气象信息、旅游信息、商场信息、活动信息等；娱乐信息包括下载音乐、电影和游戏等， 共乘坐人员娱乐；预约包括活动预约、设施预约、餐厅预约、住宿预约、机票预约、保养预约等；应急服务包括 道路救援、救护、消防、保险等。随着各种车载专用APP的开发，并通过智能手机和车载单元连接，实现信息互联。
2）部分自动驾驶阶段（PA）通过环境信息对行驶方向和加减速中的多项操作提供支援，其 他操作都由驾驶员完成。
3）有条件自动驾驶阶段（CA）由无人驾驶系统完成所有驾驶操作，根据系统请求，驾驶员 需要提供适当的干预。
4）高度自动驾驶阶段（HA）由无人驾驶系统完成驾驶员能够完成的所有驾驶操作，特定环 境下系统会向驾驶员提出响应请求，驾驶员可以对系统请求不进行响应。
智能网联汽车可以让人们在行进的汽车内随时随地购物和支付，应用场景包括网上商场、快餐店、加油站及停 车场等。另外，智能网联可以利用无线通信技术和网联技术进行文件传输、视频对话、会议交流等。这样，它就 成为了移动的办公室。 四、在信息娱乐服务方面的应用
智能网联汽车可以提供各种信息、娱乐、预约、应急服务等，其中信息包括车辆信息、路况信息、交通信息、 导航信息、定位信息、气象信息、旅游信息、商场信息、活动信息等；娱乐信息包括下载音乐、电影和游戏等， 共乘坐人员娱乐；预约包括活动预约、设施预约、餐厅预约、住宿预约、机票预约、保养预约等；应急服务包括 道路救援、救护、消防、保险等。随着各种车载专用APP的开发，并通过智能手机和车载单元连接，实现信息互联。
2）部分自动驾驶阶段（PA）通过环境信息对行驶方向和加减速中的多项操作提供支援，其 他操作都由驾驶员完成。
3）有条件自动驾驶阶段（CA）由无人驾驶系统完成所有驾驶操作，根据系统请求，驾驶员 需要提供适当的干预。
4）高度自动驾驶阶段（HA）由无人驾驶系统完成驾驶员能够完成的所有驾驶操作，特定环 境下系统会向驾驶员提出响应请求，驾驶员可以对系统请求不进行响应。
《智能网联汽车技术概论》课件 - 第一章-智能网联汽车技术综述
• 2003年，国防科技大学与一汽合 作的红旗CA7460实现了高速公路 自动驾驶示范，最高时速170Km/ 小时，可以实现自动超车。
• 2011年7月，国防科技大学自主研 发的红旗HQ3无人驾驶汽车首次完 成了长沙至武汉286Km的高速全 程无人奥林匹 克森林公园”路线上来回行驶，吸 引了无数眼球。
• 2011年，内华达州率先通过了汽车驾 驶汽车立法，解决了州公路上自驾汽车 的路试问题。
No.10008
0
2
• 智能网联汽车的发展趋 势
No.10008
国外智能网联汽车的发展现状
• 1.美国自动驾驶技术发展
• 在美国、欧洲、日本等发达国家和地区， 自动驾驶技术是未来交通发展的重要方 向。在技术研发、道路测试、标准法规 和政策等方面，为智能网联汽车的发展 提供了条件。为了加快自动驾驶商业化 的政策支持，我国在这方面的研究也很 活跃，为自动驾驶技术的开发和测试创 造了坚实的基础。
• 在智能化层面，汽车配备了多种传感器（摄像 头、超声波雷达、毫米波雷达、激光雷达）， 实现对周围环境的自主感知，通过一系列传感 器信息识别和决策操作，汽车按照预定控制算 法的速度与预设定交通路线规划的寻径轨迹行
• 驶在。网联化层面，车辆采用新一代移动通信技术 （LTE-V、5G等），实现车辆位置信息、车速 信息、外部信息等车辆信息之间的交互，并由 控制器进行计算，通过决策模块计算后控制车 辆按照预先设定的指令行驶，进一步增强车辆 的智能化程度和自动驾驶能力。
人与系 统
人
自动驾驶系统（“系统”）监控驾驶环境
车道内正常行驶， 人 高速公路无车道干
涉路段，泊车工况。
高速公路及市区无
人
车道干涉路段，换 道、环岛绕行、拥
• 2011年7月，国防科技大学自主研 发的红旗HQ3无人驾驶汽车首次完 成了长沙至武汉286Km的高速全 程无人奥林匹 克森林公园”路线上来回行驶，吸 引了无数眼球。
• 2011年，内华达州率先通过了汽车驾 驶汽车立法，解决了州公路上自驾汽车 的路试问题。
No.10008
0
2
• 智能网联汽车的发展趋 势
No.10008
国外智能网联汽车的发展现状
• 1.美国自动驾驶技术发展
• 在美国、欧洲、日本等发达国家和地区， 自动驾驶技术是未来交通发展的重要方 向。在技术研发、道路测试、标准法规 和政策等方面，为智能网联汽车的发展 提供了条件。为了加快自动驾驶商业化 的政策支持，我国在这方面的研究也很 活跃，为自动驾驶技术的开发和测试创 造了坚实的基础。
• 在智能化层面，汽车配备了多种传感器（摄像 头、超声波雷达、毫米波雷达、激光雷达）， 实现对周围环境的自主感知，通过一系列传感 器信息识别和决策操作，汽车按照预定控制算 法的速度与预设定交通路线规划的寻径轨迹行
• 驶在。网联化层面，车辆采用新一代移动通信技术 （LTE-V、5G等），实现车辆位置信息、车速 信息、外部信息等车辆信息之间的交互，并由 控制器进行计算，通过决策模块计算后控制车 辆按照预先设定的指令行驶，进一步增强车辆 的智能化程度和自动驾驶能力。
人与系 统
人
自动驾驶系统（“系统”）监控驾驶环境
车道内正常行驶， 人 高速公路无车道干
涉路段，泊车工况。
高速公路及市区无
人
车道干涉路段，换 道、环岛绕行、拥
智能网联汽车技术课件
智能网联汽车技术课件智能网联汽车是一种前瞻性技术，它的出现使得传统的机械式汽车和现代信息技术相结合，从而实现车与车、车与人、车与环境之间的互联互通。
智能网联汽车不仅能够提高交通效率，缓解交通拥堵，同时也能提高驾驶安全，降低驾驶员的疲劳程度和事故率。
本课件将全面介绍智能网联汽车技术，包括其基本原理、应用场景、研发趋势等方面。
智能网联汽车技术需要借助于多种通信技术，包括移动通信、卫星导航、短距离通信等。
通过这些通信技术，智能网联汽车能够实现车与车之间的互相通信，也能实现车与基础设施之间的通信。
在车辆内部，智能网联汽车通过多种传感器收集车辆内部和周边环境的信息，包括车速、路况、天气等。
这些信息通过通信网络传输，并经过处理和分析，在汽车内部得出最优的驾驶方案。
1.智能驾驶：智能驾驶是智能网联汽车技术的核心应用之一，是指车辆的智能自动驾驶系统。
智能驾驶系统可以通过车内和车外的传感器获取车辆和道路的信息，然后计算出最优的驾驶方案。
目前，国内外的汽车厂商正在大力研发智能驾驶技术，以满足用户对于更加安全、自由的驾驶需求。
2.车联网：车联网是指车辆与互联网之间的连接，通过车内的通信设备和互联网通信，在车内获取更多的信息资源。
车联网可以通过提供实时信息、导航服务、娱乐和音乐等，提升车载用户体验。
3.智能交通：智能交通是指通过智能网联技术，实现道路、交通、车辆信息的交互，以便更加高效地管理和运营交通系统。
智能交通可以提高交通效率，缓解交通拥堵，减少车辆排放，更好地管理道路和交通。
1.智能驾驶和可靠性的提升：智能驾驶是智能网联汽车技术的核心，随着技术的不断发展，汽车可以自主驾驶的能力将不断提高。
2.人工智能和车辆交互：随着人工智能技术的进步，智能网联汽车将不仅仅是一个自动驾驶的工具，更可以成为人类生活的智能助手。
比如，深度学习技术可以识别驾驶员的情绪和行为，车辆可以提供个性化的驾驶建议，更好地服务用户。
3.多元化的应用场景：智能网联汽车不仅仅局限于道路交通，例如智能网联水上交通、智慧物流等，智能网联汽车的应用场景已经开始被拓展到更多的领域。
智能网联汽车技术教学PPT
激光雷达基础知识
激光雷达(Light Detection And Ranging, LiDAR)是一种光学 遥感技术，是一种可以精确、快速获取地面或大气三维空间信息的 主动探测技术，其应用范围和发展前景十分广阔。它的工作原理是： 首先向目标物体发射一束激光；然后根据接受-反射的时间间隔确定 目标物体的实际距离；再根据距离以及激光发射的角度通过几何关 系推到出物体的位置信息。此外根据反射信号的信号强弱和频率变 化等数，还可以确定被测目标的运动速度、姿态以及物体形状信息。
目录 Catalogue
1
激光雷达
2
毫米波雷达
3
超声波雷达
4 单目及双目摄像头
பைடு நூலகம்5 GPS全球定位系统
激光雷达
无人驾驶技术包含了高精地图、实 时定位、障碍物检测等在内的多种技术， 而激光雷达在这些技术中都能发挥重要 作用。本节主要介绍激光雷达的基本工 作原理及其在无人驾驶技术中的应用与 挑战。
激光雷达系统应用构架图
毫米波(Millimeter Wave, MMW)是指长度在110mm的电磁波，对 应的频率范围为30300GHz。毫米波位于微波与远红外波相交叠的波 长范围，所以毫米波兼有这两种波谱的优点，同时也有自己独特的 性质。
毫米波雷达(Millimeter Wave Radar)测距原理很简单，就是把 无线电波(毫米波)发出去，然后接收回波，并根据收发的时间差测 得目标的位置数据和相对距离。根据电磁波的传播速度，可以确定 目标的距离为：s=ct/2，其中s为目标距离，t为电磁波从雷达发射 出去到接收到目标回波的时间，c为光速，也即电磁波传播的速度。
LiDAR技术面临的挑战
(3)成本挑战 对于激光雷达来说，高昂的设备成本是它需要克服的最大挑战之一。
智能网联汽车导论-课件(共八章)
集合三大趋势的汽车称之为智能网联汽车，即指搭载先进传感器、 控制器、执行器等装置，并融合现代通信与网络技术，实现车与人、车、 路灯智能信息交换共享，实现安全、舒适、节能、高效行驶，并最终可 替代人来操作的新一代汽车。
1.2.1国外智能网联汽车发展历程与现状
国外在智能网联汽车的研究相对较早，比如 美 国、日本、欧盟等国家，它们对智能网联汽车 的研 究依托于智能交通系统的整体发展。总体来 看，美 国、日本、欧盟国家智能网联汽车的发展 受到各国 政府的高度重视，相继出台了以车辆智能化、网联 化为核心的发展战略。
1.汽车的诞生 （2）内燃机汽车
艾提力· 雷诺（Etience Lenor）在1800 年制造了一种燃料在外部燃烧的蒸汽机 （即外燃机） 。与蒸汽机有所不同的是
它可以让燃料在发动机内部燃烧，人们后 来称这类发动机为内燃机。
1879年，德国工程师卡尔· 苯茨首次试 验成功一台二冲程试验性发动机，并于 1885年制成了第一辆苯茨专利机动车。 1886年被称为汽车元年，本茨和戴姆
（2）20世纪70年代初到80年代中期是汽车电子技术迅速发展 阶段。此阶段主要是开发汽车各系统专用的独立控制部分，将电子装
置应用于某些机械装置无法解决的复杂控制功能方面，如发动机控制 系统、制动防抱死（ABS）系统等。对于电动汽车，主要是研究整车 控制、电机控制和电池管理等电子控制技术从而提高汽车动力性、经 济性、安全性、舒适性，满足用户对能源利用率和汽车性能的需求。
1.汽车的诞生 （1）蒸汽汽车
在1769年，法国炮兵大尉N. J. Cugnot 接到命令需要研制一款大炮的牵引车，在 这种机缘巧合下第一辆蒸气三轮汽车诞生 了。该车前面支撑着一个梨形大锅炉，后 边安装了两个气缸，锅炉产生的蒸汽送进 气缸，推动气缸里面的活塞上下运动，再
1.2.1国外智能网联汽车发展历程与现状
国外在智能网联汽车的研究相对较早，比如 美 国、日本、欧盟等国家，它们对智能网联汽车 的研 究依托于智能交通系统的整体发展。总体来 看，美 国、日本、欧盟国家智能网联汽车的发展 受到各国 政府的高度重视，相继出台了以车辆智能化、网联 化为核心的发展战略。
1.汽车的诞生 （2）内燃机汽车
艾提力· 雷诺（Etience Lenor）在1800 年制造了一种燃料在外部燃烧的蒸汽机 （即外燃机） 。与蒸汽机有所不同的是
它可以让燃料在发动机内部燃烧，人们后 来称这类发动机为内燃机。
1879年，德国工程师卡尔· 苯茨首次试 验成功一台二冲程试验性发动机，并于 1885年制成了第一辆苯茨专利机动车。 1886年被称为汽车元年，本茨和戴姆
（2）20世纪70年代初到80年代中期是汽车电子技术迅速发展 阶段。此阶段主要是开发汽车各系统专用的独立控制部分，将电子装
置应用于某些机械装置无法解决的复杂控制功能方面，如发动机控制 系统、制动防抱死（ABS）系统等。对于电动汽车，主要是研究整车 控制、电机控制和电池管理等电子控制技术从而提高汽车动力性、经 济性、安全性、舒适性，满足用户对能源利用率和汽车性能的需求。
1.汽车的诞生 （1）蒸汽汽车
在1769年，法国炮兵大尉N. J. Cugnot 接到命令需要研制一款大炮的牵引车，在 这种机缘巧合下第一辆蒸气三轮汽车诞生 了。该车前面支撑着一个梨形大锅炉，后 边安装了两个气缸，锅炉产生的蒸汽送进 气缸，推动气缸里面的活塞上下运动，再
《智能网联汽车导论》教学课件—05智能网联汽车与大数据
1.数据收集 （1）传感器 传感器常用于测量物理环境变量并将其转化为可读的数 字信号以待处理。 （2）日志文件 日志是广泛使用的数据采集方法之一,由数据源系统产 生,以特殊的文件格式记录系统的活动。 （3）众包 “众包”是一种分布式的问题解决模式，指的是一个公 司或者机构、平台把过去由固定人员完成的工作任务， 以自由自愿的形式外包给（通常指网络上的）非特定大 众的做法。而“非特定大众”通过网络登录这些众包平 台即可接受和完成任务。
2.数据预处理
（1）数据集成
数据集成技术在逻辑上和物理上把来自不同数据源的数据进 行集中,为用户提供一个统一的视图。数据集成在传统的数 据库研究中是一个成熟的研究领域,如数据仓库和数据联合 方法。数据仓库又称为ETL,由3个步骤构成:
1）提取：连接源系统并选择和收集必要的数据用于随后的 分析处理。
b.基于云计算的交通信息应用
云计算提供的服务按照其应用模式可分为基础设施 即服务（IaaS）、平台即服务（PaaS）和软件即服 务（SaaS）。
云计算SPI模型
c.基于云计算的交通信息安全
交通云的信息安全主要有交通数据存储安全问题、交通 云平台可用性安全问题和云平台遭受攻击的安全问题等。
2）多源数据预处理技术
2.在汽车制造方面的应用
利用买车卖车用车维保大数据在造车领域的应用的 还是传统车企，4S模式就是这方面应用最好的案例， 4S包括整车销售(Sale)、零配件(Sparepart)、售后 服务(Service)、信息反馈(Survey)等，而最后这个 S(Survey)信息反馈就是大数据的应用。虽然说传统 车企的车型升级比较缓慢，但这些大数据是他们升 级、改造或开发新车型的重要依据。
互联网在汽车领域应用越来多，汽车变得更加智能。 除了传统的车企结合互联网技术不断更新自己的技 术以外，互联网企业也加入了造车的风潮。
智能网联汽车概论实训课程课件(中)
决策技术结构体系 决策层是自主驾驶系统智能性的直接体现，对车辆的行驶安全性和整车性能起着决定性 作用，以谷歌和斯坦福等为代表的众多企业和高校做出了大量研究。常见的决策体系结构有 分层递阶式、反应式以及二者的混合式。
行驶环境 环境感知
反应式体系结构
决策规划
基于行为推理 基于环境规划 目标任务识别 环境动态变化 地图建立规划
在此在基高础精上度，地进图一生步产提过取程、中处，理通和过标提注取矢车量辆图上形传，感包器括采道集路的网原络始信数息据、，道获路取属高性精信度息输地、入图道标特路题征几值何，信构息成和特道征路地上图主:
要标志的抽象信息。
单击此处添加文字 单击此处添加文字
高精度地图模型
(1)道路模型 为了实现和提高 路径规划功能，需要将现实世界 的道路结构进行抽象，形成以顶 点与边组成的拓扑图形结构，图 中的边以弧形线段表示，线段中 由一系列顺序的点表示线的基本 形状走势。在道路拓扑模型中除 了要标示出道路走势，还要描述 道路的连通关系，这种连通关系 是通过顶点确定。道路模型除了 图形属性还包括车道数量、道路
其他芯片解决方案 谷歌公布了AlphaGo战胜李世石的“秘密武器”——芯片 “TPU" (Tensor Processing Unit，张量 处理单元 )，它使得机器学习类深度神经网络模型在每瓦特性能上优于传统硬件。
谷歌公司TPU芯片示意图
“SI”概率芯片示意图
随堂练习
1、（多选）当硬件传感器接收到环境信息后，数据会被导入计算平台，由不同的芯片进行运算。计
B. 实现对可行驶区域的检测 D. 实现模糊行为决策
方面。
3、传统意义上自动驾驶系统的决策控制软件系统含
、
、
、 等功能模块。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3.数据处理层
数据处理层主要负责大数据的处理和分析工作。针 对不同类型的数据，一般需要不同的处理引擎。对 于静态的批量数据，一般采用批量处理引擎（例如： MapReduce）。对于动态的流式数据，一般采用 流处理引擎（例如：Storm）。对于图数据，一般 采用图处理引擎 （例如：Giraph）。基于处理引
互网在汽车领域应用越来多，汽车变得更加智能。 除了传统的车企结合互联网技术不断更新自己的技 术以外，互联网企业也加入了造车的风潮。
3.在营销领域的应用
大数据在汽车营销领域应用众多，如产品、渠道、 价格、顾客、行情等，但最为重要的包含两个方面： 一是通过获取数据并加以统计分析来充分了解市场 信息，掌握竞争者的商情和动态，知晓产品在竞争 群中所处的市场地位，来达到“知彼知己，百战不殆”
2）变换：通过一系列的规则将提取的数据转换为标准格式。
5.2.1大数据在智能网联汽车产业的应用
1.在研发方面的应用 智能网联汽车已经成为每一个汽车企业的目标。然
而，现在的应用其实只是入门级。如何能让汽车真 正转型为所谓数据中心、计算中心和控制中心呢？ 这就和我们的大数据本身的价值意义密切相关。
2.在汽车制造方面的应用
利用买车卖车用车维保大数据在造车领域的应用的 还是传统车企，4S模式就是这方面应用最好的案例， 4S包括整车销售(Sale)、零配件(Sparepart)、售后 服务(Service)、信息反馈(Survey)等，而最后这个 S(Survey)信息反馈就是大数据的应用。虽然说传统 车企的车型升级比较缓慢，但这些大数据是他们升 级、改造或开发新车型的重要依据。
其中数据质量贯穿于整个大数据流程，每一个数据 处理环节都会对大数据质量产生影响作用。通常， 一个好的大数据产品要有大量的数据规模、快速的 数据处理、精确的数据分析与预测、优秀的可视化 图表以及简练易懂的结果解释，以下内容将基于以 上环节分别分析不同阶段大数据的处理方式和应用。
1.数据收集 （1）传感器
智能网联汽车与大数据
5.1.1大数据简介 1.大数据特征 （1）规模庞大 （2）种类繁多 （3）变化频繁 （4）价值巨大但价值密度低
2.大数据的作用和意义
在经济方面，大数据成为了经济发展和转型的推动 力。
在社会方面，大数据成为提升政府治理能力的新途 径，社会安全保障的新领地。
5.在交通智能化领域的应用
随着云计算的不断发展，大数据的受关注度也越来 越高，而基于大数据在技术上、在应用上的强大功 能，被引用到了智能交通的管理中，通过理论、方 法和技术等来改善城市交通存在的问题。
智能网联汽车产业的大数据处理流程主要包括数据 收集、数据预处理、数据存储、数据处理与分析、 数据展示/数据可视化、数据分享与保密等环节，
2.数据存储层
数据存储层主要负责大数据的存储和管理工作。大数据 处理平台中的原始数据通常存放在分布式文件系统（例 如：HDFS）或是云存储系统（例如：Amazon S3、 Swift 等）。 为了便于对大数据进行访问和处理，大数 据处理平台通常会采用一些非关系型（NoSQL）数据
库对数据进行组织和管理。针对不同的数据形式和处理 要求，可以选用不同类型的非关系型数据库。常见的非 关系型数据库有键值（Key-Value）存储数据库（例如： Redis）、列存储数据库（例如：HBase）、文档型数 据库（例如：MongoDB）、图（Graph）数据库（例 如： Neo4J）等。
的目的；二是企业通过积累和挖掘汽车行业消费者 档案数据，有助于分析顾客的消费行为和价值趣向， 便于更好地为消费者服务和发展忠诚顾客。
4.在服务领域的应用
大数据在汽车服务领域的应用。以保险公司为例， 保险工作早前会通过OBD或者其他的智能盒子来收
集车主的驾驶行为数据，如果一个人从来不违章， 那么给他的保险就可以打很低的折扣，如果对于经 常违章发生车祸的车主，那么就可以拒保，不仅增 进投保数量更能增进保险的质量。再者就是车辆的 使用时间和闲置时间，可以做分时租赁提供数据。
传感器常用于测量物理环境变量并将其转化为可读的数 字信号以待处理。
（2）日志文件 日志是广泛使用的数据采集方法之一,由数据源系统产
生,以特殊的文件格式记录系统的活动。 （3）众包
“众包”是一种分布式的问题解决模式，指的是一个公 司或者机构、平台把过去由固定人员完成的工作任务， 以自由自愿的形式外包给（通常指网络上的）非特定大 众的做法。而“非特定大众”通过网络登录这些众包平 台即可接受和完成任务。
擎提供的各种基础性的数据计算和处理功能，大数 据处理平台中通常会有一些提供复杂数据处理和分 析的工具，例如：数据挖掘工具、机器学习工具、 搜索引擎等。
4.服务封装层
服务封装层主要负责根据不同的用户需求对各种大 数据处理和分析功能进行封装并对外提供服务。常 见的大数据相关服务包括：数据的可视化、数据查 询分析、数据的统计分析等。
2.数据预处理
（1）数据集成
数据集成技术在逻辑上和物理上把来自不同数据源的数据进 行集中,为用户提供一个统一的视图。数据集成在传统的数 据库研究中是一个成熟的研究领域,如数据仓库和数据联合 方法。数据仓库又称为ETL,由3个步骤构成:
1）提取：连接源系统并选择和收集必要的数据用于随后的 分析处理。
在科研方面，大数据成为科学研究的新途径。借助 对大数据的分析研究，能够发现医学、 物理、经济
和社会等领域的新现象，揭示自然与社会中的新规 律，并预测未来趋势。
1.数据采集层
数据采集层主要负责从各种不同的数据源采集数据。 常见的数据源包括：业务数据、互联网数据、物联 网数据等。对于不同的数据源，通常需要不同的采 集方法。对于存储在业务系统中的数据，一般采用 批量采集的方法，一次性的导入到大数据存储系统 中。对于互联网上的数据，一般通过网络爬虫进行 爬取。对于物联网产生的实时数据，一般采用流采 集的方式，动态的添加到大数据存储系统中或是直 接发送到流处理系统进行处理分析。