大数据采集技术概述大数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。
数据包括RFID 数据、传感器数据、用户行为数据、社交网络交互数据及移动互联网数据等各种类型的结构化、半结构化及非结构化的海量数据。
不但数据源的种类多，数据的类型繁杂，数据量大，并且产生的速度快，传统的数据采集方法完全无法胜任。
所以，大数据采集技术面临着许多技术挑战，一方面需要保证数据采集的可靠性和高效性，同时还要避免重复数据。
大数据分类传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。
在依靠并行计算提升数据处理速度方面，传统的并行数据库技术追求的是高度一致性和容错性，从而难以保证其可用性和扩展性。
在大数据体系中，传统数据分为业务数据和行业数据，传统数据体系中没有考虑过的新数据源包括内容数据、线上行为数据和线下行为数据3 大类。
在传统数据体系和新数据体系中，数据共分为以下5 种。
1.业务数据：消费者数据、客户关系数据、库存数据、账目数据等。
2.行业数据：车流量数据、能耗数据、PM2.5数据等。
3.内容数据：应用日志、电子文档、机器数据、语音数据、社交媒体数据等。
4.线上行为数据：页面数据、交互数据、表单数据、会话数据、反馈数据等。
5.线下行为数据：车辆位置和轨迹、用户位置和轨迹、动物位置和轨迹等。
大数据的主要来源如下。
1.企业系统：客户关系管理系统、企业资源计划系统、库存系统、销售系统等。
2.机器系统：智能仪表、工业设备传感器、智能设备、视频监控系统等。
3.互联网系统：电商系统、服务行业业务系统、政府监管系统等。
4.社交系统：微信、QQ、微博、博客、新闻网站、朋友圈等。
在大数据体系中，数据源与数据类型的关系如图1 所示。
大数据系统从传统企业系统中获取相关的业务数据。
图1 数据源与数据类型的关系机器系统产生的数据分为两大类：•通过智能仪表和传感器获取行业数据，例如，公路卡口设备获取车流量数据，智能电表获取用电量等。
