收集数据的方法有哪三种

数据的收集方式

一、数据的两种收集方式：全面调查（普查）和抽样调查（抽查）.对于收集方式的选择，主要看以下几个方面：1.数据精确度的要求：精确度要求高的适用普查，精确度低的适用抽查. 2.调查数据数量的大小和复杂程度：调查数据的数量较小或复杂程度不大时，适用普查；调查数据的数量较大或复杂程度较大时，适用抽查.3.获得数据是否具有破坏性：有些数据的获得是以破坏调查对象为代价的，就不能用普查而是应用抽查.

二、典型试题：

1、(2010 重庆) 下列调查中，适宜采用普查的是（ ）

A. 对全中国中学生心理健康现状的调查

B. 对市场上的冰淇淋质量的调查

C.对我市市民实施低碳生活情况的调查

D.对我国大型民用直升机各零部件的检查

【解析】：选项A、B、C所涉及的工作量太大，复杂程度也很大，耗时太长，适用抽查，选项D所涉及的调查数据较小，且对部件的检查非常重要，要求面面俱到，必须用普查.故选D.

2、（2010 湖南）下列各项调查：

①调查中央电视台《焦点访谈》节目的收视率

②某校学生订做校服，调查学生的胸围、腰围

③一批罐头产品的质量检查

④对河水污染情况的调查

其中适用全面调查的是( )

A.② B.②③④ C.①②③ D.①②③④

【解析】：①③④中的工作量很大且精确度的要求也不是太高，适用抽查；②中由于订做衣服，要求合身，必须有较高的精确度.故选A

.

数据采集的方法

一、基本方法 数据采集根据采集数据的类型可以分为不同的方式，主要方式有：传感器采集、爬虫、录入、导入、接口等。

(1) 传感器监测数据：通过传感器，即现在应用比较广的一个词：物联网。通过温湿度传感器、气体传感器、视频传感器等外部硬件设备与系统进行通信，将传感器监测到的数据传至系统中进行采集使用。

(2) 第二种是新闻资讯类互联网数据，可以通过编写网络爬虫，设置好数据源后进行有目标性的爬取数据。

(3)

第三种通过使用系统录入页面将已有的数据录入至系统中。

(4) 第四种方式是针对已有的批量的结构化数据可以开发导入工具将其导入系统中。

（5）第五种方式，可以通过API接口将其他系统中的数据采集到本系统中。

二、大数据技术的数据采集

（1）离线采集：

工具：ETL；

在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中，需要针对具体的业务场景对数据进行治理，例如进行非法数据监测与过滤、格式转换与数据规范化、数据替换、保证数据完整性等。

（2）实时采集：

工具：Flume/Kafka；

实时采集主要用在考虑流处理的业务场景，比如，用于记录数据源的执行的各种操作活动，比如网络监控的流量管理、金融应用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据采集会成为Kafka的消费者，就像一个水坝一般将上游源源不断的数据拦截住，然后根据业务场景做对应的处理（例如去重、去噪、中间计算等），之后再写入到对应的数据存储中。这个过程类似传统的ETL，但它是流式的处理方式，而非定时的批处理Job，些工具均采用分布式架构，能满足每秒数百MB的日志数据采集和传输需求

（3）互联网采集：

工具：Crawler, DPI等；

Scribe是Facebook开发的数据(日志)收集系统。又被称为网页蜘蛛，网络机器人，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的采集。

数据采集

数据采集（DAQ），是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号，送到上位机中进行分析，处理。数据采集系统是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统。

数据采集，又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。数据采集技术广泛应用在各个领域。比如摄像头，麦克风，都是数据采集工具。

被采集数据是已被转换为电讯号的各种物理量，如温度、水位、风速、压力等，可以是模拟量，也可以是数字量。采集一般是采样方式，即隔一定时间（称采样周期）对同一点数据重复采集。采集的数据大多是瞬时值，也可是某段时间内的一个特征值。准确的数据测量是数据采集的基础。数据量测方法有接触式和非接触式，检测元件多种多样。不论哪种方法和元件，均以不影响被测对象状态和测量环境为前提，以保证数据的正确性。数据采集含义很广，包括对面状连续物理量的采集。在计算机辅助制图、测图、设计中，对图形或图像数字化过程也可称为数据采集，此时被采集的是几何量（或包括物理量，如灰度）数据。

在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，数据采集领域已经发生了重要的变化。首先，分布式控制应用场合中的智能数据采集系统在国内外已经取得了长足的发展。其次，总线兼容型数据采集插件的数量不断增大，与个人计算机兼容的数据采集系统的数量也在增加。国内外各种数据采集机先后问世，将数据采集带入了一个全新的时代。

现在谈论大数据已经没有新意了，形形色色的产品、平台和公司都贴满大数据标签，但大数据却并没有掀起预期飓风，甚至还被冠以“伪命题”污名。

本末倒置，数据采集才是大数据产业的基石。都在说大数据应用、大数据价值挖掘，却不想，没有数据何来应用、价值一说。就好比不开采石油，一味想得到汽油。当然，石油开采并不容易，各行各业包括政府部门的信息化建设都是封闭式进行，海量数据被封在不同软件系统，数据源多种多样，数据量大、更新快。

第 1 页 共 2 页 收集数据的主要方法

问卷调查

这个相信你很熟悉。所谓问卷调查，就是设计一系列额外难题，通过网络、电话或纸张形式进行大面积铺放，然后把问卷回收在导出特定的信息。

对于网站、博客和Web-based来说，通过网络当然是最方便的办法。在设计问题时，首先你要清楚这次调查的目的是什么，然后对每个问题进行仔细的审核。

在问卷设计完成后，最好先找人试答一下，在设计问卷和分析结果时，可能任何一点细节都会影响到结论的准 确性和可信度。比如以下几个方面：

1：参加调查的用户不一定就代表所有用户。2：用户参加问卷调查的动机可能会影响数据收集结果。3：问卷的来源可能会影响数据结果。4：研究问题的措辞可能也会影响研究结果。

问卷调查主要适用于调查人权分布很广的情况，因为你无法和他们一一面谈。但是这种方式没有足够的可信度和权威性，所有通过你需要和其他技术配合使用。比如说，用户访谈。

用户访谈

访谈其实就是个人采访，你向他提出一组问题，通常大家所用的访谈方式就是QQ访谈，与单调的电子问卷相比，访谈更容易激发被访者的响应，整个过程也更令人愉快。不过用户访谈非常第 2 页 共 2 页 耗时，而且要访问到所有想访问的人也不太现实。对于这种情况，我们可以访谈一些有代表性的用户，然后对更广的用户进行问卷调查，以验证访谈得到的信息。

观察和提问

人们有时候可能很难解释清楚自己在做什么，也很难准确的描述如何执行某个任务。所有你可能需要花点时间来观察他们是如何确定自己想要的。

在观察和提问的过程中，如果你可以同时进行记录，这样的收集数据的效果是比较好的，尽管需要投入更大的时间和精力。

集体讨论

集体的专题讨论适合于了解多数人的意见，也你能突出不一致的观点。让设计师和用户都注意到自己的观点可能与其他人的不同，这是非常有益的。通过QQ群的访谈是最好的一种方式。

上面说的种种数据收集方式，是需要根据自己的能力，还有网站本身的特点来定的，最终目的是为了搞清楚用户到底需要什么，有了需求，后面的工作就有章可循，你研究的是用户的行为，他们的使用环境，还有一些支持工具。如果能考虑竞争对手的话，效果会更好。