数据科学的基础知识

元数据 一、定义

元数据（Metadata）是关于数据的数据。它是用于描述信息资源的高度结构化数据。

元数据在数据生产过程中或完成后建立的。

二、功能

元数据是数据与数据用户之间的桥梁

1.支持资源发现

2.组织数字信息资源

3.支持资源的互操作

4.支持数字识别

5.支持存档和保存

三、分类

1. 按功能分

描述性元数据：与事物本质有关的元数据。

管理性元数据：与事物处理方式有关的元数据。包括权限管理、防伪管理、存储和使用

管理。

技术性元数据 保存性元数据

使用性元数据

2. 按复杂程度分

采用简单的记录格式

结构化的格式

复杂格式

3. 按描述的资源类型分

网络资源：Dublin Core、IAFA Template、CDF、Web Collections

文献资料：MARC（with 856 Field），Dublic Core

人文科学：TEI Header

社会科学数据集：ICPSR SGML Codebook

博物馆与艺术作品：CIMI、CDWA、RLG REACH Element Set、VRA Core

政府信息：GILS

地理空间信息：FGDC/CSDGM

数字图像：MOA2 metadata、CDL metadata、Open Archives Format、VRA Core、

NISO/CLIR/RLG Technical Metadata for Images

档案库与资源集合：EAD

技术报告：RFC 1807

连续图像：MPEG-7

四、结构

1.内容结构（数据元/字段/数据项）

定义元数据的构成元素，可包括描述性元素、技术性元素、管理性元素和结构性元素。

这些构成元素要满足元数据的功能要求，因此，往往与元数据的功能相对应。

当某个元素来自某个外部标准时，要在内容结构中对此说明。

2.句法结构（元数据实体/数据表/数据结构）

定义元数据内元素之间的相互关系（例如，树状结构）。

数据处理

（从小数据到大数据）

一、小数据

1、信息的度量

在计算机中：

最小数据单位：位（bit）

Bit: 0 或 1 （由电的状态产生： 有电 1，无电 0）

基本数据单位：字节（Byte, B）

1B=8bit

1KB=1024B

1MB=1024KB

1GB=1024MB

1TB=1024GB。

……

2、不同数制的表示方法

十进制(Decimal notation)，如 120, (120) 10， 120D

二进制(Binary notation) ，如 (1010)2 , 1010B

八进制(Octal notation) ，如 (175)8 , 175O

十六进制数(Hexdecimal notation) ，如 (2BF)16 , 2BF03H

十进制数 二进制数 八进制数 十六进制数

0 0 0 0

1 1 1 1

2 10 2 2

3 11 3 3

4 100 4 4

5 101 5 5

6 110 6 6

7 111 7 7

8 1000 10 8

9 1001 11 9

10 1010 12 A

11 1011 13 B

12 1100 14 C

13 1101 15 D

14 1110 16 E

15 1111 17 F

16 10000 20 10

3、不同数制之间的转换方法

（1）任意其他进制（二、八、十六）转换成十进制，可“利用按权展开式展开”。

例如：

10110.101B

=1×24＋0×23+1×22＋1×21＋0×20＋1×2-1 ＋0×2-2＋1×2-3

=22.625D

347.6O

=3×82＋4×81＋7×80＋6×8-1

=231.75D

D5.6H

=D×161＋5×160＋6×16-1 =213.375D

（2）十进制转换成任意其他进制（二、八、十六），整数部分的转换可按“除基取余，倒序排列”的方法，小数部分的转换可按“乘基取整，顺序排列” 的方法。（除倒取，乘正取）

检测数据处理基础知识

来源:czyxyq 时间:2009-02-04 字体:[大 中 小] 收藏 我要投稿

误差及相关概念 →真实值与标准值

误差是测量值与真实结果之间的差异，要想知道误差的大小，必须知道真实的结果，这个真实的值，我们称之“真值”。

1.真实值

从理论上说，样品中某一组分的含量必然有一个客观存在的真实数值，称之为“真实值”或“真值”。用“μ”表示。但实际上，对于客观存在的真值，人们不可能精确的知道，只能随着测量技术的不断进步而逐渐接近真值。实际工作中，往往用“标准值”代替“真值”。

2.标准值

采用多种可靠的分析方法、由具有丰富经验的分析人员经过反复多次测定得出的结果平均值，是一个比较准确的结果。

实际工作中一般用标准值代替真值。例如原子量、物理化学常数：阿佛伽得罗常数为6.02×10等。

与我们实验相关的是将纯物质中元素的理论含量作为真实值。

1.准确度

准确度是测定值与真实值接近的程度。

为了获得可靠的结果，在实际工作中人们总是在相同条件下，多测定几次，然后求平均值，作为测定值。一般把这几次在相同条件下的测定叫平行测定。如果这几个数据相互比较接近，就说明分析的精密度高。

2.精密度

精密度是几次平行测定结果相互接近的程度。

3.精密度和准确度的关系

（1）精密度是保证准确度的先决条件。

（2）高精密度不一定保证高准确度。

1.误差

（1） 定义：个别测定结果X、X …X与真实值μ之差称为个别测定的误差，简称误差。

（2） 表示：各次测定结果误差分别表示为X -μ、X -μ……X -μ。

（3）计算方法：

绝对误差

相对误差

对于绝对误差——测定值大于真值，误差为正值；测定值小于真值，误差为负值。

对于相对误差——反映误差在测定结果中所占百分率，更具实际意义。

一、电基础知识：

1、发电厂发出的、通过电线送到各家各户的电是220V交流电。这是足以引发触电事故、致人死亡的电。高压电有5500V以上。干电池的电压是1.5V。

2、电可以分为没有触电危险的和有触电危险的两大类。

3、在户外遇到雷雨时，不要躲在树下，更不要躲在孤零零的一棵树下。大树容易遭到雷击。不要靠近高压电线、铁塔、变电所。这些地方的电更危险。5500V以上的高压电，能越过一段距离电击，使人触电死亡。学校和家里的电线、插座的电都是很危险的220V的电。不要用这些电线、插座的电做实验。

4、电流过灯丝的时候，灯泡才发光。

5、干电池的一端是铜帽，另一端是锌壳。当电池的这两端被电线直接连接在一起时，就会发生短路。短路时，电线和电池会在一瞬间发热变烫，不仅灯泡不能发光，电线也会很快坏掉。

6、电从电池的一端流出，通过灯泡，回到这个电池的另一端，形成一个完整的环路，灯泡就会发光。小灯泡不亮，说明灯泡中没有电流通过。由电池、电线、灯泡组成的电流动的环路叫电路。

7、不能用我们实验室的电路检测器检测家用220V的电器电路。

8、电路故障了，我们可以用电路检测器来检测出哪里出了问题。我们也可以用替换法来排除故障，使灯泡亮起来。

9、像铜丝那样可以通过电流的物质，我们称它们为导体。

像电线外包着的塑料那样不能通过电流的物质，我们称它们为绝缘体。

10、我们利用导体把电送到人们需要的地方。我们利用绝缘体阻止电流到人们不希望有电的地方。

11、不要用湿布擦，也不能用湿手触摸电器和开关。

12、我们要好好保护绝缘体。

13、开关是控制电流通断的。

14、电路连接的方法有串联和并联两种。我们家里的家用电器一般都是并联的。一节电池的电压是1.5V，两节电池串联起来的电压就是3V。所以把电池串联起来小灯泡会更亮些。两节电池并联起来，电压还是1.5V。所以小灯泡不会太亮。

15、电路中的电压超过了小灯泡上标的1.5V，灯泡太亮会烧坏灯泡的。