第2章 信息系统数据的采集与编码

信息论与编码研学笔记一、信息论与编码研学的详细过程1.阅读了教材或参考资料上的哪些内容？第一章绪论：§1.1 信息的一般概念信息存在于自然界，也存在于人类社会，其本质是运动和变化。

可以说哪里有事物的运动和变化，哪里就会产生信息。

信息必须依附于一定的物质形式存在，这种运载信息的物质，称为信息载体。

人类交换信息的形式丰富多彩，使用的信息载体非常广泛。

概括起来，有语言、文字和电磁波。

§1.2 信息的分类在众多的分类原则和方法中，最重要的就是按照信息性质的分类。

按照性质的不同可以把信息划分成语法信息、语义信息和语用信息三个基本类型。

其中最基本也是最抽象的类型是语法信息。

也是迄今为止在理论上研究得最多的类型。

§1.3 信息论的起源、发展及研究内容在人类历史的长河中，信息传输和传播手段经历了五次重大变革：语言的产生；文字的产生；印刷术的发明；电报、电话的发明；计算机与通信技术相结合，促进了网络通信的发展。

第2章：信源熵§2.1 单符号离散信源单符号离散信源的数学模型、自信息和信源熵、信源熵的基本性质和定理、加权熵的概念和基本性质、平均互信息、各种熵之间的关系§2.2 多符号离散信源序列信息的熵、离散平稳信源的数学模型、平稳信源的熵和极限熵、马尔可夫信源、信源冗余度§2.3 连续信源连续信源的熵、几种特殊连续信源的熵、连续信源熵的性质及最大连续熵定理、熵功率§2.4 离散信源无失真编码定理定长编码定理、变长编码定理第3章：信道容量§3.1 信道容量的数学模型和分类§3.2 单符号离散信源信道容量的定义、几种特殊离散信道的容量、离散信道容量的一般计算方法§3.3 多符号离散信源多符号离散信道的数学模型、离散无记忆信道的N次扩展信道和独立并联信道的信道容量§3.4 多用户信道多址接入信道、广播信道、相关信源的多用户信道§3.5 信道编码定理第4章：信息率失真函数§4.1 信息率失真函数失真函数和平均失真度、率失真函数定义、率失真函数性质§4.2 离散信源的信息率失真函数离散信源信息率失真函数的参量表达式、二元信源的率失真函数连续信息的率失真函数、连续信源失真函数的参量表达式、高斯信源的率失真函数、信息价值§4.4 保真度准则下的信源编码定理第5章：信源编码§5.1 离散信源编码香农编码、费诺编码、赫夫曼编码、游程编码、冗余位编码§5.2 连续信源编码最佳标量量化、矢量量化§5.3 相关信源编码预测编码、差值编码§5.4 变差值编码子带编码、小波变换第6章：信道编码§6.1 信道编码的概念信道编码的作用和分类、编码信道、检错和纠错原理、检错和纠错方式和能力§6.2 线形分组码线性分组码的描述、线性分组码的译码、码例与码的重构§6.3 循环码循环码的多项式描述、循环码的生成矩阵、系统循环码、多项式运算电路、循环码的编码电路、循环码的伴随多项式与检测、BCH 码与RS 码 §6.4 卷积码卷积码的矩阵描述、卷积码的多项式描述、卷积码的状态转移图与格描述、维特比（Viterbi ）译码算法第7章：密码体制的安全性测度§7.1 密码基本知识§7.2 古典密码体制§7.3 现代密码体制§7.4 密码体制的安全性测度2.证明了教材或参考资料上哪些没有证明的定理？1）最大离散熵定理:离散无记忆信源输出M 个不同的信息符号,当且仅当各个符号出现概率相等时（即pi=1/M ）,熵最大。

计算机系统导论——读书笔记——第⼆章信息的表⽰和处理第⼆章信息的表⽰和处理2.1 信息存储2.1.1 ⼗六进制2.1.2 字数据⼤⼩2.1.3 寻址和字节顺序1.地址：对象所使⽤的字节中最⼩的地址2.⼤端法：最⾼有效字节在前⼩端法：最低有效字节在前（⼤多Intel兼容机使⽤）3.发送⽅机器（内部代码）——>⽹络应⽤程序（⽹络标准）——>接收⽅机器（内部代码）4.⼩程序——打印程序对象的字节表⽰1 #include <stdio.h>2using namespace std;34 typedef unsigned char * byte_pointer;//定义类型：指向unsigned char的指针56void show_byte(byte_pointer start, size_t len){7 size_t i;8for(i = 0; i < len; ++i)9 printf(" %.2x", start[i]);//%.2x表⽰整数必须⽤⾄少两个数字的⼗六进制格式输出10 printf("\n");11 }1213void show_int(int x){14 show_byte((byte_pointer) &x, sizeof(int));15 }1617void show_float(float x){18 show_byte((byte_pointer) &x, sizeof(float));19 }2021void show_double(double x){22 show_byte((byte_pointer) &x, sizeof(double));23 }2425void show_pointer(void * x){//void*是特殊类型的指针，没有相关联的类型信息26 show_byte((byte_pointer) &x, sizeof(void *));27 }2829int main(){30int x;31float y;32double z;33while(scanf("%d %f %lf", &x, &y, &z)){34 show_int(x);35 show_float(y);36 show_double(z);37 show_pointer(&x);38 show_pointer(&y);39 show_pointer(&z);40 }41return0;42 }输⼊111-1-1.0-1.0123451.0011.001输出01 00 00 0000 00 80 3f00 00 00 00 00 00 f0 3f98 f5 bf ef fe 7f 00 0094 f5 bf ef fe 7f 00 0088 f5 bf ef fe 7f 00 00ff ff ff ff00 00 80 bf00 00 00 00 00 00 f0 bf98 f5 bf ef fe 7f 00 0094 f5 bf ef fe 7f 00 0088 f5 bf ef fe 7f 00 0039 30 00 00c5 20 80 3f6a bc 74 93 18 04 f0 3f98 f5 bf ef fe 7f 00 0094 f5 bf ef fe 7f 00 0088 f5 bf ef fe 7f 00 00我的电脑是MaxOS，可以看出它是64位系统，采⽤⼩端法表⽰5.可以通过在终端（mac是terminal，windows是命令⾏⼯具）执⾏命令man ascii得到⼀张ASCII字符码表，回车后运⾏结果如下ASCII(7) BSD Miscellaneous Information Manual ASCII(7)NAMEascii -- octal, hexadecimal and decimal ASCII character setsDESCRIPTIONThe octal set:000 nul 001 soh 002 stx 003 etx 004 eot 005 enq 006 ack 007 bel010 bs 011 ht 012 nl 013 vt 014 np 015 cr 016 so 017 si020 dle 021 dc1 022 dc2 023 dc3 024 dc4 025 nak 026 syn 027 etb030 can 031 em 032 sub 033 esc 034 fs 035 gs 036 rs 037 us040 sp 041 ! 042 " 043 # 044 $ 045 % 046 & 047 '050 ( 051 ) 052 * 053 + 054 , 055 - 056 . 057 /060 0 061 1 062 2 063 3 064 4 065 5 066 6 067 7070 8 071 9 072 : 073 ; 074 < 075 = 076 > 077 ?100 @ 101 A 102 B 103 C 104 D 105 E 106 F 107 G110 H 111 I 112 J 113 K 114 L 115 M 116 N 117 O120 P 121 Q 122 R 123 S 124 T 125 U 126 V 127 W130 X 131 Y 132 Z 133 [ 134 \ 135 ] 136 ^ 137 _140 ` 141 a 142 b 143 c 144 d 145 e 146 f 147 g150 h 151 i 152 j 153 k 154 l 155 m 156 n 157 o160 p 161 q 162 r 163 s 164 t 165 u 166 v 167 w170 x 171 y 172 z 173 { 174 | 175 } 176 ~ 177 delThe hexadecimal set:00 nul 01 soh 02 stx 03 etx 04 eot 05 enq 06 ack 07 bel08 bs 09 ht 0a nl 0b vt 0c np 0d cr 0e so 0f si10 dle 11 dc1 12 dc2 13 dc3 14 dc4 15 nak 16 syn 17 etb18 can 19 em 1a sub 1b esc 1c fs 1d gs 1e rs 1f us20 sp 21 ! 22 " 23 # 24 $ 25 % 26 & 27 '28 ( 29 ) 2a * 2b + 2c , 2d - 2e . 2f /30 0 31 1 32 2 33 3 34 4 35 5 36 6 37 738 8 39 9 3a : 3b ; 3c < 3d = 3e > 3f ?40 @ 41 A 42 B 43 C 44 D 45 E 46 F 47 G48 H 49 I 4a J 4b K 4c L 4d M 4e N 4f O50 P 51 Q 52 R 53 S 54 T 55 U 56 V 57 W58 X 59 Y 5a Z 5b [ 5c \ 5d ] 5e ^ 5f _60 ` 61 a 62 b 63 c 64 d 65 e 66 f 67 g68 h 69 i 6a j 6b k 6c l 6d m 6e n 6f o70 p 71 q 72 r 73 s 74 t 75 u 76 v 77 w78 x 79 y 7a z 7b { 7c | 7d } 7e ~ 7f delThe decimal set:0 nul 1 soh 2 stx 3 etx 4 eot 5 enq 6 ack 7 bel8 bs 9 ht 10 nl 11 vt 12 np 13 cr 14 so 15 si16 dle 17 dc1 18 dc2 19 dc3 20 dc4 21 nak 22 syn 23 etb24 can 25 em 26 sub 27 esc 28 fs 29 gs 30 rs 31 us32 sp 33 ! 34 " 35 # 36 $ 37 % 38 & 39 '40 ( 41 ) 42 * 43 + 44 , 45 - 46 . 47 /48 0 49 1 50 2 51 3 52 4 53 5 54 6 55 756 8 57 9 58 : 59 ; 60 < 61 = 62 > 63 ?64 @ 65 A 66 B 67 C 68 D 69 E 70 F 71 G72 H 73 I 74 J 75 K 76 L 77 M 78 N 79 O80 P 81 Q 82 R 83 S 84 T 85 U 86 V 87 W88 X 89 Y 90 Z 91 [ 92 \ 93 ] 94 ^ 95 _96 ` 97 a 98 b 99 c 100 d 101 e 102 f 103 g104 h 105 i 106 j 107 k 108 l 109 m 110 n 111 o112 p 113 q 114 r 115 s 116 t 117 u 118 v 119 w120 x 121 y 122 z 123 { 124 | 125 } 126 ~ 127 delFILES/usr/share/misc/asciiHISTORYAn ascii manual page appeared in Version 7 AT&T UNIX.BSD June 5, 1993 BSD(END)2.1.4 表⽰字符串1.⼗进制数字‘y’的ascii码正好是0x3y2.strlen(str)函数不计算终⽌的空字符(ascii码为0x00)3.字符编码⽅式：（1）ASCII (American Standard Code for Information interchange)（2）Unicode (Unique Code)（3）UTF-8 / UTF-16 / UFT-32 (Unicode Transformation Format)2.1.5 表⽰代码2.1.6 布尔代数(Boolean Algebra)简介1.布尔运算&对|有分配律：a&(b|c) = (a&b)|(a&c)布尔运算|对&有分配律：a|(b&c) = (a|b)&(a|c)2.位向量：长度为w，由0和1组成的串应⽤：表⽰有限集合/压位运算(例：[01101010]表⽰集合{1,3,5,6})，位向量掩码/屏蔽信号3.布尔环(Boolean ring)，类似于整环/整数环“加法”逆元：^类似于+; 每个整数x有加法逆元-x使得x+(-x)=0，类似地，每个布尔元素a都有“加法逆元”a使得a^a=0; 有趣的性质:(a^b)^a=b 1//这是⼀个不需要第三个量的交换函数，不过它并没有性能上的优势2void inplace_swap(int *x, int *y){//*x = a, *y = b3 *x = *x ^ *y;//*x = a^b, *y = b4 *y = *x ^ *y;//*x = a^b, *y = a5 *x = *x ^ *y;//*x = b, *y = a6 }2.1.7 C语⾔中的位级运算：&, |, ^, ~2.1.8 C语⾔中的逻辑运算: &&, ||, ！2.1.9 C语⾔中的移位运算：>>, <<1.逻辑右移(⾼位补0，⽆符号数进⾏逻辑右移)算数右移(⾼位补符号位，有符号数进⾏算数右移)(1)初级运算符[]().->(2)单⽬运算符(3)算数运算符(4)移位运算符(5)关系运算符(6)位级运算符(7)逻辑运算符(8)赋值运算符2.2 整数表⽰2.2.1 整形数据类型2.2.2 ⽆符号数的编码(unsigned)2.2.3 补码编码(two's-complement)1.<limits.h>库：INT_MIN, INT_MAX, UINT_MAX<stdint.h>库：intN_t, UintN_t (t = 16,32,64等)(我在xcode上没有include这两个库也能直接使⽤INT_MIN、int32_t等)2.有符号数的表⽰⽅法(1)补码(two's-complement)：最⾼位权重为-2^(w-1)(2)反码(ones' complement)：最⾼位权重为-(2^(w-1)-1)(3)原码(sign-magnitude)：最⾼位为1表⽰所有其他位权重为负注：(2)(3)中0的表⽰法不唯⼀，有+0和-0两种2.2.4 有符号数和⽆符号数之间的转换(可能)改变数值，但不改变位表⽰1.补码转换为⽆符号数(w位)：TMin <= x < 0, T2U(x) = x + 2^w0 <= x <= TMax, T2U(x) = x2.⽆符号数转换为有符号数(w位)：0 <= x <= TMax, U2T(x) = xTMax < x <= UMax, U2T(x) = x - 2^w2.2.5 C语⾔中的有符号数和⽆符号数1.数字常量默认为有符号数，加上后缀u或U可创建⽆符号数常量2.类型转换的⽅式：(1)显式：强制类型转换(2)隐式：不同类型变量间赋值3.%d有符号⼗进制，%u⽆符号⼗进制，%o⼋进制，%x⼗六进制4.C语⾔对于同时包含有符号数和⽆符号数的表达式，会隐式地将有符号数转换为⾮负的⽆符号数 1/*2这是⼀个测试函数3注：TMin写成-2147483647-1⽽⾮-21474836484是因为limits.h中定义INT_MIN=-INT_MAX-1，以规避某些奇怪的现象5*/6 #include <cstdio>7using namespace std;89int main(){10 printf("-1 < 0u = %d\n", -1 < 0u);11 printf(" -1 = 0x%x \n", -1);12 printf(" 0u = 0x%x\n\n", 0u);1314 printf("2147483547 > (int)2147483648u = %d\n", 2147483547 > (int)2147483648u);15 printf(" 2147483547 = 0x%x \n", 2147483547);16 printf(" (int)2147483648u = 0x%x\n\n", (int)2147483648u);1718 printf("-2147483647-1u < 2147483647 = %d\n", -2147483647-1u < 2147483647);19 printf(" -2147483647-1u = 0x%x \n", -2147483647-1u);20 printf(" 2147483647 = 0x%x\n\n", 2147483647);2122 printf("-2147483647-1u < -2147483647 = %d\n", -2147483647-1u < -2147483647);23 printf(" -2147483647-1u = 0x%x \n", -2147483647-1u);24 printf(" -2147483647 = 0x%x\n\n", -2147483647);25return0;26 }运⾏结果如下-1 < 0u = 0-1 = 0xffffffff0u = 0x02147483547 > (int)2147483648u = 12147483547 = 0x7fffff9b(int)2147483648u = 0x80000000-2147483647-1u < 2147483647 = 0-2147483647-1u = 0x800000002147483647 = 0x7fffffff-2147483647-1u < -2147483647 = 1-2147483647-1u = 0x80000000-2147483647 = 0x800000012.4 浮点数2.4.1 ⼆进制⼩数2.4.2 IEEE浮点表⽰1.表⽰形式：(1)符号(sign)s: 表⽰+-(2)尾数(significand)M：⼆进制⼩数，取值范围为[1,2)或[0,1)(3)阶码(exponent)E：对浮点数加权，权重为2的E次幂2.编码：s编码符号sign s，exp编码阶码exponent E，frac编码尾数significand M3.三种情况(1)规格化的(noemalized): exp!=00...0 && exp!=11 (1)i. 阶码 E = exp - bias, bias = 2^(k-1)-1, k=exp的位数ii. 尾数 M = 1.xx...x = 1.frac的位（隐含的以1开头的表⽰）(2)⾮规格化的(denormalized): exp == 00 0i. 阶码 E = 1 - bias, bias = 2^(k-1)-1, k=exp的位数ii. 尾数 M = 0.xx...x = 0.frac的位iii.注意：0.0有两种表⽰⽅法+0.0和-0.0，符号位分别为0或1,其他位全部为0(3)特殊值: exp == 11 (1)i. ⽆穷：frac = 00...0, s=0或1表⽰+∞或-∞，能够表⽰溢出的运算结果，如x/0 ii. Nan(not a number): frac != 00...0, 表⽰⾮实数的运算结果，如根号-1,∞-∞4.三种情况的数字分布⾮规格化数字的阶码定义为E=1-bias可以补偿⾮规格化的尾数没有隐含的开头1，有助于数字表⽰的平滑转变；否则，在绝对值最⼤的⾮规格化数字（其⼆进制表⽰为0 00...0 11...1）和绝对值最⼩的规格化数字（其⼆进制表⽰为0 00...01 00...0）之间将存在跳跃2.4.3 数字⽰例1. 处理正浮点数时，若按照⽆符号整数解释他们的⼆进制表⽰，则可以发现它们的⼤⼩顺序不变；负浮点数只需要倒序。

信息技术基础知识点大纲第一章信息与信息技术1．1 信息及其特征信息无处不在1.物质、能源和信息（information）是人类社会的三大要素。

2.信息指数据（data）、信号、消息中所包含的意义。

3.信息是事物的运动状态和关于事物运动状态的描述。

4.世界上的万事万物都在不停地运动、变化，万事万物里都有信息。

P25.信息是指对消息接受者来说是预先不知道的东西，所以具有“不确定性”。

信息的载体和形态1．信息本身不是实体，必须通过载体才能体现，但不随载体的物理形式而变化。

2．语言、文字、声音、图像和视频等是信息的载体，也是信息的常见表现形态。

3．纸张可以承载文字和图像，磁带可以承载声音，电视可以承载语言、文字、声音、图像和视频，所以也把纸张、磁带、广播、电视、光盘、磁盘等称为信息的载体。

4．相同的信息，可以用多种不同的载体来表示和传播。

5．不存在没有载体的信息。

信息的五个特征1．信息的表示、传播、储存必须依附于某种载体，载体就是承载信息的事物。

2．信息是可以加工和处理的。

信息也可以从一种形态转换成另一种形态。

3．信息可以脱离它所反映的事物被存储和保留和传播。

4．信息是可以传递和共享的。

信息可以被重复使用而不会像物质和能源那样产生损耗。

5．信息具有时效性。

1．2 信息的编码1.信息的代码：把用来表示信息的符号组合叫做信息的代码。

2.计算机只能识别和处理由“0”、“1”两个符号组成的数字代码。

或称计算机只能识别机器语言。

3.冯·诺依曼：数据和程序都应采用二进制代码表示。

4.基本单位：字节，Byte简写“B”；最小单位：位，bit简写“b”。

5. 1B=8b；1KB=1024B；1MB=1024KB；1GB=1024MB。

6. n位能最多表示2n个数，能表示的最大十进制数是2n-1。

7.进位制标识：二进制（B），十进制（D），十六进制（H）8.二进制进位规则：逢二进一。

9.十六进制转换为二进制时，每一位十六进制数对应4位二进制数，反之相同。

第一条医院信息系统基本功能规范第一章总则第一条为加强卫生信息化工作旳规范管理, 深入加紧卫生信息化基础设施建设, 保证医院信息系统旳质量, 减少不必要旳反复研制和挥霍, 保护顾客利益, 推进和指导医院信息化建设, 特制定本《医院信息系统基本功能规范》。

第二条制定本规范旳目旳是为卫生部信息化工作领导小组评审医院信息系统提供一种基本根据, 亦是现阶段商品化医院信息系统必须到达旳基本规定。

第三条本规范同步为各级医院进行信息化建设旳指导性文献, 用于评价各级医院信息化建设程度旳基本原则。

第四条医院信息系统旳定义: 医院信息系统是指运用计算机软硬件技术、网络通讯技术等现代化手段, 对医院及其所属各部门对人流、物流、财流进行综合管理, 对在医疗活动各阶段中产生旳数据进行采集、存贮、处理、提取、传播、汇总、加工生成多种信息, 从而为医院旳整体运行提供全面旳、自动化旳管理及多种服务旳信息系统。

医院信息系统是现代化医院建设中不可缺乏旳基础设施与支撑环境。

第五条实用性是评价医院信息系统旳重要原则。

它应当符合现行医院体系构造、管理模式和运作程序, 能满足医院一定期期内对信息旳需求。

它是现代医院管理工作中不可缺乏旳重要构成部分, 并能对提高医疗服务质量, 工作效率, 管理水平, 为医院带来一定旳经济效益和社会效益产生积极旳作用。

第六条医院信息系统不是简朴地模拟现行手工管理措施, 而是根据医院管理模式采用科学化、信息化、规范化、原则化理论设计建立旳。

在建设医院信息系统前, 医院必须首先规范自身旳管理制度及运行模式。

医院信息系统建立旳过程, 应是医院自身规范管理模式和管理流程, 提高工作效率, 不停完善机制旳过程。

第七条医院信息系统是一种综合性旳信息系统, 功能波及到国家有关部委制定旳法律、法规。

包括医疗、教育、科研、财务、会计、审计、记录、病案、人事、药物、保险、物资、设备…等等。

因此, 评价医院信息系统首先必须保证与我国现行旳有关法律、法规、规章制度相一致, 并能满足各级医疗机构和各级卫生行政部门对信息旳规定。