下载文档原格式
第⼆章-信息技术发展1-信息技术及其发展1.1-计算机软硬件、计算机⽹络1.计算机硬件是指计算机系统中有电子、机械和光电元件等组成的各种物理装置的总称。
2.计算机软件是指计算机系统中的程序及文档，程序是计算任务的处理对象和处理规则的描述；文档是为了便于了解程序所需的阐明性资料。
3.硬件和软件相互依存。
4.从网络的作用范围可将网络类别划分为：个人局域网（PAN）、局域网（LAN）、城域网（MAN）、广域网（WAN）、公用网、专用网。
5.广域网协议主要包块：PPP 点对点协议、ISDN 综合业务数字网、xDSL、DDN 数字专线、x.25、FR 帧中继、ATM 异步传输模式。
6.IEEE 802 协议族：IEEE 802 规范定义了网卡如何访问传输介质（如光缆、双绞线、无线等），以及如何在传输介质上传输数据的方法，还定义了传输信息的网络设备之间连接的建立、维护和拆除的途径。
7.802.3（以太网的 CSMA/CD 载波监听多路访问/冲突检测协议）、802.11（无线局域网 WLAN 标准协议）。
8.OSI 七层网络模型从上到下：应用层（事务处理程序、文件传送协议）、表示层（管理数据的解密加密数据转换、格式化和文本压缩）、会话层（负责在网络中的两节点之间建立和维持通信，以及提供交互会话的管理功能）、传输层（提供建立、维护和拆除传送连接的功能）、网络层（网络地址 IP 地址翻译成对应物理地址 MAC 地址，并决定如何将数据从发送方路由到接收方，实现拥塞控制。
网际互联等）、数据链路层（物理地址寻址、数据的成帧、流量控制。
数据的检错重发等）、物理层（物理联网媒介，如电缆连线连接器）。
9.TCP/IP 是 Internet 的核心，共四层有：应用层（FTP 文件传输协议、TFTP 简单文件传输协议、HTTP 超文本传输协议、SMTP 简单邮件传输协议、DHCP 动态主机配置协议、Telnet 远程登录协议、DNS 域名系统、SNMP 简单网络管理协议）、传输层（TCP 传输控制协议、UDP 用户数据报协议）、网络层（IP 协议、ICMP 网络控制报文协议、IGMP 网际组管理协议、ARP 地址解析协议、RARP 反向地址解析协议）、网络接口层（底层协议，传输数据的物理媒介）。
第一章总则第一条为规范数据仓库的建设与管理，确保数据仓库的稳定运行和数据质量，提高数据利用率，根据《中华人民共和国数据安全法》、《中华人民共和国网络安全法》等相关法律法规，结合本单位的实际情况，制定本制度。
第二条本制度适用于本单位数据仓库的建设、运维、管理和使用。
第三条数据仓库的建设和管理应遵循以下原则：（一）统一规划，分步实施；（二）安全可靠，保障数据安全；（三）高效运行，提高数据利用率；（四）持续优化，提升服务质量。
第二章数据仓库建设第四条数据仓库建设应遵循以下流程：（一）需求分析：明确数据仓库建设的目标、功能、性能等要求；（二）方案设计：制定数据仓库建设方案，包括数据源、数据模型、技术架构等；（三）系统开发：根据设计方案进行系统开发，包括数据采集、数据存储、数据清洗、数据转换等；（四）系统测试：对数据仓库系统进行测试，确保系统稳定运行；（五）系统部署：将数据仓库系统部署到生产环境，进行试运行；（六）系统验收：根据验收标准对数据仓库系统进行验收。
第五条数据仓库建设应遵循以下要求：（一）数据源：选择具有权威性、准确性和可靠性的数据源；（二）数据模型：根据业务需求设计合理的数据模型，确保数据的一致性和完整性；（三）技术架构：采用成熟、稳定的技术架构，提高系统性能和可扩展性；（四）数据质量：对数据进行清洗、转换、融合等处理，确保数据质量。
第三章数据仓库运维管理第六条数据仓库运维管理应遵循以下要求：（一）系统监控：实时监控数据仓库系统的运行状态，确保系统稳定运行；（二）数据备份：定期进行数据备份，防止数据丢失；（三）故障处理：对系统故障进行及时处理，确保系统正常运行；（四）性能优化：根据业务需求，对系统进行性能优化，提高数据访问速度。
第七条数据仓库运维管理应设立以下岗位：（一）数据仓库管理员：负责数据仓库系统的日常运维管理；（二）数据分析师：负责数据仓库系统的数据分析和挖掘；（三）数据安全员：负责数据仓库系统的数据安全管理工作。
大数据分析知识：数据存储与管理——数据仓库、云计算和数据库随着技术的不断发展，越来越多的数据产生并蓄积，如何进行有效管理和利用已成为人们关注的焦点之一。
本文将从数据存储和管理的角度出发，分别介绍数据仓库、云计算和数据库的概念、特点及其在大数据领域的应用。
一、数据仓库数据仓库（Data Warehouse）是指从各个数据源中提取数据并经过处理后存储到一个统一且独立的数据集合中，以方便用户进行分析和决策的系统。
数据仓库通过将数据分析和查询分离，实现了数据决策支持系统的高效运行，从而提高数据的利用率。
数据仓库的特点：1.面向主题：数据仓库是面向主题的，即数据集中一般针对某个主体领域或数据分析任务。
例如，销售数据仓库、人力资源数据仓库等。
2.集成性：数据仓库具有集成性，可以将不同类型的数据源通过ETL（Extract-Transform-Load）的方式进行标准化、转换和加载，并保证数据之间的一致性和完整性。
3.时间性：数据仓库关注历史数据的存储和分析，并提供不同时间维度的数据展示方式，为决策者提供多样化的选择。
数据仓库在大数据领域的应用：1.数据分析和挖掘：通过数据仓库中的数据进行多维分析和数据挖掘，为决策者提供全面的数据支持。
2.企业级统一视图：数据仓库可以实现企业级统一视图，使决策者可以获得一份全面的数据报告。
3.交互式查询：数据仓库提供交互式的查询功能，用户可以根据需要自定义查询条件和维度，获得满足自己需求的数据结果。
二、云计算云计算（Cloud Computing）是指通过网络以服务方式提供计算资源的一种模式。
云计算基于分布式计算、虚拟化技术和自动化管理，通过网络实现数据处理和存储，通过服务模式进行资源使用和计费。
云计算的特点：1.弹性伸缩：云计算可以根据需求进行弹性伸缩，为企业和个人提供更加灵活的资源使用方式，从而降低IT成本、提高效率。
2.服务化：云计算基于服务的方式提供资源，用户可以根据需要选择提供商和服务类型，并根据实际使用量进行计费，降低了技术和资金门槛。
第一章总则第一条为确保公司数据仓库数据的安全、完整和可用，防止数据泄露、篡改、丢失等风险，特制定本制度。
第二条本制度适用于公司所有涉及数据仓库的数据收集、存储、使用、处理、传输、销毁等活动。
第三条本制度遵循以下原则：1. 隐私保护原则：对个人隐私数据进行严格保护，未经授权不得泄露。
2. 完整性原则：确保数据仓库数据的准确性和一致性。
3. 可用性原则：确保数据仓库数据在需要时能够及时、准确地提供。
4. 安全性原则：采取有效措施，防止数据泄露、篡改、丢失等风险。
第二章数据分类与分级第四条公司数据仓库数据分为以下几类：1. 公开数据：指对内对外公开的数据，如公司年报、产品介绍等。
2. 内部数据：指公司内部使用的数据，如员工信息、财务数据等。
3. 高级内部数据：指涉及公司核心业务、技术秘密的数据。
第五条公司数据仓库数据分级如下：1. 一级数据：涉及公司核心业务、技术秘密，对数据安全要求极高的数据。
2. 二级数据：涉及公司内部使用的数据，对数据安全要求较高的数据。
3. 三级数据：涉及公司公开数据，对数据安全要求较低的数据。
第三章数据安全责任第六条公司董事会对数据安全负有最终责任。
第七条公司高层管理人员对数据安全方针和政策负责，并由数据安全团队负责执行与管理数据安全。
第八条数据安全团队工作职责：1. 制定与颁布数据安全政策和规程。
2. 定期开展数据安全教育和训练。
3. 监测和识别数据安全风险。
4. 负责数据安全事件的调查和处理。
第九条所有公司员工应遵守数据安全制度，将数据安全作为工作的重中之重。
第四章数据收集与存储第十条数据收集应遵循以下原则：1. 合法性原则：收集数据应合法合规，不得侵犯他人合法权益。
2. 诚信原则：收集数据应诚实守信，不得虚构、篡改数据。
第十一条数据存储应遵循以下要求：1. 选用安全可靠的数据存储设备。
2. 对数据进行加密存储，防止数据泄露。
3. 定期对数据进行备份，确保数据安全。
第五章数据使用与处理第十二条数据使用应遵循以下原则：1. 依法使用原则：使用数据应符合法律法规的要求。
数据仓库与数据分析第一、二、三章一、数据处理的类型：1、操作型处理：操作型处理主要完成数据的收集、整理、存储、查询和增、删改操作等，主要由一般工作人员和基层管理人员完成。
2、分析型处理：分析型处理是对数据的再加工，往往要访问大量的历史数据，进行复杂的统计分析，从中获取信息，因此也称为信息型处理，主要由中高级管理人员完成。
操作型数据处理：二、联机事务处理系统（OLTP）的主要功能：对事务进行处理，快速地响应客户的服务要求，使企业的业务处理自动化。
其主要性能指标是事务处理效率和事务吞吐率，每个事务处理的时间越快越好，单位时间能完成的事务数量越多越好。
三、dbms：数据库管理系统。
Dwms:数据仓库管理系统。
OLAP：联机分析处理。
Oltp基于db,olap基于dw。
四、事务：用户定义的一个数据库操作序列，这些操作要么全做、要么全不做，是一个不可分割的工作单元。
在关系数据库中，一个事务可以是一条SQL语句、一组SQL语句或整个程序。
五、事务的ACID性质：1、原子性：事务是一个逻辑工作单元，是一个整体，是不可分割的。
2、一致性：事务在完成时，必须使所有的数据都保持一致状态。
3、隔离性：事务并发执行也能保持原子性和一致性，则是事务的隔离性。
4、持久性：一旦事务成功完成，该事务对数据库所施加的所有更新都是永久的。
六、决策支持系统（DSS）：分析型数据处理的典型。
决策支持系统需要具备的基本功能是建立各种数学模型，对数据进行统计分析，得出有用的信息作为决策的依据和基础。
DSS对数据集成的迫切需要是数据仓库技术出现的最重要动因。
分析型数据处理需要访问大量的当前和历史数据，进行复杂的计算，即需要本部门的数据也会需要其他部门的数据，甚至是竞争对手的数据。
七：操作型数据和分析型数据的区别：操作型数据分析型数据细节的综合的，或提炼的当前数据历史数据可更新（可以update）不更新（不可update，但可insert）操作需求事先可知道操作需求事先不知道完全不同的生命周期生命周期符合SDLC（软件开发生命周期）对性能要求高对性能要求宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向业务处理面向分析一次操作数据量大，计算复杂一次操作数据量小，计算简单支持日常操作支持管理需求八、数据分散的原因：1、事务处理应用的分散：OLTP系统一般只需要与本部门业务有关的当前数据，没有包括企业范围内的集成应用。
数据处理与存储数据在现代社会中扮演着至关重要的角色，无论是企业还是个人，都离不开对数据的处理与存储。
随着科技的不断发展，数据量呈现爆炸性增长，如何高效地处理和存储数据成为摆在我们面前的重要问题。
本文将从数据处理与数据存储两个方面进行探讨，并介绍当前常见的解决方案。
一、数据处理数据处理是指对收集到的原始数据进行清洗、整理、分析和计算等操作的过程。
它是获取有用信息的关键步骤，对于企业来说尤为重要。
合理高效的数据处理能够提升决策质量、优化运营效率，为企业带来巨大的经济效益。
1. 数据清洗数据清洗是指通过去除重复数据、纠正错误数据和填补缺失数据等一系列操作，使得数据达到可用的状态。
数据清洗的目的是保证数据的准确性和一致性，以便进行后续的分析和应用。
2. 数据整理数据整理是指对清洗后的数据进行合并、分类和格式化等处理，以便于后续的分析和利用。
通过数据整理，我们可以更好地理解数据之间的关联和规律，为决策提供有力支持。
3. 数据分析数据分析是指通过运用统计学、数学模型和机器学习等方法，发现数据中的信息和规律。
数据分析能够帮助我们理解数据的内在价值，预测未来的趋势，优化业务流程等。
在进行数据分析时，选择合适的算法和工具非常关键。
4. 数据计算数据计算是指对数据进行运算、聚合和计算等操作，以获得深入的洞察。
数据计算可以帮助我们揭示数据背后的潜在意义，发现问题并提供解决方案。
二、数据存储数据存储是指将处理后的数据进行保存和管理的过程。
为了满足爆炸性增长的数据需求，我们需要高效可靠的存储方案，以保证数据的安全和可用性。
1. 传统存储方式传统的数据存储方式主要包括硬盘存储和磁带存储。
硬盘存储是最常见的一种方式，无论是个人电脑还是服务器都广泛采用。
磁带存储则适用于大规模数据的长期备份和存档。
2. 云存储随着云计算的兴起，云存储逐渐成为一种新的数据存储方式。
云存储提供了高度可扩展和弹性的存储服务，用户可以根据实际需求灵活调整存储容量，并能够实现跨地域备份和容灾恢复。
