数据中台之结构化大数据存储设计
一.前言
任何应用系统都离不开对数据的处理，数据也是驱动业务创新以及向智能化发展最核心的东西。这也是为何目前大多数企业都在构建数据中台的原因，数据处理的技术已经是核心竞争力。在一个完备的技术架构中，通常也会由应用系统以及数据系统构成。应用系统负责处理业务逻辑，而数据系统负责处理数据。
传统的数据系统就是所谓的『大数据』技术，这是一个被创造出来的名词，代表着新的技术门槛。近几年得益于产业的发展、业务的创新、数据的爆发式增长以及开源技术的广泛应用，经历多年的磨炼以及在广大开发者的共建下，大数据的核心组件和技术架构日趋成熟。特别是随着云的发展，让『大数据』技术的使用门槛进一步降低，越来越多的业务创新会由数据来驱动完成。
『大数据』技术会逐步向轻量化和智能化方向发展，最终也会成为一个研发工程师的必备技能之一，而这个过程必须是由云计算技术来驱动以及在云平台之上才能完成。应用系统和数据系统也会逐渐融合，数据系统不再隐藏在应用系统之后，而是也会贯穿在整个业务交互逻辑。传统的应用系统，重点在于交互。而现代的应用系统，在与你交互的同时，会慢慢的熟悉你。数据系统的发展驱动了业务系统的发展，从业务化到规模化，再到智能化。
业务化：完成最基本的业务交互逻辑。
规模化：分布式和大数据技术的应用，满足业务规模增长的需求以及数据的积累。
智能化：人工智能技术的应用，挖掘数据的价值，驱动业务的创新。
向规模化和智能化的发展，仍然存在一定的技术门槛。成熟的开源技术的应用能让一个大数据系统的搭建变得简单，同时大数据架构也变得很普遍，例如广为人知的Lambda架构，一定程度上降低了技术的入门门槛。但是对数据系统的后续维护，例如对大数据组件的规模化应用、运维管控和成本优化，需要掌握大数据、分布式技术及复杂环境下定位问题的能力，仍然具备很高的技术门槛。
数据系统的核心组件包含数据管道、分布式存储和分布式计算，数据系统架构的搭建会是使用这些组件的组合拼装。每个组件各司其职，组件与组件之间进行上下游的数据交换，而不同模块的选择和组合是架构师面临的最大的挑战。
本篇文章主要面向数据系统的研发工程师和架构师，我们会首先对数据系统核心组件进行拆解，介绍每个组件下对应的开源组件以及云上产品。之后会深入剖析数据系统中结构化数据的存储技术，介绍阿里云Tablestore选择哪种设计理念来更好的满足数据系统中对结构化数据存储的需求。
二.数据系统架构
1.核心组件
上图是一个比较典型的技术架构，包含应用系统和数据系统。这个架构与具体业务无关联，主要用于体现一个数据应用系统中会包含的几大核心组件，以及组件间的数据流关系。应用系统主要实现了应用的主要业务逻辑，处理业务数据或应用元数据等。数据系统主要对业务数据及其他数据进行汇总和处理，对接BI、推荐或风控等系统。整个系统架构中，会包含以下比较常见的几大核心组件：
（1）关系数据库：用于主业务数据存储，提供事务型数据处理，是应用系统的核心数据存储。
（2）高速缓存：对复杂或操作代价昂贵的结果进行缓存，加速访问。
（3）搜索引擎：提供复杂条件查询和全文检索。
（4）队列：用于将数据处理流程异步化，衔接上下游对数据进行实时交换。异构数据存储之间进行上下游对接的核心组件，例如数据库系统与缓存系统或搜索系统间的数据对接。也用于数据的实时提取，在线存储到离线存储的实时归档。
（5）非结构化大数据存储：用于海量图片或视频等非结构化数据的存储，同时支持在线查询或离线计算的数据访问需求。
（6）结构化大数据存储：在线数据库也可作为结构化数据存储，但这里提到的结构化数据存储模块，更偏在线到离线的衔接，特征是能支持高吞吐数据写入以及大规模数据存储，存储和查询性能可线性扩展。可存储面向在线查询的非关系型数据，或者是用于关系数据库的历史数据归档，满足大规模和线性扩展的需求，也可存储面向离线分析的实时写入数据。
（7）批量计算：对非结构化数据和结构化数据进行数据分析，批量计算中又分为交互式
分析和离线计算两类，离线计算需要满足对大规模数据集进行复杂分析的能力，交互式分析需要满足对中等规模数据集实时分析的能力。
（8）流计算：对非结构化数据和结构化数据进行流式数据分析，低延迟产出实时视图。
对于数据存储组件我们再进一步分析，当前各类数据存储组件的设计是为满足不同场景下数据存储的需求，提供不同的数据模型抽象，以及面向在线和离线的不同的优化偏向。我们来看下下面这张详细对比表：
2.派生数据体系
在数据系统架构中，我们可以看到会存在多套存储组件。对于这些存储组件中的数据，有些是来自应用的直写，有些是来自其他存储组件的数据复制。例如业务关系数据库的数据通常是来自业务，而高速缓存和搜索引擎的数据，通常是来自业务数据库的数据同步与复制。不同用途的存储组件有不同类型的上下游数据链路，我们可以大概将其归类为主存储和辅存储两类，这两类存储有不同的设计目标，主要特征为：
（1）主存储：数据产生自业务或者是计算，通常为数据首先落地的存储。ACID等事务特性可能是强需求，提供在线应用所需的低延迟业务数据查询。
（2）辅存储：数据主要来自主存储的数据同步与复制，辅存储是主存储的某个视图，通常面向数据查询、检索和分析做优化。
为何会有主存储和辅存储的存在？能不能统一存储统一读写，满足所有场景的需求呢？目前看还没有，存储引擎的实现技术有多种，选择行存还是列存，选择B+tree还是LSM-tree，存储的是不可变数据、频繁更新数据还是时间分区数据，是为高速随机查询还是高吞吐扫描设计等等。数据库产品目前也是分两类，TP和AP，虽然在往HTAP方向走，但实现方式仍然是底层存储分为行存和列存。
再来看主辅存储在实际架构中的例子，例如关系数据库中主表和二级索引表也可以看做是主与辅的关系，索引表数据会随着主表数据而变化，强一致同步并且为某些特定条件组合查询而优化。关系数据库与高速缓存和搜索引擎也是主与辅的关系，采用满足最终一致的数据同步方式，提供高速查询和检索。在线数据库与数仓也是主与辅的关系，在线数据库内数据集中复制到数仓来提供高效的BI分析。
这种主与辅的存储组件相辅相成的架构设计，我们称之为『派生数据体系』。在这个体系下，最大的技术挑战是数据如何在主与辅之间进行同步与复制。
上图我们可以看到几个常见的数据复制方式：
（1）应用层多写
这是实现最简单、依赖最少的一种实现方式，通常采取的方式是在应用代码中先向主存储写数据，后向辅存储写数据。这种方式不是很严谨，通常用在对数据可靠性要求不是很高的场景。因为存在的问题有很多，一是很难保证主与辅之间的数据一致性，无法处理数据写入失效问题；二是数据写入的消耗堆积在应用层，加重应用层的代码复杂度和计算负担，不是一种解耦很好的架构；三是扩展性较差，数据同步逻辑固化在代码中，比较难灵活添加辅存储。
（2）异步队列复制
这是目前被应用比较广的架构，应用层将派生数据的写入通过队列来异步化和解耦。这种架构下可将主存储和辅存储的数据写入都异步化，也可仅将辅存储的数据写入异步化。第一种方式必须接受主存储可异步写入，否则只能采取第二种方式。而如果采用第二种方式的
话，也会遇到和上一种『应用层多写』方案类似的问题，应用层也是多写，只不过是写主存储与队列，队列来解决多个辅存储的写入和扩展性问题。
（3）CDC（Change Data Capture）技术
这种架构下数据写入主存储后会由主存储再向辅存储进行同步，对应用层是最友好的，只需要与主存储打交道。主存储到辅存储的数据同步，则可以再利用异步队列复制技术来做。不过这种方案对主存储的能力有很高的要求，必须要求主存储能支持CDC技术。一个典型的例子就是MySQL+Elasticsearch的组合架构，Elasticsearch的数据通过MySQL的binlog来同步，binlog就是MySQL的CDC技术。
『派生数据体系』是一个比较重要的技术架构设计理念，其中CDC技术是更好的驱动数据流动的关键手段。具备CDC技术的存储组件，才能更好的支撑数据派生体系，从而能让整个数据系统架构更加灵活，降低了数据一致性设计的复杂度，从而来面向高速迭代设计。可惜的是大多数存储组件不具备CDC技术，例如HBase。而阿里云Tablestore具备非常成熟的CDC技术，CDC技术的应用也推动了架构的创新，这个在下面的章节会详细介绍。
一个好的产品，在产品内部会采用派生数据架构来不断扩充产品的能力，能将派生的过程透明化，内部解决数据同步、一致性及资源配比问题。而现实中大多数技术架构采用产品组合的派生架构，需要自己去管理数据同步与复制等问题，例如常见的MySQL+Elasticsearch，或HBase+Solr等。这种组合通常被忽视的最大问题是，在解决CDC技术来实时复制数据后，如何解决数据一致性问题？如何追踪数据同步延迟？如何保证辅存储与主存储具备相同的数据写入能力？
3.存储组件的选型
架构师在做架构设计时，最大的挑战是如何对计算组件和存储组件进行选型和组合，同类的计算引擎的差异化相对不大，通常会优先选择成熟和生态健全的计算引擎，例如批量计算引擎Spark和流计算引擎Flink。而对于存储组件的选型是一件非常有挑战的事，存储组件包含数据库（又分为SQL和NoSQL两类，NoSQL下又根据各类数据模型细分为多类）、对象存储、文件存储和高速缓存等不同类别。带来存储选型复杂度的主要原因是架构师需要综合考虑数据分层、成本优化以及面向在线和离线的查询优化偏向等各种因素，且当前的技术发展还是多样化的发展趋势，不存在一个存储产品能满足所有场景下的数据写入、存储、查询和分析等需求。有一些经验可以分享给大家：
（1）数据模型和查询语言仍然是不同数据库最显著的区别，关系模型和文档模型是相对抽象的模型，而类似时序模型、图模型和键值模型等其他非关系模型是相对具象的抽象，如果场景能匹配到具象模型，那选择范围能缩小点。
（2）存储组件通常会划分到不同的数据分层，选择面向规模、成本、查询和分析性能等不同维度的优化偏向，选型时需要考虑清楚对这部分数据存储所要求的核心指标。（3）区分主存储还是辅存储，对数据复制关系要有明确的梳理。（主存储和辅存储是什么在下一节介绍）
（4）建立灵活的数据交换通道，满足快速的数据搬迁和存储组件间的切换能力，构建快速迭代能力比应对未知需求的扩展性更重要。
另外关于数据存储架构，我认为最终的趋势是：
（1）数据一定需要分层
（2）数据最终的归属地一定是OSS
（3）会由一个统一的分析引擎来统一分析的入口，并提供统一的查询语言
4.结构化大数据存储
结构化大数据存储在数据系统中是一个非常关键的组件，它起的一个很大的作用是连接『在线』和『离线』。作为数据中台中的结构化数据汇总存储，用于在线数据库中数据的汇
总来对接离线数据分析，也用于离线数据分析的结果集存储来直接支持在线查询或者是数据派生。根据这样的定位，我们总结下对结构化大数据存储的几个关键需求。
5.关键需求
（1）大规模数据存储
结构化大数据存储的定位是集中式的存储，作为在线数据库的汇总（大宽表模式），或者是离线计算的输入和输出，必须要能支撑PB级规模数据存储。
（2）高吞吐写入能力
数据从在线存储到离线存储的转换，通常是通过ETL工具，T+1式的同步或者是实时同步。结构化大数据存储需要能支撑多个在线数据库内数据的导入，也要能承受大数据计算引擎的海量结果数据集导出。所以必须能支撑高吞吐的数据写入，通常会采用一个为写入而优化的存储引擎。
（3）丰富的数据查询能力
结构化大数据存储作为派生数据体系下的辅存储，需要为支撑高效在线查询做优化。常见的查询优化包括高速缓存、高并发低延迟的随机查询、复杂的任意字段条件组合查询以及数据检索。这些查询优化的技术手段就是缓存和索引，其中索引的支持是多元化的，面向不同的查询场景提供不同类型的索引。例如面向固定组合查询的基于B+tree的二级索引，面向地理位置查询的基于R-tree或BKD-tree的空间索引或者是面向多条件组合查询和全文检索的倒排索引。
（4）存储和计算成本分离
存储计算分离是目前一个比较热的架构实现，对于一般应用来说比较难体会到这个架构的优势。在云上的大数据系统下，存储计算分离才能完全发挥优势。存储计算分离在分布式架构中，最大的优势是能提供更灵活的存储和计算资源管理手段，大大提高了存储和计算的扩展性。对成本管理来说，只有基于存储计算分离架构实现的产品，才能做到存储和计算成本的分离。
存储和计算成本的分离的优势，在大数据系统下会更加明显。举一个简单的例子，结构化大数据存储的存储量会随着数据的积累越来越大，但是数据写入量是相对平稳的。所以存储需要不断的扩大，但是为了支撑数据写入或临时的数据分析而所需的计算资源，则相对来说比较固定，是按需的。
（5）数据派生能力
一个完整的数据系统架构下，需要有多个存储组件并存。并且根据对查询和分析能力的不同要求，需要在数据派生体系下对辅存储进行动态扩展。所以对于结构化大数据存储来说，也需要有能扩展辅存储的派生能力，来扩展数据处理能力。而判断一个存储组件是否具备更好的数据派生能力，就看是否具备成熟的CDC技术。
（6）计算生态
数据的价值需要靠计算来挖掘，目前计算主要划为批量计算和流计算。对于结构化大数据存储的要求，一是需要能够对接主流的计算引擎，例如Spark、Flink等，作为输入或者是输出；二是需要有数据派生的能力，将自身数据转换为面向分析的列存格式存储至数据湖系统；三是自身提供交互式分析能力，更快挖掘数据价值。
满足第一个条件是最基本要求，满足第二和第三个条件才是加分项。
6.开源产品
目前开源界比较知名的结构化大数据存储是HBase和Cassandra，Cassandra是WideColumn模型NoSQL类别下排名Top-1的产品，在国外应用比较广泛。但这里我们重点提下HBase，因为在国内的话相比Cassandra会更流行一点。
HBase是基于HDFS的存储计算分离架构的WideColumn模型数据库，拥有非常好的扩展性，能支撑大规模数据存储，它的优点为：
（1）存储计算分离架构：底层基于HDFS，分离的架构可带来存储和计算各自弹性扩展的优势，与计算引擎例如Spark可共享计算资源，降低成本。
（2）LSM存储引擎：为写入优化设计，能提供高吞吐的数据写入。
（3）开发者生态成熟，接入主流计算引擎：作为发展多年的开源产品，在国内也有比较多的应用，开发者社区很成熟，对接几大主流的计算引擎。
HBase有其突出的优点，但也有几大不可忽视的缺陷：
（1）查询能力弱
提供高效的单行随机查询以及范围扫描，复杂的组合条件查询必须使用Scan+Filter的方式，稍不注意就是全表扫描，效率极低。HBase的Phoenix提供了二级索引来优化查询，但和MySQL的二级索引一样，只有符合最左匹配的查询条件才能做索引优化，可被优化的查询条件非常有限。
（2）数据派生能力弱
前面章节提到CDC技术是支撑数据派生体系的核心技术，HBase不具备CDC技术。HBase Replication具备CDC的能力，但是仅为HBase内部主备间的数据同步机制。有一些开源组件利用其内置Replication能力来尝试扩展HBase的CDC技术，例如用于和Solr同步的Lily Indexer，但是比较可惜的是这类组件从理论和机制上分析就没法做到CDC技术所要求的数据保序、最终一致性保证等核心需求。
（3）成本高
前面提到结构化大数据存储的关键需求之一是存储与计算的成本分离，HBase的成本取决于计算所需CPU核数成本以及磁盘的存储成本，基于固定配比物理资源的部署模式下CPU 和存储永远会有一个无法降低的最小比例关系。即随着存储空间的增大，CPU核数成本也会相应变大，而不是按实际所需计算资源来计算成本。要达到完全的存储与计算成本分离，只有云上的Serverless服务模式才能做到。
（4）运维复杂
HBase是标准的Hadoop组件，最核心依赖是Zookeeper和HDFS，没有专业的运维团队几乎无法运维。
（5）热点处理能力差
HBase的表的分区是Range Partition的方式，相比Hash Partition的模式最大的缺陷就是会存在严重的热点问题。HBase提供了大量的最佳实践文档来指引开发者在做表的Rowkey 设计的时候避免热点，例如采用hash key，或者是salted-table的方式。但这两种方式下能保证数据的分散均匀，但是无法保证数据访问的热度均匀。访问热度取决于业务，需要一种能根据热度来对Region进行Split或Move等负载均衡的自动化机制。
国内的高级玩家大多会基于HBase做二次开发，基本都是在做各种方案来弥补HBase 查询能力弱的问题，根据自身业务查询特色研发自己的索引方案，例如自研二级索引方案、对接Solr做全文索引或者是针对区分度小的数据集的bitmap索引方案等等。总的来说，HBase 是一个优秀的开源产品，有很多优秀的设计思路值得借鉴。
7.Tablestore
Tablestore是阿里云自研的结构化大数据存储产品，具体产品介绍可以参考官网以及权威指南。Tablestore的设计理念很大程度上顾及了数据系统内对结构化大数据存储的需求，并且基于派生数据体系这个设计理念专门设计和实现了一些特色的功能。
（1）设计理念
Tablestore的设计理念一方面吸收了优秀开源产品的设计思路，另一方面也是结合实际业务需求演化出了一些特色设计方向，简单概括下Tablestore的技术理念：存储计算分离架构：采用存储计算分离架构，底层基于飞天盘古分布式文件系统，这是实现存储计算成本分离的基础。
LSM存储引擎：LSM和B+tree是主流的两个存储引擎实现，其中LSM专为高吞吐数据写入优化，也能更好的支持数据冷热分层。
Serverless产品形态：基于存储计算分离架构来实现成本分离的最关键因素是Serverless 服务化，只有Serverless服务才能做到存储计算成本分离。大数据系统下，结构化大数据存储通常会需要定期的大规模数据导入，来自在线数据库或者是来自离线计算引擎，在此时需要有足够的计算能力能接纳高吞吐的写入，而平时可能仅需要比较小的计算能力，计算资源要足够的弹性。另外在派生数据体系下，主存储和辅存储通常是异构引擎，在读写能力上均有差异，有些场景下需要灵活调整主辅存储的配比，此时也需要存储和计算资源弹性可调。
多元化索引，提供丰富的查询能力：LSM引擎特性决定了查询能力的短板，需要索引来优化查询。而不同的查询场景需要不同类型的索引，所以Tablestore提供多元化的索引来满足不同类型场景下的数据查询需求。
CDC技术：Tablestore的CDC技术名为Tunnel Service，支持全量和增量的实时数据订阅，并且能无缝对接Flink流计算引擎来实现表内数据的实时流计算。
拥抱开源计算生态：除了比较好的支持阿里云自研计算引擎如MaxCompute和Data Lake Analytics的计算对接，也能支持Flink和Spark这两个主流计算引擎的计算需求，无需数据搬迁。
流批计算一体：能支持Spark对表内全量数据进行批计算，也能通过CDC技术对接Flink 来对表内新增数据进行流计算，真正实现批流计算结合。
（2）特色功能
多元化索引
Tablestore提供多种索引类型可选择，包含全局二级索引和多元索引。全局二级索引类似于传统关系数据库的二级索引，能为满足最左匹配原则的条件查询做优化，提供低成本存储和高效的随机查询和范围扫描。多元索引能提供更丰富的查询功能，包含任意列的组合条件查询、全文搜索和空间查询，也能支持轻量级数据分析，提供基本的统计聚合函数，两种索引的对比和选型可参考这篇文章。
通道服务
通道服务是Tablestore的CDC技术，是支撑数据派生体系的核心功能，具体能力可参考这篇文章。能够被利用在异构存储间的数据同步、事件驱动编程、表增量数据实时订阅以及流计算场景。目前在云上Tablestore与Blink能无缝对接，也是唯一一个能直接作为Blink的stream source的结构化大数据存储。
大数据处理架构
大数据处理架构是数据系统架构的一部分，其架构发展演进了多年，有一些基本的核心架构设计思路产出，例如影响最深远的Lambda架构。Lambda架构比较基础，有一些缺陷，所以在其基础上又逐渐演进出了Kappa、Kappa+等新架构来部分解决Lambda架构中存在的一些问题，详情介绍可以看下这篇文章的介绍。Tablestore基于CDC技术来与计算引擎相结合，基于Lambda架构设计了一个全新的Lambda plus架构。
Lambda plus架构
Lambda架构的核心思想是将不可变的数据以追加的方式并行写到批和流处理系统内，随后将相同的计算逻辑分别在流和批系统中实现，并且在查询阶段合并流和批的计算视图并展示给用户。基于Tablestore CDC技术我们将Tablestore与Blink进行了完整对接，可作为
Blink的stream source、dim和sink，推出了Lambda plus架构：
Lambda plus架构中数据只需要写入Tablestore，Blink流计算框架通过通道服务API直读表内的实时更新数据，不需要用户双写队列或者自己实现数据同步。
存储上，Lambda plus直接使用Tablestore作为master dataset，Tablestore支持用户在线系统低延迟读写更新，同时也提供了索引功能进行高效数据查询和检索，数据利用率高。
计算上，Lambda plus利用Blink流批一体计算引擎，统一流批代码。
展示层，Tablestore提供了多元化索引，用户可自由组合多类索引来满足不同场景下查询的需求。
视频结构化大数据平台 解 决 方 案 千视通
目录 1. 建设背景 (4) 2. 建设目标 (5) 3. 建设原则 (6) 3.1. 标准化原则 (6) 3.2. 统一设计原则 (6) 3.3. 大数据处理原则 (6) 3.4. 高可靠/高安全性原则 (6) 3.5. 适用性原则 (7) 3.6. 可扩展性原则 (7) 4. 系统总体设计 (7) 4.1. 设计依据 (7) 4.2. 总体架构设计 (10) 4.3. 业务架构设计 (11) 4.4. 网络架构设计 (12) 5. 数据结构化 (13) 5.1. 概述 (13) 5.2. 数据采集 (14) 5.3. 控制调度单元 (15) 5.4. 目标结构化单元 (15) 5.5. 车辆结构化单元 (21) 5.6. 前端要求 (26) 6. 数据存储 (29) 6.1. 概述 (29) 6.2. 功能设计 (29) 6.2.1. 数据存储 (29) 6.2.2. 数据服务 (30) 6.2.3. 系统管理 (31) 6.3. 存储设计 (32) 7. 数据应用 (32) 7.1 以图搜车 (33) 7.2人物大数据 (34) 7.2.1人物综合查询 (34) 7.2.2人物检索 (34) 7.2.3人骑车检索 (36) 7.2.4视频框选嫌疑目标 (37) 7.3以图搜图 (38) 7.3.1智能建库引擎 (38) 7.3.2以图搜图应用 (38) 7.4GIS应用 (39) 7.4.1基本操作 (39) 7.4.2地图查询 (39) 7.4.3轨迹展示 (40)
7.4.4摄像头操作............................................................................ 错误！未定义书签。 7.4.5系统管理 (41) 8. 平台特点 (44) 8.1. 提高海量视频倒查的效能 (44) 8.2. 提供视频关键特征的视频检索 (45) 8.3. 永久保存结构化的视频信息 (45) 8.4. 基于虚拟化服务的云计算架构 (46) 9. 配置清单.................................................................................................... 错误！未定义书签。
大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录
目录 1 1. 文档介绍 (3) 1.1文档目的 (3) 1.2文档范围 (3) 1.3读者对象 (3) 1.4参考文献 (3) 1.5术语与缩写解释 (3) 2系统概述 (4) 3设计约束 (5) 4设计策略 (6) 5系统总体结构 (7) 5.1大数据集成分析平台系统架构设计 (7) 5.2可视化平台系统架构设计 (11) 6其它 (14) 6.1数据库设计 (14) 6.2系统管理 (14) 6.3日志管理 (14)
1 1. 文档介绍 1.1 文档目的 设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 1.2 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 1.3 读者对象 管理人员、开发人员 1.4 参考文献 1.5 术语与缩写解释
2 系统概述 大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 设计数据可视化平台 ,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。
3 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。
相对于结构化数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构化数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。 字段可根据需要扩充，即字段数目不定，可称为半结构化数据，例如Exchange存储的数据。 非结构化数据库 在信息社会，信息可以划分为两大类。一类信息能够用数据或统一的结构加以表示，我们称之为结构化数据，如数字、符号；而另一类信息无法用数字或统一的结构表示，如文本、图像、声音、网页等，我们称之为非结构化数据。结构化数据属于非结构化数据，是非结构化数据的特例 数据清洗从名字上也看的出就是把“脏”的“洗掉”。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，称为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗.而数据清洗的任务是过滤那些不符合要求的数据，将过滤的结果交给业务主管部门，确认是否过滤掉还是由业务单位修正之后再进行抽取。不符合要求的数据主要是有不完整的数据、错误的数据、重复的数据三大类。 (1)不完整的数据 这一类数据主要是一些应该有的信息缺失，如供应商的名称、分公司的名称、客户的区域信息缺失、业务系统中主表与明细表不能匹配等。对于这一类数据过滤出来，按缺失的内容分别写入不同Excel文件向客户提交，要求在规定的时间内补全。补全后才写入数据仓库。 (2)错误的数据 这一类错误产生的原因是业务系统不够健全，在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期格式不正确、日期越界等。这一类数据也要分类，对于类似于全角字符、数据前后有不可见字符的问题，只能通过写SQL语句的方式找出来，然后要求客户在业务系统修正之后抽取。日期格式不正确的或者是日期越界的这一类错误会导致ETL运行失败，这一类错误需要去业务系统数据库用SQL的方式挑出来，交给业务主管部门要求限期修正，修正之后再抽取。 (3)重复的数据 对于这一类数据——特别是维表中会出现这种情况——将重复数据记录的所有字段导出来，让客户确认并整理。 数据清洗是一个反复的过程，不可能在几天内完成，只有不断的发现问题，解决问题。对于是否过滤，是否修正一般要求客户确认，对于过滤掉的数据，写入Excel文件或者将过滤数据写入数据表，在ETL开发的初期可以每天向业务单位发送过滤数据的邮件，促使他们尽快地修正错误,同时也可以做为将来验证数据的依据。数据清洗需要注意的是不要将有
《数据库技术与程序设计》20春期末考核 一、单选题共25题，50分 1 关系模型中，一个关键字是 （）。 ? A 可由多个任意属性组成 ? B 可由一个或多个其值能唯一标识该关系模式中任何元组的属性组成 ? C 至多有一个属性组成 ? D 以上都不是 2 如果要定义一个窗体级变量，定义变量语句的位置应该是 ___。 ? A 在使用该变量的过程中 ? B 在该窗体模块所有过程的前面 ? C 在该窗体模块所有过程的后面 ? D 在某个标准模块中 3 在“窗体视图”中显示窗体时，窗体中没有记录选定器，应将窗体的“记录选定器”属性值设置为（）。 ? A 是
? B 否 ? C 有 ? D 无 4 下面对于“事件”和“方法”的各种描述中正确的是 （）。 ? A 如果没有编入代码，相应的事件就不能被激活 ? B 任何时候调用“方法”都完成同一个任务 ? C “事件”必须由用户激活 ? D “方法”和“事件”都是为了完成某项任务，故其中的代码都需要编辑 5 若Access数据库的一张表中有多条记录，则下列叙述中正确的是 ( )。 ? A 记录前后的顺序可以任意颠倒，不影响表中的数据关系 ? B 记录前后的顺序不能任意颠倒，要按照输入的顺序排列 ? C 记录前后的顺序可以任意颠倒，排列顺序不同，统计结果可能不同 ? D 记录前后的顺序不能任意颠倒，一定要按照关键字段值的顺序排列 6
在Access中要显示“教师表”中姓名和职称的信息，应采用的关系运算是( )。 ? A 投影 ? B 自然联接 ? C 联接 ? D 选择 7 如有下面语句： S=Int(50*Rnd) 执行完毕，s的值是 ___。 ? A [0,50]的随机整数 ? B [0,49]的随机整数 ? C [1,49]的随机整数 ? D [1,50]的随机整数 8 8E–3是一个 （）。 ? A 内存变量 ? B 字符常量 ? C 数值常量 ? D 非法表达式 9 下列关于属性、方法、事件的叙述中错误的是 （）。
金融行业非结构化数据存储方案
传统的银行、保险行业的人工柜台、信贷申请、承保和理赔等业务除了在数据库中记录交易信息，往往也会产生大量的非结构化数据：身份证照片、纸质文件扫描件、取证文件扫描件、现场照片等，依据金融行业相关法规要求，这些文件需长期保存，以便于后督审计和避免可能存在的法律风险。 随着互联网金融的迅猛发展，金融行业的竞争日趋白热化，越来越多的金融公司希望金融科技能够帮助企业降低揽客成本和客户服务成本，提升办公效率和风险评估效率。为此，各大金融机构竞相实施金融科技项目，如：智能化柜台，降低营业网点业务开通成本；无纸化柜台，提升柜台工作和服务效率；理赔智能手机客户端，提升用户理赔效率；智能化信贷审核，提升风险评估效率，降低人力投入成本；基础架构云化、容器化，提升基础资源的利用和管理效率等。 这些新型金融科技的背后，显而易见地会产生海量的图片、文档、音频和视频等非结构化数据，其文件个数和数据量都呈现爆发性增长，对原有的存储系统架构带来了更多的新挑战。 海量非结构化数据带来的挑战
对业务部门来说，海量小文件的访问性能至关重要，直接关系到终端用户的体验，而一个股份制银行省分行的柜台系统、信贷系统每年会新增上亿个文件，大量小文件对文件存储是一大挑战，而很多银行已经在考虑如何实现文件大集中。 而随着VTM（远程虚拟银行服务系统）、双录系统的上线，存储容量需求高速增长，如保险公司银保的双录数据半年即可增加数百TB数据，存储是否能够提供高吞吐能力，来保障音视频文件的读写性能是重要的关注点。 大多数金融机构已经采用分布式数据库、大数据技术，来实现历史数据的在线统一存储和查询，而非结构化数据的存储规模可能会达到PB级甚至EB级，在这种情况下如何实现数据的统一存储和管理、历史数据的实时查询、未来的大数据分析，对存储高度智能化的管理能力提出了更高的要求。 当前IaaS层云化是大趋势，私有云实现了计算和存储资源的云化，分布式数据库实现了结构化数据的云化，云化后的资源可按需分配、弹性扩展。而非结构化数据存储的云化却缺乏很好的解决方案，尤其是随着音视频数据的加入，占用的存储空间越来越大，而这些数据的单位价值不高，如何降低单位存储成本也需重点考量。
非结构化数据存储方案 一、存储类型体系： 1.1 存储类型体系结构图 1.2 存储类型体系描述 （1）块存储：将存储区域划分为固定大小的小块，是传统裸存设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过SCSI/SAS或FC SAN与存储服务器连接，服务器直接通过SCSI/SAS或FC协议控制和 访问数据。主要包括DAS和SAN两种存储方式。对比如下图：
（2） 分布式文件存储：文件存储以标准文件系统接口形式向应用系统提供 海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹，将整个分布式文件资源以统一的视图呈现给用户。它对用户和应用程序屏蔽各个节点计算机底层文件系统的差异，提供用户方便的管理资源的手段和统一 的访问接口。主要包括NAS 和HDFS 两种存储方式。 a) 网络附加存储NAS 结构如图：
b)HDFS分布式文件系统存储结构如图： （3）对象存储：对象存储为海量非结构化数据提供Key-Value这种通过键-值查找数据文件的存储模式，提供了基于对象的访问接口，有效地合并了NAS和SAN的存储结构优势，通过高层次的抽象具有NAS的跨平台共享数据优点，支持直接访问具有SAN的高性能和交换网络结 构的可伸缩性。主要包括swift和ceph两种实现形式。 a)Swift，OpenStack Object Storage（Swift）是OpenStack项目的子项目 之一，被称为对象存储。它构建在比较便宜的标准硬件存储基础设 施之上，无需采用RAID（磁盘冗余阵列），通过在软件层面引入一致性散列技术和数据冗余性，牺牲一定程度的数据一致性来达到高可 用性和可伸缩性，支持多租户模式、容器和对象读写操作，适合解 决非结构化数据存储问题。 b)ceph，Linux下PB级分布式文件系统，可轻松扩展PB容量，提供了 对多种工作负载的高性能和高可靠性。它大致分为四部分：客户端 （数据用户），元数据服务器（缓存和同步分布式元数据），一个对 象存储集群（包括数据和元数据），以及最后的集群监视器（执行监 视功能）。
数据库原理与设计复习题 1.使用视图的优点 简单性。视图不仅可以简化用户对数据的理解，也可以简化他们的操作。那些被经常使用的查询可以被定义为视图，从而使用户不必为以后的操作每次都指定全部的条件。 安全性。通过视图用户只能查询和修改他们所能见到的数据。数据库中的其他数据则既看不见也取不到。数据库授权命令可以使每个用户对数据库的检索限制到特定的数据库对象上，但不能授权到数据库特定行和特定的列上。通过视图，用户可以被限制在数据的不同子集上。 逻辑数据独立性。视图可以使应用程序和数据库表在一定程度上独立。如果没有视图，应用一定是建立在表上的。有了视图之后，程序可以建立在视图之上，从而程序与数据库表被视图分割开来。 2.DBMS的功能有那些？（定义数据库操纵数据库控制数据库维护数据库通信功能） 3.简述完整备份和差异备份及其区别。（完整备份：备份全部选中的文件夹，并不依赖文 件的存档属性来确定备份那些文件。差异备份：差异备份是针对完全备份：备份上一次的完全备份后发生变化的所有文件。PS: 增量备份是针对于上一次备份（无论是哪种备份）：备份上一次备份后，所有发生变化的文件。） 4.数据的完整性的含义(数据完整性是指数据的精确性和可靠性。它是应防止数据库中存 在不符合语义规定的数据和防止因错误信息的输入输出造成无效操作或错误信息而提出的。数据完整性分为四类：实体完整性、域完整性、参照完整性、用户定义的完整性。) 5.常见的数据库范式（第一范式第二范式第三范式鲍依斯—柯德范式）。 6.数据库生命周期的四个时期。（数据库设计规划数据库设计（用户需求分析概念结构 设计逻辑结果设计物理结构设计）数据库实现数据库运行与系统维护） 7.事务的ACID性质是那些。（原子性一致性隔离性永久性） 8.触发器的组成和作用（由三部分组成“事件条件动作”作用：是一个能因某一个事 件触发而由系统自动执行的SQL语句或语句序列可以实现查询计算评估交流及完成更复杂的功能任务） 9.数据库（DB）（在计算机设备上按一定的组织方式存储在一起的相关的数据集合） 10.数据锁有那些（排他锁，共享锁，共享更新锁详情P227） 11.SQLServer2005提供了那两种服务器身份验证模式。（windows身份验证，混合模式验证） 12.参照完整性的含义（一个关系的外键的值必须与另一个关系的主键的值相匹配。如果没 有与某外键匹配的主键，就会出现引用数据库中不存在的实体的情况，显然就违反了引用完整性。另外，如果数据库中包含了有永远都不可能访问或被引用的数据，则数据库显然不具有引用完整性，整个数据库也将变得不可信） 13.中间件（中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不 同的技术之间共享资源。中间件位于客户机/ 服务器的操作系统之上，管理计算机资源和网络通讯。是连接两个独立应用程序或独立系统的软件。相连接的系统，即使它们具有不同的接口，但通过中间件相互之间仍能交换信息。执行中间件的一个关键途径是信息传递。通过中间件，应用程序可以工作于多平台或OS 环境。） 14. 数据库系统的体系结构图(P16 图1.11) 15. 设D1={张三，李四}，D2={学生，教师}，D3={成都，重庆}。试求笛卡尔积D1×D2×D3及其基数。（D1×D2×D3={(张三，学生，成都)，(张三，学生，重庆)，(张三，老师，成都)，(张三，老师，重庆)，(李四，学生，成都)，(李四，学生，重庆)，(李四，老师，成都)，(李
非结构化数据管理系统 1 范围 本标准规定了非结构化数据管理系统的功能性要求和质量要求。 本标准适用于非结构化数据管理系统产品的研制、开发和测试。 2 符合性 对于非结构化数据管理系统是否符合本标准的规定如下： a)非结构化数据管理系统若满足本标准基本要求中的所有要求，则称其满足本标准的基本要求； b)非结构化数据管理系统在满足所有基本要求的前提下，若满足某部分扩展要求，则称其满足本 标准的基本要求和该部分扩展要求； c)非结构化数据管理系统若满足本标准基本要求和扩展要求中的所有要求，则称其满足本标准的 所有要求。 3 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB 18030—2005 信息技术中文编码字符集 GB/T AAAAA-AAAA 非结构化数据访问接口规范 4 术语和定义 下列术语和定义适用于本文件。 4.1 非结构化数据unstructured data 没有明确结构约束的数据，如文本、图像、音频、视频等。 4.2 非结构化数据管理系统unstructured data management system 对非结构化数据进行管理、操作的大型基础软件，提供非结构化数据存储、特征抽取、索引、查询等管理功能。 5 缩略语 下列缩略语适用于本文件。 IDF：逆向文件频率 (Inverse Document Frequency) MFCC：梅尔频率倒谱系数（Mel Frequency Cepstrum Coefficient）
PB：千万亿字节（Peta Byte） SIFT：尺度不变特征转换（Scale-invariant Feature Transform） TF：词频 (Term Frequency) 6 功能性要求 6.1 总体要求 非结构化数据管理系统的总体要求如下： a)应包括存储与计算设施、存储管理、特征抽取、索引管理、查询处理、访问接口、管理工具七 个基本组成部分； b)宜包括转换加载、分析挖掘、可视展现三个扩展组成部分。 6.2 存储与计算设施 6.2.1 基本要求 存储与计算设施基本要求如下： a)应支持磁盘、磁盘阵列、内存存储、键值存储、关系型存储、分布式文件系统等一种或多种存 储设施； b)应支持单机、并行计算集群、分布式计算集群等一种或多种计算设施。 6.2.2 扩展要求 无。 6.3 存储管理 6.3.1 基本要求 存储管理基本要求如下： a)应提供涵盖原始数据、基本属性、底层特征、语义特征的概念层存储建模功能； b)应提供逻辑层的存储建模功能； c)支持整型、浮点型、布尔型、字符串、日期、日期时间、二进制块等基本数据类型； d)支持向量、矩阵、关联等数据类型； e)应支持根据建好的逻辑层存储模型创建存储实例； f)应支持在创建好的存储实例上插入、修改、删除非结构化数据； g)应支持删除存储实例； h)应支持非结构化数据操作的原子性。 6.3.2 扩展要求 存储管理扩展要求如下： a)应支持全局事务的定义并保证事务的原子性、一致性、隔离性和持久性； b)应支持数据类型的多值结构和层次结构； c)应支持在不同的存储设施上创建存储实例并实现自动映射； d)应支持PB级数据存储。 6.4 特征抽取
大数据存储技术研究 3013218099 软工二班张敬喆 1.背景介绍 大数据已成为当前社会各界关注的焦点。从一般意义上讲，大数据是指无法在可容忍的时间内，用现有信息技术和软硬件工具对其进行感知、获取、管理、处理和服务的数据集合。近年来，大数据的飙升主要来自人们的日常生活，特别是互联网公司的服务。据著名的国际数据公司(IDC)的统计，2011年全球被创建和复制的数据总量为1.8ZB(1ZB=1021B)，其中75%来自于个人（主要是图片、视频和音乐），远远超过人类有史以来所有印刷材料的数据总量(200PB，1PB=1015B)。 然而，与大数据计算相关的基础研究，诸如大数据的感知与表示、组织与存储、计算架构与体系、模式发现与效应分析等，目前还没有成体系的理论成果。对于大数据计算体系的研究，一方面，需要关注大数据如何存储，提供一种高效的数据存储平台；另一方面，为了应对快速并高效可靠地处理大数据的挑战，需要建立大数据的计算模式以及相关的优化机制。 2.相关工作 为了应对数据处理的压力，过去十年间在数据处理技术领域有了很多的创新和发展。除了面向高并发、短事务的OLTP内存数据库外（Altibase，Timesten），其他的技术创新和产品都是面向数据分析的，而且是大规模数据分析的，也可以说是大数据分析的。 在这些面向数据分析的创新和产品中，除了基于Hadoop环境下的各种NoSQL外，还有一类是基于Shared Nothing架构的面向结构化数据分析的新型数据库产品（可以叫做NewSQL），如：Greenplum（EMC收购），Vertica（HP 收购），Asterdata（TD 收购），以及南大通用在国内开发的GBase 8a MPP Cluster等。目前可以看到的类似开源和
20秋学期（1709、1803、1809、1903、1909、2003、2009 ）《数据库技术与程序设计》在线作业 试卷总分:100 得分:100 一、单选题(共30 道试题,共60 分) 1.在建立数据表“商品信息”时，若将“单价”字段的有效性规则设置为：单价>0，则可以保证数据的（）。 A.实体完整性 B.域完整性 C.参照完整性 D.表完整性 答案:B 2.逻辑运算的优先顺序是（）。 A.AND、OR、NOT B.OR、NOT、AND C.NOT、AND、OR D.NOT、OR、AND 答案:C 3.用于获得字符串S从第3个字符开始的2个字符的函数是___。 A.Mid(S,3,2) B.Middle(S,3,2) C.Left(S,3,2) D.Right(S,3,2) 答案:A 4.8E–3是一个（）。 A.内存变量 B.字符常量 C.数值常量 D.非法表达式 答案:C 5.一个宏里面的每一步操作都是一个（）。 A.操作序列宏 B.宏组 C.条件宏 D.宏命令 答案:D 6.某一学校规定学生宿舍标准是：本科生4人一间，硕士生是2人一间，博士生是1人一间，学生与宿舍之间形成的住宿关系是( )。 A.一对一的联系 B.一对四的联系
C.一对多的联系 D.多对多的联系 答案:C 7.在Access中要显示“教师表”中姓名和职称的信息，应采用的关系运算是( )。 A.投影 B.自然联接 C.联接 D.选择 答案:A 8.Access2016数据库中，若要求在窗体上设置输入的数据是取自某一个表或查询中记录的数据，或者取自某固定内容的数据，可以使用的控件是（）。 A.选项组控件 B.列表框或组合框控件 C.文本框控件 D.复选框 答案:B 9.下列叙述中正确的是( )。 A.数据库是一个独立的系统，不需要操作系统的支持 B.数据库设计是指设计数据库管理系统 C.数据库技术的根本目标是要解决数据共享的问题 D.数据库系统中，数据的物理结构必须与逻辑结构一致 答案:C 10.语句Dim Arr（-2 To 3）As Integer所定义的数组的元素个数为___。 A.7个 B.6个 C.5个 D.4个 答案:B 11.下列关于数据库系统的叙述中，正确的是（）。 A.数据库系统只是比文件系统管理的数据更多 B.数据库系统中数据的完整性是指数据类型完整 C.数据库系统避免了一切数据冗余 D.数据库系统减少了数据冗余 答案:D 12.数据库系统的三级模式是（）。 A.上模式、模式、下模式 B.前模式、模式、后模式 C.外模式、模式、内模式
数据中台之结构化大数据存储设计 一.前言 任何应用系统都离不开对数据的处理，数据也是驱动业务创新以及向智能化发展最核心的东西。这也是为何目前大多数企业都在构建数据中台的原因，数据处理的技术已经是核心竞争力。在一个完备的技术架构中，通常也会由应用系统以及数据系统构成。应用系统负责处理业务逻辑，而数据系统负责处理数据。 传统的数据系统就是所谓的『大数据』技术，这是一个被创造出来的名词，代表着新的技术门槛。近几年得益于产业的发展、业务的创新、数据的爆发式增长以及开源技术的广泛应用，经历多年的磨炼以及在广大开发者的共建下，大数据的核心组件和技术架构日趋成熟。特别是随着云的发展，让『大数据』技术的使用门槛进一步降低，越来越多的业务创新会由数据来驱动完成。 『大数据』技术会逐步向轻量化和智能化方向发展，最终也会成为一个研发工程师的必备技能之一，而这个过程必须是由云计算技术来驱动以及在云平台之上才能完成。应用系统和数据系统也会逐渐融合，数据系统不再隐藏在应用系统之后，而是也会贯穿在整个业务交互逻辑。传统的应用系统，重点在于交互。而现代的应用系统，在与你交互的同时，会慢慢的熟悉你。数据系统的发展驱动了业务系统的发展，从业务化到规模化，再到智能化。 业务化：完成最基本的业务交互逻辑。 规模化：分布式和大数据技术的应用，满足业务规模增长的需求以及数据的积累。 智能化：人工智能技术的应用，挖掘数据的价值，驱动业务的创新。 向规模化和智能化的发展，仍然存在一定的技术门槛。成熟的开源技术的应用能让一个大数据系统的搭建变得简单，同时大数据架构也变得很普遍，例如广为人知的Lambda架构，一定程度上降低了技术的入门门槛。但是对数据系统的后续维护，例如对大数据组件的规模化应用、运维管控和成本优化，需要掌握大数据、分布式技术及复杂环境下定位问题的能力，仍然具备很高的技术门槛。 数据系统的核心组件包含数据管道、分布式存储和分布式计算，数据系统架构的搭建会是使用这些组件的组合拼装。每个组件各司其职，组件与组件之间进行上下游的数据交换，而不同模块的选择和组合是架构师面临的最大的挑战。 本篇文章主要面向数据系统的研发工程师和架构师，我们会首先对数据系统核心组件进行拆解，介绍每个组件下对应的开源组件以及云上产品。之后会深入剖析数据系统中结构化数据的存储技术，介绍阿里云Tablestore选择哪种设计理念来更好的满足数据系统中对结构化数据存储的需求。 二.数据系统架构 1.核心组件
Oracle数据库11g管理非结构化数据 (2) 一、引言 (2) 二、在ORACLE 中管理非结构化数据的优势 (3) 三、打破了原来处理非结构化数据的“性能障碍” (4) 3.1 Oracle SecureFiles (4) 3.2 SecureFiles 中的存储优化 (5) 四、专用数据类型和数据结构 (6) 4.1 Oracle XML DB (6) 4.2 Oracle Text (7) 4.3 Oracle Spatial (8) 4.4 RDF、OWL 和语义数据库管理 (9) 4.5 Oracle Multimedia (9) 4.6 Oracle DICOM 医学内容管理 (9) 五结论 (10)
Oracle数据库11g管理非结构化数据 一、引言 公司、企业以及其他机构使用的绝大部分信息都可归类为非结构化数据。 非结构化数据是计算机或人生成的信息，其中的数据并不一定遵循标准的数据结构（如模式定义规范的行和列），若没有人或计算机的翻译，则很难理解这些数据。常见的非结构化数据有文档、多媒体内容、地图和地理信息、人造卫星和医学影像，还有Web 内容，如HTML。 根据数据的创建方式和使用方式的不同，非结构化数据的管理方法大不相同。 1.大量数据分布于桌面办公系统（如文档、电子表格和演示文稿）、专门的工作站和设备 （如地理空间分析系统和医学捕获和分析系统）上。 2.政府、学术界和企业中数TB 的文档存档和数字库。 3.生命科学和制药研究中使用的影像数据银行和库。 4.公共部门、国防、电信、公用事业和能源地理空间数据仓库应用程序。 5.集成的运营系统，包括零售、保险、卫生保健、政府和公共安全系统中的业务或健康记 录、位置和项目数据以及相关音频、视频和图像信息。 6.学术、制药以及智能研究和发现等应用领域中使用的语义 数据（三元组）。 自数据库管理系统引入后，数据库技术就一直用于解决管理大量非结构化数据时所遇到的特有问题。通常通过“基于指针的”方法使用数据库对存储在文件中的文档、影像和媒体内容进行编目和引用。为了在数据库表内存储非结构化数据，二进制大对象（或简称为BLOB）作为容器使用已经数十年了。除了简单的BLOB 外，多年以来，Oracle 数据库一直通过运算符合并智能数据类型和优化数据结构，以分析和操作XML 文档、多媒体内容、文本和地理空间信息。由于有了Oracle 数据库11g，Oracle 再次在非结构化数据管理领域开辟出一片新天地：大幅提升了通过数据库管理系统原生支持的非结构化数据的性能、安全性以及类型。
第一章 一、解答题 1、解释术语：数据、数据库、数据管理系统、数据库系统、数据库应用系统、视图、数据字典。P19-20 数据：是描述现实世界中各种具体事物或抽象概念的、可存储并具有明确意义的信息。 数据库：是相互关联的数据集合。 数据管理系统：是一个通用的软件系统，由一组计算机程序构成。 数据库系统：是一个用户的应用系统得以顺利运行的环境。 数据库应用系统：主要指实现业务逻辑的应用程序。 视图：指不同的用户对同一数据库的每一种理解称为视图。 数据字典：用于存储数据库的一些说明信息的特殊文件。 2、简述数据抽象、数据模型及数据模式之间的关系 P26 数据模型是数据抽象的工具，是数据组织和表示的方式； 数据模式是数据抽象利用数据模型，将数据组织起来后得到的结果； 总而言之，数据模式是数据抽象的结果。 3、DBMS应具备的基本功能有哪些？P9 数据独立性、安全性、完整性、故障恢复、并发控制 4、数据库中对数据最基本的4种操作是什么？ P24 增加、删除、修改、查询 5、评价数据模型的3个要素是什么？ P12 1)能够真实地描述现实系统 2)能够容易为业务用户所理解 3)能够容易被计算机实现 6、数据模型的3个要素是什么？ P24 数据结构、数据操作、数据约束 7、简述SQL语言的使用方式。P13 一般有两种方式：SQL的交互式使用；用户通过开发应用系统与RDBMS交互。 8、在数据库设计时,为什么涉及到多种数据模型？P12 因为目前商用化DBMS没有一个能够同时满足3项要求，为此，人们不得不走折中路线，设计一些中间的数据模型。 9、数据库系统中的用户类型有哪些？P28-29 最终用户、数据库应用开发人员、数据库管理员、其他与数据库系统有关的人员。11、简述OLTP与OLAP间的区别。P42-43 OLTP(联机事务处理)主要面向日常的业务数据管理，完成用户的事务处理，提高业务处理效率，通常要进行大量的更新操作，同时对响应时间要求比较高。 OLAP(联机分析处理)注重数据分析，主要对用户当前及历史数据进行分析，辅助领导决策，通常要进行大量的查询操作，对时间的要求不太严格。 二、单项选择题 1、( A )不是SQL语言的标准。P156 A.SQL-84 B.SQL-86 C.SQL-89 D.SQL-92 2、 ( D )数据模型没有被商用DBMS实现。P26 A.关系模型 B.层次模型 C.网状模型 D.E-R模型 3、( C )不是数据模型应满足的要求。P12 A.真实描述现实世界 B.用户易理解
B i g t a b l e结构化数据的分布式存储系统 上
Bigtable 结构化数据的分布式存储系 统上 转载请注明：作者phylips@bmy 摘要 Bigtable是设计用来管理那些可能达到很大大小(比如可能是存储在数千台服务器上的数PB的数据)的结构化数据的分布式存储系统。Google的很多项目都将数据存储在Bigtable中，比如网页索引，google地球，google金融。这些应用对Bigtable提出了很多不同的要求，无论是数据大小(从单纯的URL到包含图片附件的网页)还是延时需求。尽管存在这些各种不同的需求，Bigtable成功地为google的所有这些产品提供了一个灵活的，高性能的解决方案。在这篇论文中，我们将描述Bigtable所提供的允许客户端动态控制数据分布和格式的简单数据模型，此外还会描述Bigtable的设计和实现。 1.导引 在过去的2年半时间里，我们设计,实现,部署了一个称为Bigtable的用来管理google的数据的分布式存储系统。Bigtable的设计使它可以可靠地扩展到成PB的数据以及数千台机器上。Bigtable成功的实现了这几个目标：广泛的适用性，可扩展性，高性能以及高可用性。目前，Bigtable已经被包括Google分析，google金融，Orkut，个性化搜索，Writely和google地球在内的60多个google产品和项目所使用。这些产品使用Bigtable用于处理各种不同的工作负载类型，从面向吞吐率的批处理任务到时延敏感的面向终端用户的数据服务。这些产品所使用的Bigtable集群也跨越了广泛的配置规模，从几台机器到存储了几百TB数据的上千台服务器。
陶宏才《数据库原理和设计》第3版课后习题答案解析
第一章 一、解答题 1、解释术语：数据、数据库、数据管理系统、数据库系统、数据库应用系统、视图、数据字典。P19-20 数据：是描述现实世界中各种具体事物或抽象概念的、可存储并具有明确意义的信息。 数据库：是相互关联的数据集合。 数据管理系统：是一个通用的软件系统，由一组计算机程序构成。 数据库系统：是一个用户的应用系统得以顺利运行的环境。 数据库应用系统：主要指实现业务逻辑的应用程序。 视图：指不同的用户对同一数据库的每一种理解称为视图。 数据字典：用于存储数据库的一些说明信息的特殊文件。 2、简述数据抽象、数据模型及数据模式之间的关系 P26 数据模型是数据抽象的工具，是数据组织和表示的方式； 数据模式是数据抽象利用数据模型，将数据组织起来后得到的结果； 总而言之，数据模式是数据抽象的结果。 3、DBMS应具备的基本功能有哪些？P9 数据独立性、安全性、完整性、故障恢复、并发控制 4、数据库中对数据最基本的4种操作是什么？ P24 增加、删除、修改、查询 5、评价数据模型的3个要素是什么？ P12 1)能够真实地描述现实系统 2)能够容易为业务用户所理解 3)能够容易被计算机实现 6、数据模型的3个要素是什么？ P24 数据结构、数据操作、数据约束 7、简述SQL语言的使用方式。P13 一般有两种方式：SQL的交互式使用；用户通过开发应用系统与RDBMS交互。 8、在数据库设计时,为什么涉及到多种数据模型？P12 因为目前商用化DBMS没有一个能够同时满足3项要求，为此，人们不得不走折中路线，设计一些中间的数据模型。 9、数据库系统中的用户类型有哪些？P28-29 最终用户、数据库应用开发人员、数据库管理员、其他与数据库系统有关的人员。 11、简述OLTP与OLAP间的区别。P42-43 OLTP(联机事务处理)主要面向日常的业务数据管理，完成用户的事务处理，提高业务处理效率，通常要进行大量的更新操作，同时对响应时间要求比较高。 OLAP(联机分析处理)注重数据分析，主要对用户当前及历史数据进行分析，辅助领导决策，通常要进行大量的查询操作，对时间的要求不太严格。 二、单项选择题 1、( A )不是SQL语言的标准。P156 A.SQL-84 B.SQL-86 C.SQL-89 D.SQL-92 2、 ( D )数据模型没有被商用DBMS实现。P26
1 非结构化数据存储需求 1.1 非结构化数据 我们通常把那些不方便用数据库二维逻辑表来表现的数据，称为非结构化数据，也习惯称其为内容信息。随着企业业务的飞速发展和企业信息化建设的步伐，特别是随着网络应用的丰富和发展，各行各业都积累了大量的信息资源，其中大部分都是内容信息。研究部门调查发现，在当前企业存储的大量数据中，传统关系数据库管理系统(RDBMS)处理的结构化数据仅占数据信息总量的20%，而全球80%的信息是非结构化的，包括：纸质文件和报告、电子影像、视频和音频文件、传真件、信件、电子邮件等。 1.2 内容管理系统 内容管理系统就是针对企业非结构化数据的管理而设计的，帮助企业解决在内容信息的管理和使用过程中的一系列问题。 1.2.1 数据存储要求 内容管理系统对数据存储特别是影像数据的存储有如下要求： 海量可扩充的存储设备 由于系统影像数据会随着业务量的增长而迅速增长，所以需要一个具有在线扩容能力，并在扩容时不会影响整个存储系统性能的高效存储。 高读写性能 由于影像文件的存储容量都很大，所以数据存储需要有良好的读写性能。 备份和恢复能力 存储设备要支持在海量情况下高速的在线备份和恢复解决方案。 满足法规遵从 要求采一次写多次读技术（不能修改、删除，只能查看），保证数据的真实性、完整性，满足内部审计要求。 数据完整性与自动修复 希望存储内部提供对于数据进行检测完整性并自动修复的功能，避免出现影像打开后出现色差，黑线，黑块等影响影像质量的问题。
消除重复存储 对于相同的图片如果有多次存储的话只希望在后台保留一份，对于前端应用完全透明，节省了存储空间。 存储的高可用性和性价比 需要存储支持高可用性方案，比如双机热备，在线容灾等，在确保安全性的情况下希望有一个比较好的价格。 方便的部署 部署的设备需要充分利用现有网络和服务器资源，对于业务不中断的部署与升级。 设备管理 随着数据量的增长，设备的不断扩容，设备节点会越来越多，所以希望所购买的存储是一个智能的可自动报警的设备。 2 CAS存储架构 内容寻址存储（Content Addressed Storage，CAS）是由美国EMC公司2002年4月率先提出的针对固定内容存储需求，专为非结构化数据存储而设计的先进网络存储技术（固定内容是指一旦生成就不再发生改变的信息，比如：视频、扫描影像、电子邮件、银行票据等，企业内容管理系统所要管理的资料影像，就属于是固定内容数据）。 CAS具有面向对象存储特征，基于磁记录技术，它按照所存储数据内容的数字指纹寻址，具有良好的可搜索性、安全性、可靠性和扩展性。 2.1 CAS的特点 2.1.1 不需要记住文件路径 CAS和SAN、NAS在技术层面有一个最大的区别。SAN、NAS在存储文件的时候是按照地址存放文件，用户找文件的时候一定要知道它放在哪个磁盘分区的哪个目录里，否则就要搜索。而CAS没有分区、没有目录，用户不需要记住文件路径，只需要把数据交给CAS，CAS给用户一个数字指纹，相当于公民身份证，靠一串数字和字母组合的数字指纹来识别用户存储的数据。当用户需要找这个数据的时候，要提交数字指纹来获取数据，所以它的技术和传统的SAN、NAS是完全不同的。
1.在关于报表数据源设置的叙述中，以下正确的是()。 A.可以是任意对象 B.只能是表对象 C.只能是查询对象 D.可以是表对象或查询对象 答案：D 2.以下变量名中合法的是()。 A.avg_sum B.y+2 C.100abcd D.print 答案：A 3.在Access中表与数据库的关系是()。 A.一个数据库可以包含多个表 B.一个表只能包含两个数据库 C.一个表可以包含多个数据库 D.数据库就是数据表 答案：A 4.工资表结构：工资(职工号C，基本工资N，工龄工资N，实发工资N)。现将所有职工的基本工资提高10%; 工龄工资提高5%，按照有关工资的变动，重新计算实发工资字段值，下面命令正确的是()。 A.Update 工资 set 实发工资=基本工资*1.1+工龄工资*1.05 B.Update 工资 set 实发工资=基本工资+工龄工资，基本工资=基本工资*1.1，工龄工资=工龄工资*1.05 C.Update 工资 set 基本工资=基本工资*1.1，工龄工资=工龄工资*1.05，实发工资=基本工资* 1.1+工龄工资*1.05 D.Update 工资 set 基本工资=基本工资*1.1，工龄工资=工龄工资*1.05，实发工资=基本工资+工龄工资 答案：C
5.SelectCase语句中，表达式是下面四种形式，不正确的是()。 A.表达式，例如“a” B.一组用逗号分隔的枚举值，例如“a”，“b” C.表达式1 to 表达式2，例如1 to 10 D.关系运算符表达式，例如=60 答案：D 6.执行以下两条命令后，输出结果是()。BOOKS=“南开大学图书管理系统” LEN(MID(BOOKS，5)) A.16 B.6 C.12 D.语法错误 答案：B 7.VBA代码调试过程中，能够动态了解变量和表达式变化情况的是()。 A.监视窗口 B.本地窗口 C.立即窗口 D.快速监视窗口 答案：A 8.SQL查询语句中，用来实现数据列选取的短语是()。 A.Where B.From C.Select D.GroupBy 答案：C 9.以下SQL语句和其他三条执行结果不一样的是()。 A.SELECT 学号，课程号，成绩 FROM 选课成绩 WHERE 课程号NOT IN(“101”，“103”) B.SELECT 学号，课程号，成绩 FROM 选课成绩 WHERE 课程号“103”
1.非结构化数据存储 在上图中，描述了非结构化数据存储架构的基本组成部分，其中： 1. 文件存取统一接口，封装了对数据中心所以非结构化数据的读写操作接口。 2. Hadoop HDFS 负责对大文件的存储，以HDFS：为文件协议标准 3. HBase 通过维护一张文件表完成对小文件的存储，以HBase：为文件协议标识1.1文件存取统一接口 1.1.1 文件存储接口 对文件进行存储前，接口根据文件的大小和HDFS文件分块的配置大小进行比较，当文件超过设定大小时，接口认为该文件是大文件，直接分配到HDFS文件存储接口进行写入；否则当文件小与块大小时，根据系统维护的Hbase小文件存储通用存储表进行存储管理。
1. 对直接存储到HDFS的文件，则文件路径以HDFS为中心存储文件协议头，文件路径则根据该文件的业务属性做完文件的路径，文件名称保留原有名称，例如：HDFS://aaa/bbb.zip 2. 对通过Hbase管理的小文件，则文件路径以HBASE为中心存储文件协议头，文件路径不需要分文件夹，直接以文件的唯一标识标识即可，例如：HBASE://uuid 1.1.2 文件读取接口 文件读取时，通过识别URL，确定文件的存储方式，然后找到对应的存储接口获取文 件。
1.1Had oop HDFS存储接口 完成大文件的存储与读取接口操作。 1.2Hbase存储接口 文件通用存储表结构： 表存在两个列簇，default列簇负责存储基础属性信息，用一个单独的列簇存储图片内容。 HBase是采用面向列的存储模型，按列簇来存储和处理数据，即同一列簇的数据会连续存储。HBase在存储每个列簇时，会以Key-Value的方式来存储每行单元格(Cell)中的数据，形成若干数据块，然后把数据块保存到HFile中，最后把HFile保存到后台的HDFS 上。由于用单元格 (Cell)存储图片小文件的内容，上述存储数据的过程实际上隐含了把图片小文件打包的过程。默认情况下，HBase数据块限制为64KB。由于图片内容作为单元格(Cell)的值保存，其大小受制于数据块的大小。在应用中需根据最大图片大小对HBase数据