Oracle数据库11g管理非结构化数据 (2)
一、引言 (2)
二、在ORACLE 中管理非结构化数据的优势 (3)
三、打破了原来处理非结构化数据的“性能障碍” (4)
3.1 Oracle SecureFiles (4)
3.2 SecureFiles 中的存储优化 (5)
四、专用数据类型和数据结构 (6)
4.1 Oracle XML DB (6)
4.2 Oracle Text (7)
4.3 Oracle Spatial (8)
4.4 RDF、OWL 和语义数据库管理 (9)
4.5 Oracle Multimedia (9)
4.6 Oracle DICOM 医学内容管理 (9)
五结论 (10)
Oracle数据库11g管理非结构化数据
一、引言
公司、企业以及其他机构使用的绝大部分信息都可归类为非结构化数据。
非结构化数据是计算机或人生成的信息，其中的数据并不一定遵循标准的数据结构（如模式定义规范的行和列），若没有人或计算机的翻译，则很难理解这些数据。常见的非结构化数据有文档、多媒体内容、地图和地理信息、人造卫星和医学影像，还有Web 内容，如HTML。
根据数据的创建方式和使用方式的不同，非结构化数据的管理方法大不相同。
1.大量数据分布于桌面办公系统（如文档、电子表格和演示文稿）、专门的工作站和设备
（如地理空间分析系统和医学捕获和分析系统）上。
2.政府、学术界和企业中数TB 的文档存档和数字库。
3.生命科学和制药研究中使用的影像数据银行和库。
4.公共部门、国防、电信、公用事业和能源地理空间数据仓库应用程序。
5.集成的运营系统，包括零售、保险、卫生保健、政府和公共安全系统中的业务或健康记
录、位置和项目数据以及相关音频、视频和图像信息。
6.学术、制药以及智能研究和发现等应用领域中使用的语义
数据（三元组）。
自数据库管理系统引入后，数据库技术就一直用于解决管理大量非结构化数据时所遇到的特有问题。通常通过“基于指针的”方法使用数据库对存储在文件中的文档、影像和媒体内容进行编目和引用。为了在数据库表内存储非结构化数据，二进制大对象（或简称为BLOB）作为容器使用已经数十年了。除了简单的BLOB 外，多年以来，Oracle 数据库一直通过运算符合并智能数据类型和优化数据结构，以分析和操作XML 文档、多媒体内容、文本和地理空间信息。由于有了Oracle 数据库11g，Oracle 再次在非结构化数据管理领域开辟出一片新天地：大幅提升了通过数据库管理系统原生支持的非结构化数据的性能、安全性以及类型。
二、在ORACLE 中管理非结构化数据的优势
企业选择在Oracle 数据库管理系统中存储非结构化数据的原因有很多：
1.强健的调优和管理：存储在数据库中的内容可直接与相关数据链接。元数据和内容同步
进行维护；并在事务控制之下进行管理。数据库还提供强健的备份、恢复、物理调优和逻辑调优服务。
2.简单的应用程序部署：Oracle 支持各种特定类型的内容，包括SQL 语言扩展、PL/SQL
和JAVA API、Xpath 和Xquery（在使用XML 时），在大多数情况下还支持JSP 标记库以及通过内置运算符执行常见或重要运算的算法。
3.高可用性：Oracle 的最高可用性体系结构使得“零数据丢失”配置可应用于所有数据。
在出现故障时只需一个恢复过程，这不同于常见配置。在常见配置中，属性信息存储在数据库中，数据库具有指向文件中的非结构化数据的指针。
4.可伸缩的体系结构：在许多情况下，通过触发器、视图处理或表和数据库级参数进行索
引编制、分区和执行操作的能力使得构建在数据库而非文件系统上的应用程序可以支持更大的数据集。
5.安全性：Oracle 数据库可实现细粒度（行级和列级）安全性。同一安全机制既可应用
于结构化数据，也可应用于非结构化数据。使用许多文件系统时，目录服务无法实现细粒度级的访问控制。限制单个用户的访问可能无法实现，在许多系统中，允许用户访问目录中的任何内容意味着可以访问目录中的所有内容。
三、打破了原来处理非结构化数据的“性能障碍”
在没有Oracle 数据库11g 之前，要获得这些好处是要付出代价的。将内容存储在数据库而不是传统文件系统中后，数据库特性（如域索引、分区和并行）可以改进地理空间应用程序以及查询和更新密集型XML 应用程序的性能。然而，在许多情况下（例如多媒体应用程序），管理和检索非结构化数据需要额外的处理能力和内存才能获得与文件系统等同的性能。
有了Oracle 数据库11g SecureFiles 后，一切都不同了，新的高性能LOB 支持检索非结构化数据，速度可与等价的文件系统配置媲美，甚至超过了后者。SecureFiles 是一个重要的新体系结构，其特性包括全新的磁盘格式、空间和内存管理技术，它可显著提升LOB 性能并优化存储。
3.1 Oracle SecureFiles
SecureFiles 在数据库处理文件数据的方式上采用了全新的范例，对于基本查询和插入操作可提供类似文件系统的性能。经过SecureFiles 优化的算法速度最快可达旧LOB 的10 倍。SecureFiles 可利用文件系统无法使用的多个高级Oracle 数据库功能。在Oracle RAC 环境中，SecureFiles 提供的高级别可伸缩性远非文件系统可比。通过SecureFiles，用户可使用“联机表重新定义”轻松地从旧LOB 进行移植，而不会影响到现有应用程序。应用程序不必再处理多个接口来操作关系和相关文件数据。使用SecureFiles 时，非结构化数据可以是数据库事务的一部分，因此，免去了应用程序保证原子性、读取一致性以及其他备份和恢复过程的复杂性。
SecureFiles 将透明数据加密(TDE) 功能扩展到了LOB 数据。数据库支持表内所有LOB 列的自动密钥管理，并可以对数据、备份和重做/撤消日志文件进行透明加密/解密。应用程序无需更改即可通过SecureFiles LOB透明地利用TDE 功能。SecureFiles 支持下列加密算法：
1.3DES168：三重数据加密标准，密钥长度为168 位。
2.AES128：高级加密标准，密钥长度为128 位。
3.AES192：高级加密标准，密钥长度为192 位。（默认值）
4.AES256：高级加密标准，密钥长度为256 位。
3.2 SecureFiles 中的存储优化
与SecureFiles 一起提供的还有高级文件系统特性，如重复消除(Deduplication) 和压缩。重复消除可消除多个冗余的SecureFiles 数据副本，并且对于应用程序是完全透明的。Oracle 可自动检测到多个相同的SecureFiles 数据副本，并仅存储一个副本，从而节省了存储空间。重复消除不仅简化了存储管理，而且显著提高了性能，尤其是对于复制操作。
用户可使用行业标准的压缩算法压缩LOB 数据，从而大幅节省存储空间并显著提升性能。Oracle 可自动判断SecureFile 数据是否可进行压缩，或压缩是否有益。SecureFiles 对整个服务器使用默认的LOB 压缩算法，并提供有各种级别的压缩。每种压缩级别都是压缩系数和速度之间的一种平衡。企业可以根据存储和CPU 使用限制选择最适合其需求的压缩级别。SecureFiles 可自动进行压缩和解压缩，并且对于应用程序是完全透明的。
四、专用数据类型和数据结构
与数据库管理系统包括数据类型、存储和索引结构以及运算符以对结构化数据进行有效查询和分析一样，它们在管理非结构化数据时也需要这些元素以实现增值。Oracle 数据库11g 的这些特性在XML、文本、空间、语义以及多媒体和DICOM 数据管理方面具有独一无二的优势。
4.1 Oracle XML DB
XML 已为各行各业广泛采用。在卫生保健、制造、金融服务、政府以及出版等领域中都可以找到基于XML 的标准。事实上，基于XML 的标准（如XBRL）的引入已使XML 成为应用系统之间的信息交换机制。因此，越来越多的人将XML 用作了任务关键数据的持久性模型。
为了满足这个需要，Oracle 开发了Oracle XML DB。Oracle XML DB 是一项高性能的原生XML 存储和检索技术，可在所有版本的Oracle 数据库上使用。它完全支持所有关键的XML 标准，包括XML、命名空间、DOM、Xquery、SQL/XML 和XSLT。Oracle XML DB 是第一个真正融合了关系/XML 功能的平台，从而使用户可以针对XML 内容充分利用SQL 语言以及针对关系数据充分利用XML 范例。
随着Oracle 数据库11g 的发布，Oracle 扩展了其行业领先的XML 支持，进而确保了Oracle 仍是存储、管理和查询所有可能的XML 内容类型的最佳平台。Oracle 数据库11g 中的新特性改善了性能和可伸缩性，并对灵活性提供充分支持，从而使更多不同机构为XML 数据模型所吸引。
Oracle 数据库11g 为使用Oracle XMLSchema 优化的XML 存储的用户
在诸多方面进行了改进。
1.XML 模式的适当发展。
2.XML 模式优化的存储的Oracle 分区。
3.优化存储模型的XML 模式优化的智能默认值。
4.模式优化的存储上的XQuery 操作改进
5.支持通过Oracle Streams 复制基于文本的XMLType 存储。
为了以最优的方式处理非基于模式的XML，Oracle 数据库11g 引入了一个新的二进制XML 存储选件以及新的XML 索引编制功能，从而带来高性能的插入、更新和查询操作。Oracle 的二进制XML 格式允许针对XML 内容进行基于路径的高效索引编制。该格式可以优化XQuery 执行和碎片提取。Oracle 数据库11g 新的XML 索引编制功能可以充分利用此格式。
Oracle 数据库11g 通过直接将Oracle PL/SQL 程序包、过程和函数公开为web 服务简化了面向服务的轻型应用程序的实施。Oracle XML DB 信息库现在引入了一个支持工作流类型应用程序的事件模型，其中的自动创建或修改文件等简单任务会启动相应流程。
4.2 Oracle Text
Oracle Text 是数据库环境所需的领先的文本搜索、检索和管理系统。在Oracle 数据库11g 第1 版中，Oracle Text 引入了旨在保持其领先地位的新特性。这些新特性可以划分为四个目标领域：
1.性能
2.应用程序停机时间最小化
3.国际化
4.维护简便
“混合查询”（包含文本搜索部分和结构化部分的查询）的性能已通过“SDATA 段”和“混合域索引”的引入而得到了改善。所支持分区的数量得到了显著提高，在Oracle 数据库10g 中，可以使用的分区的数量最大为9999，在Oracle 数据库11g 中，文本索引分区的限制现在与表分区的限制相同，即220 - 1 或1,048,575。
通过Oracle 数据库11g，Oracle Text 支持增量索引和联机索引重建，从而改进了系统可用性。增量索引允许您在系统空闲时逐步创建索引。联机索引重建允许您创建“影子”索引，该索引可在原始索引仍在使用的时候进行构建。当该索引构建完成时，可以将原始索引调换为新建的影子索引。一旦这样操作，查询将自动转换至新索引。
此外，利用Oracle 数据库11g 中的其他国际化支持，用户能够针对更多种语言进行自动语言识别、词干确定和分节操作。
4.3 Oracle Spatial
IDC 的反复研究表明，Oracle 是被广泛使用的企业空间数据库服务器，占据企业空间数据库市场80% 以上的份额。每个Oracle 数据库都包含Oracle Locator，这是一个内置的位置特性，使任何业务应用程序能够直接合并位置信息和打造自身竞争优势。
Oracle 的高级地理空间选件Oracle Spatial 11g 是一个综合的空间数据库产品，其中包括对矢量和栅格数据、拓扑和网络模型、3D 数据、地理编码、路线选择以及OGC 标准Web 服务的原生支持，可满足企业和政府应用程序的需求，这些应用程序包括用于土地管理、公共事业、国防以及本土安全的业务智能和高级地理空间系统。Oracle 开放的原生空间支持消除了分散、专用系统的成本，并为所有领先GIS 供应商支持。只有Oracle 可为以Oracle 原生类型存储的任务关键的空间资产提供行业领先的安全性、性能、可伸缩性以及可管理性。
在Oracle Spatial 11g 中，Oracle 引入了以下特性：
1.通过Oracle 融合中间件MapViewer 与Oracle 业务智能套件
2.企业版、Oracle 融合中间件WebCenter 以及Oracle 业务活动监视进行集成。
3.对存储和管理三维数据、点云和地形模型的支持。
4.OpenGIS Web 服务标准：Web Map Service (WMS)、Web Feature Service –
Transactions (WFS-T)、Web Catalog Services(CS-W) 和Open Location Services
(OpenLS)。
5.GeoRaster 数据类型和网络数据模型现在可更便捷地处理较以前大得多的数
据集。
6.路线搜索引擎、地理编码、拓扑数据模型和网络数据模型增强。
随着11g 的发布，Oracle Spatial 的重要新功能使其成为所有地理空间应用程序或提供位置功能的企业应用程序的完善的数据管理平台。经过增强的空间几何数据类型可支持三维数据，并新增了数据类型以支持城市规划、国土安全或基于激光雷达的地图编制等领域中的应用。这些应用需要对城市模型、点云和地形模型进行存储和管理。Oracle Spatial 现在支持地理空间web 服务标准，可提供安全、可伸缩的面向服务的体系结构平台。经过增强的GeoRaster 数据类型和网络模型可以处理的数据集的大小呈数量级增加，而且性能较高并更易使用。
结合Oracle 数据库的性能、可伸缩性以及安全性，Oracle Spatial 11g 成为可用于企业级部署的最高级空间数据库平台。
4.4 RDF、OWL 和语义数据库管理
新的软件和数据模型有助于数据/内容集成和企业应用程序集成等领域内多个应用程序之间的知识共享。该软件将以语义数据建模标准，如W3C 的RDF 和OWL 为基础。
Oracle 数据库11g 包含原生RDF/RDFS/OWL 支持，从而使应用程序开发人员能够受益于可伸缩、安全、集成、高效的语义数据管理平台。应用程序开发人员可以通过定义一套术语及其之间的关系来为数据和元数据赋予意义。这些术语（“本体”）根据语义内容而不仅仅是数据值实现查询、分析和操作。本体越来越多地用于构建利用特定领域知识的应用程序。本体数据集通常包含数亿个数据项和关系，可存储在使用新的RDF数据模型的三个组（或称为“三元组”）中。Oracle 支持扩展至数十亿三元组以满足要求最为严格的应用程序的需求。
4.5 Oracle Multimedia
Oracle Multimedia（以前称为Oracle interMedia）是一个使Oracle 数据库能够以集成其他企业信息的方式存储、管理和检索图像、音频、视频或其他媒体数据的特性。Oracle Multimedia 将Oracle 数据库的可靠性、可用性和数据管理扩展到了传统应用程序、互联网应用程序、电子商务应用程序以及富媒体应用程序中的媒体内容。
借助Oracle 数据库11g，Oracle Multimedia 显著提升了性能和可伸缩性。Oracle Multimedia 支持Oracle SecureFiles，大幅改进了Oracle 数据库的性能并显著强化了该数据库的原生内容管理功能。此外，可以在数据库存储结构(BLOB) 内存储和检索的单个媒体对象的大小限制升级为BLOB 的大小限制，即介于8 TB 和128 TB 之间。
除了存储和检索大图像外，Oracle Multimedia 还可提取图像属性，如像素高达20 亿或解析度高达46000x46000 的图像的高度、宽度以及压缩格式。
4.6 Oracle DICOM 医学内容管理
借助Oracle 数据库11g，Oracle Multimedia 可提供构建大规模DICOM格式医学影像信息库和存档所必需的特性和性能。通过使用Oracle 数据库中的SecureFiles 扩展Multimedia 来存储图像、音频和视频，使Oracle 成为企业级数据库标准的所有安全性、性能和管理工具现在也可用于大量医学对象存档。
特别是对于医学影像应用程序，Oracle 提供了以下方法：
1.将图像转换为可在web 应用程序中使用的格式，以简化强调用户界面的应用
程序的开发。
2.提取标准和私有元数据以进行索引编制。
3.验证元数据是否符合DICOM 标准或当地标准。
4.移除所有患者隐私数据，创建匿名图像用于研究或培训。
5.使用更正后的元数据创建新图像。
6.从非DICOM 图像创建DICOM 格式图像。
所有这些特性都易于使用模型驱动的强大编程方法进行自定义以支持当地要求。安全的数据模型信息库可用于支持DICOM 标准和当地要求的频繁更改。
五结论
Oracle 数据库11g 中性能和功能的显著改进为实现更好的非结构化数据管理提供了
两个必要的基本因素。首先，能够以最高级别的性能管理、保护、查询和管理信息；其次，能够以开放、标准的方式从数据获取信息和知识，而此前，则要依赖于专用应用程序或设备逻辑。Oracle 数据库11g提供了独特的管理非结构化数据的功能，这是十几年的开发、调查以及与客户和应用程序提供商的紧密协作的结果。
第36卷第6期2002年11月 浙 江 大 学 学 报(工学版) Journal of Zhejiang U niversity (Engineering Science ) V o l .36N o .6N ov .2002 收稿日期:2002203215. 作者简介:李欣(1977-),男,江西宁都人,硕士生,从事自主机器人视觉导航算法研究.E 2m ail :ndlixin @21cn .com 一种结构化道路环境中的视觉导航系统 李 欣,李宏东,顾伟康,李庆中 (浙江大学信息与电子工程系,浙江杭州310027) 摘 要:根据结构化道路环境的特点提出了一种将边沿检测和道路环境知识相结合的机器视觉算法,并结合基于行为响应的路径规划方法和智能预瞄控制方法,实现了一套基本的机器人视觉导航系统.在自主机器人实验平台 A TRV 22上的实验结果表明,该视觉导航系统能够实时理解结构化道路环境,并且能够控制机器人沿着合理路径 行驶. 关键词:结构化道路;视觉导航;机器视觉;路径规划;预瞄控制 中图分类号:T P 242.6 文献标识码:A 文章编号:10082973X (2002)0620630204 A v ision -based nav igation system i n structural road env ironm en t L I X in ,L I Hong 2dong ,GU W ei 2kang ,L I Q ing 2zhong (D ep art m ent of Inf or m ation and E lectronics E ng ineering ,Z hej iang U niversity ,H ang z hou 310027,Ch ina ) Abstract :Com b in ing the know ledge of structu ral road and edge detecting m ethod ,a m ach ine visi on algo 2rithm w as p ropo sed to understand the su rrounding environm en t .W ith the behavi o r 2based path p lann ing and in telligen t p review con tro lling ,a basic visi on based navigati on system w as created and i m p lem en ted on ou r au tonom ou s robo t test bed A TRV 22.Experi m en tal resu lts show ed that the p ropo sed visi on based sys 2tem can recogn ize drivab le area in real 2ti m e and drive the A TRV 22along a reasonab le p ath . Key words :structu ral road ;visi on 2based navigati on ;m ach ine visi on ;path p lann ing ;p review con tro l 结构化道路是指地面平坦,无障碍,有良好视觉效果的白线导航的道路环境.结构化道路可以用一条白线也可用两条白线来表示可通行区域,更复杂的是高速公路网上的白线.结构化道路环境下视觉导航系统能够实现自主移动平台道路实时理解和自主行驶.一个基于视觉的导航系统从功能结构来看应包括道路检测、路径规划、运动控制等各种性质各异的功能模块.在这个系统中关键技术是机器视觉、路径规划和运动控制,在这几个方面已有大量的研究[1,2],问题主要集中于机器视觉对路面环境的快速识别和理解能力差,大部分的算法受到光照和路面环境影响,鲁棒性能较差,而且算法无法实时实现.在路径规划和运动控制方面缺乏智能性.本文提出一种基于知识的视觉导航算法,充分利用结构化道 路环境知识和道路理解的历史记录进行道路环境理解,并且采用智能预瞄控制方法.该视觉导航算法在机器人实验平台A TRV 22上实现,并且进行大量实验.结果表明该自主机器人能快速准确地理解结构化道路环境,自主行驶的轨迹平滑,并且自主行驶路径是该结构化道路环境下的合理路径. 1 实验平台和视觉导航系统 在研究中所用的实验机器人平台是美国 I ROBO T 公司的A TRV 22产品 .机器人的运动由底层运动控制模块控制,该模块直接控制车轮电机.I ROBO T 公司提供底层运动控制模块软件接口,高层控制只需给接口给定线速度和角速度就可以实现
结构化面试题本六大类已整理
一、自我认知 答题思路： 1.自我认知与职业匹配——投射性 职位需要什么，我具备 2.虚实相合：用虚词更要用实词、准确打击 多举例子，用事实说话 3.注意发掘自己的特质：人无我有、人有我优 真实可信，情感打动 4.注意言语的表示方式 （一）你理想中的学校是什么样子的？ （二）师要耐得住寂寞、清贫，教师要守住这片净土，你为什么选择教师这个行业？ 1、首先回答选择教师行业的原因及动机（如教师是自己从小的梦想、或者教师是受人尊敬的行业、或喜欢与学生在一起等） 2、回答教师的伟大之处时能够结合经历（包括自身或她人的经历， 如教师对学生的关心改变了学生对学习乃至生活的态度等）人生价值：精神追求；与学生交流；知识储备；人生规划、求职意向；性格举例子 （三）请谈谈你对教师职业的看法？ 1、教师的职责是教书育人，作为教师要有甘为人梯，甘做蜡烛的精神，要关心爱护学生的健康成长。
2、教师是众多职业中的一种，而教师这一职责比较受社会尊重，相对稳定，还有寒假和暑假两个假期，这是其它职业难以做到的 3、教师与青少年交流比较多，能够使自己保持一颗年轻的心 4、教师这一职业具有鲜明的示范性，学生几十双，几百双眼睛盯着教师，没有谁像教师这样受到严格的要求。因此，教师必须注重身教，为人师表，给学生一师范。 思路一：从职业的意义和要求阐述 思路二：从教师的特点和使命回答 （四）教师岗位的工作内容有哪些？（标准答案） 教书：传到授业解惑 育人：引导学生正确的世界观、人生观、价值观 管理工作：班级管理、班风、学风建设 （五）你为什么选择报考教师这个职位？ 参考要点：学以致用：师范类；实现价值；锻炼自己：理论和时间相结合；求职需要：就业现状，应届毕业生，福利待遇不错；表态：如果我有幸被录用，能成为一名人民教师，我会……，努力做到……； 能够成为一名人民教师我感到非常光荣。我选择教师队伍的原因有以下几点： 首先是符合我的人生规划，早在年少时我就立志要做一名老师，因此在读大学时我义无反顾的选择了师范院校； 其次我的知识储备符合做一名老师的要求，在四年的大学生涯中我积累了很多教育理论知识和学科专业知识，这些都为我成为一名教师打下了坚实的基础； 再次我的性格也很适合做老师，我很喜欢和孩子们相处，我身边的人都说我做事有耐心，有毅力，这些也都符合教师的职业特点。经过对自我的深度分析，
非结构化数据存储方案 一、存储类型体系： 1.1 存储类型体系结构图 1.2 存储类型体系描述 （1）块存储：将存储区域划分为固定大小的小块，是传统裸存设备的存储空间对外暴露方式。块存储系统将大量磁盘设备通过SCSI/SAS或FC SAN与存储服务器连接，服务器直接通过SCSI/SAS或FC协议控制和 访问数据。主要包括DAS和SAN两种存储方式。对比如下图：
（2） 分布式文件存储：文件存储以标准文件系统接口形式向应用系统提供 海量非结构化数据存储空间。分布式文件系统把分布在局域网内各个计算机上的共享文件夹集合成一个虚拟共享文件夹，将整个分布式文件资源以统一的视图呈现给用户。它对用户和应用程序屏蔽各个节点计算机底层文件系统的差异，提供用户方便的管理资源的手段和统一 的访问接口。主要包括NAS 和HDFS 两种存储方式。 a) 网络附加存储NAS 结构如图：
b)HDFS分布式文件系统存储结构如图： （3）对象存储：对象存储为海量非结构化数据提供Key-Value这种通过键-值查找数据文件的存储模式，提供了基于对象的访问接口，有效地合并了NAS和SAN的存储结构优势，通过高层次的抽象具有NAS的跨平台共享数据优点，支持直接访问具有SAN的高性能和交换网络结 构的可伸缩性。主要包括swift和ceph两种实现形式。 a)Swift，OpenStack Object Storage（Swift）是OpenStack项目的子项目 之一，被称为对象存储。它构建在比较便宜的标准硬件存储基础设 施之上，无需采用RAID（磁盘冗余阵列），通过在软件层面引入一致性散列技术和数据冗余性，牺牲一定程度的数据一致性来达到高可 用性和可伸缩性，支持多租户模式、容器和对象读写操作，适合解 决非结构化数据存储问题。 b)ceph，Linux下PB级分布式文件系统，可轻松扩展PB容量，提供了 对多种工作负载的高性能和高可靠性。它大致分为四部分：客户端 （数据用户），元数据服务器（缓存和同步分布式元数据），一个对 象存储集群（包括数据和元数据），以及最后的集群监视器（执行监 视功能）。
环境规划学 第一章绪论 1.环境规划：人类为使环境与经济社会协调发展而预先对自身活动和环境所做的时间和空间的合理安排。 2.环境规划的实质：环境规划的实质是一种克服人类阶级社会活动和环境保护活动盲目性和主观随意性的科学决策活动。 3.环境规划的作用： （1）促进环境与经济、社会可持续发展； （2）保障环境保护活动纳入国民经济和社会发展计划； （3）合理分配排污削减量、约束排污者行为； （4）以最小的投资获取最佳的环境效益； （5）实行环境管理目标的基本依据 4.环境规划的基本特征：整体性、综合性、区域性、动态性、前瞻性、信息密集、政策性强 5.环境规划的基本原则： （1）经济建设、城乡建设和环境建设同步原则； （2）遵循经济规律，符合国民经济计划总要求的原则； （3）遵循生态规律，合理利用环境资源的原则； （4）预防为主，防治结合的原则； （5）系统原则； （6）坚持依靠科技进步的原则； （7）强化环境管理的原则 6.环境规划的基本内容： ①前期环境保护工作评估；②环境调查和评价；③环境模拟与预测；④环境目标和指标的确定；⑤污染物排放总量控制；⑥重点工程和融资渠道；⑦保障措施。 7.环境规划的分类： （1）按规划期可分为：长远环境规划、中期环境规划、年度环境保护计划； （2）按环境与经济的辨正关系划分为：经济制约型、协调型、环境制约型； （3）按环境要素划分为：大气污染控制规划、水污染控制规划、固体废物污染控制规划、噪声污染控制规划；（4）按照行政区划和管理层次划分为：国家环境规划、省（区）市环境规划、部门环境规划、县区环境规划、农村环境规划、自然保护区环境规划、城市综合整治环境规划、重点污染源（企业）污染防治规划； （5）按性质划分为：生态规划、污染综合防治规划、自然保护规划、环境科学技术与产业发展规划 8.环境规划的发展方向： （1）增强环境规划的协调与衔接；（2）强化环境规划的导向性和调控性；（3）完善环境规划的技术方法 第二章环境规划学的理论基础 1.环境容量：是保证达到预定环境保护目标的前提下环境单元所能接纳的污染物的最大的数量。 2.环境承载力：指某一时刻环境系统所能承受的人类社会、经济活动的能力阈值。 3.可持续发展：既满足当代人的需要，又不对后代人满足其需要的能力构成危害的发展。 4.人地系统协调共生理论 （一）人地系统协调共生的熵变描述 人地关系形成耗散结构过程，正式靠系统开放而不断向其输入低熵能量物质和信息，产生负熵流得以维持。 根据热力学第二定律，人地系统遵循熵方程： 熵变类型 ds<0 熵值降低---稳定、有序---协调共生 ds>0 熵增---混乱、无序---人地冲突 ds=0 熵值不变---维持原有状态---警戒协调 ds=? 熵变无规律---方向不定---混沌
非结构化数据管理系统 1 范围 本标准规定了非结构化数据管理系统的功能性要求和质量要求。 本标准适用于非结构化数据管理系统产品的研制、开发和测试。 2 符合性 对于非结构化数据管理系统是否符合本标准的规定如下： a)非结构化数据管理系统若满足本标准基本要求中的所有要求，则称其满足本标准的基本要求； b)非结构化数据管理系统在满足所有基本要求的前提下，若满足某部分扩展要求，则称其满足本 标准的基本要求和该部分扩展要求； c)非结构化数据管理系统若满足本标准基本要求和扩展要求中的所有要求，则称其满足本标准的 所有要求。 3 规范性引用文件 下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。 GB 18030—2005 信息技术中文编码字符集 GB/T AAAAA-AAAA 非结构化数据访问接口规范 4 术语和定义 下列术语和定义适用于本文件。 4.1 非结构化数据unstructured data 没有明确结构约束的数据，如文本、图像、音频、视频等。 4.2 非结构化数据管理系统unstructured data management system 对非结构化数据进行管理、操作的大型基础软件，提供非结构化数据存储、特征抽取、索引、查询等管理功能。 5 缩略语 下列缩略语适用于本文件。 IDF：逆向文件频率 (Inverse Document Frequency) MFCC：梅尔频率倒谱系数（Mel Frequency Cepstrum Coefficient）
PB：千万亿字节（Peta Byte） SIFT：尺度不变特征转换（Scale-invariant Feature Transform） TF：词频 (Term Frequency) 6 功能性要求 6.1 总体要求 非结构化数据管理系统的总体要求如下： a)应包括存储与计算设施、存储管理、特征抽取、索引管理、查询处理、访问接口、管理工具七 个基本组成部分； b)宜包括转换加载、分析挖掘、可视展现三个扩展组成部分。 6.2 存储与计算设施 6.2.1 基本要求 存储与计算设施基本要求如下： a)应支持磁盘、磁盘阵列、内存存储、键值存储、关系型存储、分布式文件系统等一种或多种存 储设施； b)应支持单机、并行计算集群、分布式计算集群等一种或多种计算设施。 6.2.2 扩展要求 无。 6.3 存储管理 6.3.1 基本要求 存储管理基本要求如下： a)应提供涵盖原始数据、基本属性、底层特征、语义特征的概念层存储建模功能； b)应提供逻辑层的存储建模功能； c)支持整型、浮点型、布尔型、字符串、日期、日期时间、二进制块等基本数据类型； d)支持向量、矩阵、关联等数据类型； e)应支持根据建好的逻辑层存储模型创建存储实例； f)应支持在创建好的存储实例上插入、修改、删除非结构化数据； g)应支持删除存储实例； h)应支持非结构化数据操作的原子性。 6.3.2 扩展要求 存储管理扩展要求如下： a)应支持全局事务的定义并保证事务的原子性、一致性、隔离性和持久性； b)应支持数据类型的多值结构和层次结构； c)应支持在不同的存储设施上创建存储实例并实现自动映射； d)应支持PB级数据存储。 6.4 特征抽取
环境规划学试卷（附完整答案答案） 一、填空（共 40 分） 1、环境规划是指为使环境与社会经济协调发展而对人类生产、生活活动所做的时间上和空 间上的合理安排。 2、按环境与经济的关系划分：经济制约型，协调型，环境制约型。 3、环境规划指标的类型：环境质量指标、污染物总量控制指标、环境规划措施与管理指标、相关指标。 4、环境规划决策特征：结构化决策、非结构化决策、半结构化决策。 5、分担率 = 单个污染源排放量/ 所有污染源的总排放含量 6、大气环境污染预测：比例法、箱式模型法、高斯烟流模型 7、土地利用总体规划的规划期限由国务院规定。 8、能源弹性系数是年平均能源消费量增长速度和年平均经济增长速度的比值。 二、国外环境规划的基本特点是什么？（10 分） 1、人体健康重于经济发展； 2、政府官员参与，公众参与； 3、将环境标准作为基本规划目标和规划手段； 4、以毒性污染物和直接危害人体健康的污染物为重点防治对象； 5、环境规划是经济发展规划的有机组成部分； 6、新市镇规划中必然包括环境规划内容； 7、重视以法律、行政管理手段落实规划。 三、发展低碳经济的途径与方法（10 分） 1、出台利于发展低碳经济的政策； 2、促使全社会增强低碳意识； 3、发展低碳产业； 4、大力推进低碳科技创新； 5、提倡低碳的生产； 6、构建低碳生活方式； 7、建立低碳经济管理制度 四、则确定环境规划目标的原则（10 分） 1、以规划区环境特征、性质和功能区划为基础 2、以经济、社会发展战略思想为依据 3、以满足人们生存和发展对环境质量的要求为根本 4、应满足现代技术经济条件 5、要求指标定量化、能作时空分解 五、水环境规划的过程及具体内容：（10 分） 1、查明水资源现状与水环境问题 2、预测规划期生产、生活用水及水环境变化趋势
金融行业非结构化数据存储方案
传统的银行、保险行业的人工柜台、信贷申请、承保和理赔等业务除了在数据库中记录交易信息，往往也会产生大量的非结构化数据：身份证照片、纸质文件扫描件、取证文件扫描件、现场照片等，依据金融行业相关法规要求，这些文件需长期保存，以便于后督审计和避免可能存在的法律风险。 随着互联网金融的迅猛发展，金融行业的竞争日趋白热化，越来越多的金融公司希望金融科技能够帮助企业降低揽客成本和客户服务成本，提升办公效率和风险评估效率。为此，各大金融机构竞相实施金融科技项目，如：智能化柜台，降低营业网点业务开通成本；无纸化柜台，提升柜台工作和服务效率；理赔智能手机客户端，提升用户理赔效率；智能化信贷审核，提升风险评估效率，降低人力投入成本；基础架构云化、容器化，提升基础资源的利用和管理效率等。 这些新型金融科技的背后，显而易见地会产生海量的图片、文档、音频和视频等非结构化数据，其文件个数和数据量都呈现爆发性增长，对原有的存储系统架构带来了更多的新挑战。 海量非结构化数据带来的挑战
对业务部门来说，海量小文件的访问性能至关重要，直接关系到终端用户的体验，而一个股份制银行省分行的柜台系统、信贷系统每年会新增上亿个文件，大量小文件对文件存储是一大挑战，而很多银行已经在考虑如何实现文件大集中。 而随着VTM（远程虚拟银行服务系统）、双录系统的上线，存储容量需求高速增长，如保险公司银保的双录数据半年即可增加数百TB数据，存储是否能够提供高吞吐能力，来保障音视频文件的读写性能是重要的关注点。 大多数金融机构已经采用分布式数据库、大数据技术，来实现历史数据的在线统一存储和查询，而非结构化数据的存储规模可能会达到PB级甚至EB级，在这种情况下如何实现数据的统一存储和管理、历史数据的实时查询、未来的大数据分析，对存储高度智能化的管理能力提出了更高的要求。 当前IaaS层云化是大趋势，私有云实现了计算和存储资源的云化，分布式数据库实现了结构化数据的云化，云化后的资源可按需分配、弹性扩展。而非结构化数据存储的云化却缺乏很好的解决方案，尤其是随着音视频数据的加入，占用的存储空间越来越大，而这些数据的单位价值不高，如何降低单位存储成本也需重点考量。
环境管理的概念 运用计划，组织，协调，控制，监督等手段，为达到预期目标而进行的一项综合性活动 可持续发展的概念 人与环境的协调发展，即既要使当代人的各种需求得到满足，个人得到全面发展，又要保护生态环境，使其不对后代人的生存和发展构成危害。 共赢原理概念 指在制定处理涉及环境利益冲突的双方，多方关系的方案时，必须注意使各方的合理利益都能得到尊重和照顾，而不是牺牲一些方面的利益去保障另外一些方面的利益 物质生产概念:物质生产是指人类从环境索取生产资源并接受人口生产环节产生的消费再生物，并将它们转化为生产资料的总过程。 环境规划的概念 人类为使环境与经济，社会协调发展而对自身活动和环境所做的时间和空间的合理安排 人口生产概念 人类生存和繁殖的总过程。 循环经济的概念:循环经济采用“减量化，再使用，在循环”的3R原则，立足于提高资源的利用效率，在生产和再生产的各个环节按“物质代谢”关系安排生产过程和产业链条，形成一种以“资源-产品-废弃物-再生资源”为表现形式的循环模式。 老三项制度概念: 环境影响评价制度“三同时”制度排污收费制度 新五项制度: “新五项”制度是城市环境综合整治定量考核制度、环境保护目标责任制、排污申报登记与排污许可证制度、污染集中控制制度、污染限期治理制度。三同时制度的概念建设项目中防治污染的措施，必须与主体工程同时设计、同时施工、同时投产使用。防治污染的设施必须经原审批环境影响报告书的环保部门验收合格后，该建设项目方可投入生产或者使用。”
环境保护产业的概念:环境保护产业是以预防和治理环境污染为目的的产业群，包括水处理业，垃圾处理业，大气污染防治业，环保设备制造业，环保服务业等，广义的环保产业还包括从事资源节约、生态建设等工作的行业，如水资源保护，绿化造林等。废弃物的概念:废弃物是指人类将从自然环境开采出的自然资源进行加工，流通，消费过程与过程结束后产生并排放到自然环境中的物质。 环境评价的概念 :环境评价是从人类社会的环境需要出发，按照一定的环境标准和评价方法对环境的优劣及其满足人类需要的程度进行评估，预测环境发展的未来趋势及人类活动对环境的影响。 清洁生产的概念 从生产的全过程来控制污染物的一种综合措施 二次污染物 在大气中一次污染物之间或一次污染物与大气正常成分之间发生化学作用生成的污染物 填空题 可持续发展原则有哪三个方面 一是持续性原则;二是公平性原则，包括代内公平和代制公平;三是共同性原则。 可持续发展研究的四大方面： 生态学方向、经济学方向、社会学方向和系统学方向 管理的五项基本职能： 计划，组织，领导，控制和创新 三生共赢的目标定位： 将人类社会的发展目标定位于生活，生产，与生态的协调发展，具体来说，就是生活提高，生产发展与生态改善。 环境监测的三个特点： 环境监测具有系统性、综合性和时序性 环境监测的两大类型： 环境监测通常分为常规监测和特殊目的监测两大类
Oracle数据库11g管理非结构化数据 (2) 一、引言 (2) 二、在ORACLE 中管理非结构化数据的优势 (3) 三、打破了原来处理非结构化数据的“性能障碍” (4) 3.1 Oracle SecureFiles (4) 3.2 SecureFiles 中的存储优化 (5) 四、专用数据类型和数据结构 (6) 4.1 Oracle XML DB (6) 4.2 Oracle Text (7) 4.3 Oracle Spatial (8) 4.4 RDF、OWL 和语义数据库管理 (9) 4.5 Oracle Multimedia (9) 4.6 Oracle DICOM 医学内容管理 (9) 五结论 (10)
Oracle数据库11g管理非结构化数据 一、引言 公司、企业以及其他机构使用的绝大部分信息都可归类为非结构化数据。 非结构化数据是计算机或人生成的信息，其中的数据并不一定遵循标准的数据结构（如模式定义规范的行和列），若没有人或计算机的翻译，则很难理解这些数据。常见的非结构化数据有文档、多媒体内容、地图和地理信息、人造卫星和医学影像，还有Web 内容，如HTML。 根据数据的创建方式和使用方式的不同，非结构化数据的管理方法大不相同。 1.大量数据分布于桌面办公系统（如文档、电子表格和演示文稿）、专门的工作站和设备 （如地理空间分析系统和医学捕获和分析系统）上。 2.政府、学术界和企业中数TB 的文档存档和数字库。 3.生命科学和制药研究中使用的影像数据银行和库。 4.公共部门、国防、电信、公用事业和能源地理空间数据仓库应用程序。 5.集成的运营系统，包括零售、保险、卫生保健、政府和公共安全系统中的业务或健康记 录、位置和项目数据以及相关音频、视频和图像信息。 6.学术、制药以及智能研究和发现等应用领域中使用的语义 数据（三元组）。 自数据库管理系统引入后，数据库技术就一直用于解决管理大量非结构化数据时所遇到的特有问题。通常通过“基于指针的”方法使用数据库对存储在文件中的文档、影像和媒体内容进行编目和引用。为了在数据库表内存储非结构化数据，二进制大对象（或简称为BLOB）作为容器使用已经数十年了。除了简单的BLOB 外，多年以来，Oracle 数据库一直通过运算符合并智能数据类型和优化数据结构，以分析和操作XML 文档、多媒体内容、文本和地理空间信息。由于有了Oracle 数据库11g，Oracle 再次在非结构化数据管理领域开辟出一片新天地：大幅提升了通过数据库管理系统原生支持的非结构化数据的性能、安全性以及类型。
一、名词解释（共5 个，每个4分，计20 分）： 1.环境规划：是指为使环境与社会经济协调发展，把“社会－经济－环境”作为一个复合生态系统，依据社会经济规律、生态规律和地学原理，对其发展变化趋势进行研究而对人类自身活动和环境所作的时间和空间的合理要求。 2.生态规划：一切经济活动都离不开土地利用，各种不同的土地利用对地区生态系统的影响是不一样的，在综合分析各种土地利用的“生态适宜度”的基础上，制定土地利用规划，通常称之为生态规划。 3.总量控制：就是依据某一区域的环境容量确定该区域内污染物容许排放总量，再按照一定原则分配给区域内的各个污染源, 同时制定出一系列政策和措施，以保证区域内污染物排放总量不超过区域容许排放总量。 4.环境承载力：环境承载量就是某一时刻环境系统所承受的人类系统的作用量；这一作用的极限值即为环境承载力。环境承载力指某一时刻环境系统所能承受的人类社会、经济活动的能力阈值。 5.排污收费制度：“排放污染物超过国家或者地方规定的污染物排放标准的企业事业单位，依照国家规定缴纳超标准排污费，并负责治理。”该制度具体操作的依据是《排污费征收使用管理条例》和《排污费征收标准管理办法》。 6.环境功能区划：是环境实现科学管理的一项基础工作。它依据社会经济发展需要和不同地区在环境结构、环境状态和使用功能上的差异，对区域进行的合理划分。它研究各环境单元的承载力及环境质量的现状和发展变化趋势，揭示人类自身活动与环境及人类生活之间的关系。 7.动态规划：是处理具有多阶段决策过程问题特征的优化方法。所谓多阶段决策过程问题是指对由一系列相互联系的阶段活动构成的过程。如何在预定的活动效果评价准则下，使各阶段所做出的一系列活动选择，达到活动整体效果最佳问题。一个多阶段决策问题的最优决策序列，对其任一决策，无论过去的状态和决策如何，若以该决策导致的状态为起点，其后一系列决策必须构成最优决策序列。 8.污水调节：在河流同化容量低的时期用蓄污池把污水暂时蓄存起来，待河流的纳污容量高时释放，由于更合理地利用了河流的同化容量，从而提高了河流的枯水水质。这项措施称污水调节。 9.A-P 值法：在A 值法中只规定了各区域总允许排放量而无法确定每个源的允许排放量。 而P 值法则可以对固定的某个烟筒控制其排放总量，但无法对区域内烟筒个数加以限制，即无法限制区域排放总量。所谓的A-P 值法是指用A 值法计算控制区域中允许排放总量，用修正的P 值法分配到每个污染源的一种方法。 10.建设项目环境管理：是指环境保护部门依据国家环境保护政策（产业政策、行业政策、技术政策），规划布局和清洁生产要求及专业工程验收规范，运用相关的管理制度（环境预审、环境影响评价和“三同时”制度），对一切建设项目依法进行的管理活动。 11.环境信息公开：就是政府、企业和公众主动公开自身或自身掌握的环境信息，如区域环境质量信息、污染物排放、突发环境事故信息、企业产品环境信息、企业环境行为等。 12.环境绩效评估：环境绩效是组织通过一系列环境管理措施或生态环境保护措施所获得的环境改善的成效。通过一系列的指标体系、标准、评价模型，通过综合比较和计算，确定和评价一个组织环境绩效的方法，它是环境绩效管理的重要工具和技术方法。 13.危险废物：指列入《国家危险废物名录》，或是根据国家规定的危险废物鉴别标准和鉴别方法认定具有危险特性的废物。危险废物通过具有易燃性、腐蚀性、化学反应性、毒害性及生物蓄积性、遗传变异性、刺激性等有害特性，对人体和环境产生极大危害。 二、填空题： 1.环境规划的目的是环境与社会经济的协调发展（可持续发展）。 2.环境规划研究对象：“社会-经济-环境”复合生态系统。任务：系统协调发展，谋求 系统最佳发展。理论基础：社会经济原理、生态原理、地学原理、系统理 _________ 主要内容： _________ 3.我国环境规划发展的四个阶段：探索阶段、研究阶段、发展阶段、深化阶______________
第一章绪论 1.环境规划是人类为使环境与经济社会协调发展而预先对自身活动和环境所做的时间和空间的合理安排，是政府履行环境职责的综合决策过程之一，是约束和指导政府行政行为的纲领性文件。 2.环境规划的特征和基本原则是什么？ 答：基本特征：整体性、综合性、区域性、动态性、前瞻性、信息密集和政 策性强。 基本原则：（一）经济建设、城乡建设和环境建设同步原则； （二）遵循经济规律，符合国民经济计划总要求的原则； （三）遵循生态规律，合理利用环境资源的原则； （四）预防为主，防治结合的原则； （五）系统原则； （六）坚持依靠科技进步的原则； （七）强化环境管理的原则。 3、环境规划的基本内容 （一）前期环境保护工作（二）环境调查和评价（三）环境模拟与预测（四）环境目标和指标的确定（五）污染物排放总量控制（六）重点工程和融资渠道（七）保障措施 第二章环境规划学的理论基础 1.环境容量是在人类生存和自然生态系统不致受害的前提下，某一环境所能容纳的污染物的最大负荷量，或一个生态系统在维持生命机体的再生能力、适应能力和更新能力的前提下承受有机数量的限度。 2、环境承载量是某一时刻环境系统所承受的人类系统的作用量。 3、什么是环境承载力，它在环境规划中的作用如何？ 答：环境承载力是某时刻环境系统所能承受的人类社会，经济活动的阈值。 作用：环境系统具有依靠能流、物流和负熵流来维持自身的稳态，有限地抵抗人类系统的干扰并重新调整自组织形式的能力。 4、可持续发展的目标可概括为：连续性、稳定性、多样性、均衡性、独立性和更新性。 5、实现可持续发展：1、清洁生产及其与可持续发展。2、生态技术。3、做到环境资源商品化，促进可持续发展。4、以自然资源永续利用为前提的可持续发展模式 6、从环境规划学的角度，如何理解人地系统的协调共生理论？ 答：人地系统是地球表层上人类活动与地理环境相互作用形成的开放的复杂系统。区域环境规划的成效，应充分体现人地和谐共生这一主线，区域 可持续发展亦在以人地关系协调共生为核心，注重建立人类活动系统内 部和地理环境系统内部，以及二者之间的因果反馈关系网，力求把人类 活动系统的熵产生降低最低，把地理环境系统为人类活动系统可持续发 展提供负熵的能力提高至最高；力求通过熵变规律，创造一个自然、资 源、人口、经济与环境诸要素相互依存、相互作用、复杂有序的区域人
环境规划学 一、填空题： 1.环境规划的类型： 按规划期分：长远环境规划、中期环境规划、年度环境保护规划。 按环境与经济的关系分：经济制约性、协调性、环境制约性。 按环境要素分：大气污染控制规划、水污染控制规划、固体废物处理与处置规划、噪声污染控制规划。 2、环境规划的基本特征： 整体性、综合性、区域性、动态性、前瞻性、信息密集、政策性强 2.从环境系统与人类社会经济系统之间物质、能力和信息的联系角度，可以将环境承载力指标分为三部分：资源供给指标、社会影响指标、污染容纳指标 3.环境本身是一个由社会、经济、自然组成的复杂系统 4.复合生态系统具有人工性、脆弱性、可塑性、高产型、地带性和综合性等特性。 5.环境规划指标类型主要采用表征对象、作用以及在环境规划中的重要性或相关性分析，有环境质量指标、污染物总量控制指标、环境规划措施与管理指标，以及相关指标。 6.环境预测类型按预测目的可分为：警告性预测、目标导向性预测、规划协调性预测。 7.环境评价对象主要包括污染源和环境质量两大基本方面。 8.环境规划决策的特征：非结构化特征、多目标特征、基于价值观念的特征 9.环境-效益评价货币化技术方法大体有三类：市场法、替代市场法、调查法 10.用于环境规划中的教学规划决策分析的方法主要有：线性规划、非线性规划、动态规划 11.城市环境经济系统具有如下基本特征：综合性、多目标与目标矛盾性、动态性、不确定性 12.构成大气环境系统的子系统可以概括为大气环境过程子系统，大气污染物排放子系统，大气污染控制子系统级城市生态子系统。系统的状态主要由大气环境质量描述。 13. 大气环境规划的类型：大气环境质量规划、大气污染控制规划 14，依据研究对象的不同，水资源规划可分为水污染控制系统规划和水资源系统规划 15.五库结构系统，包含数据库，模型库，方法库，文本库和知识库。 二、名词解释： 环境承载量：是某一时刻环境系统所承受的人类系统的作用量。 环境承载力：指某一时刻环境系统所能承受的人类社会、经济活动的能力阙值。 环境容量：人群健康和自然生态不受危害的前提下，自然环境或其中的某一要素对污染物的最大容纳量。 能源弹性系数：规划期内平均能耗量增长速度与平均经济增长速度之间的对比关系。 人力资本法：将劳动者作为生产要素而对其遭受环境影响，特别是通过人体健康进行环境价值经济评价的方法。 6. 固体废物：是指生产建设，日常生活和其他活动中产生的污染环境的固态，半固态废弃物质。我国的固体废物可分为三类：工业固体废物，危险废物和城市生活垃圾。 7. 固体废物处理：是指通过物理，化学和生物等不同的方法，使固体废物转化成为适于运输，贮存，资源化利用以及最终处置的一种过程。 8. 土地资源：是指土地总量中在当前和可预见的技术经济条件下，能为人类所用的那部分土地，是人类生产的基本资料和劳动对象，具有质和量两个内容。 9. 土地利用：是人类根据土地的自然特点，按一定的经济，社会目的，采取一系列生物，技术手段，对土地进行的长期性或周期性的经营管理和治理改造活动 10. 大气污染物总量控制：是通过控制给定区域污染源允许排放总量，并将其优化分配
●李 慧(武汉大学信息管理学院 湖北 430072) 颜显森(北京国信贝斯软件有限公司 北京 100053) 数据库技术发展的新方向———非结构化数据库 Abstract:With the development of Internet,many disadvantages of the traditional relational database have been dis2 covered.Under such circumstances,the non2structure database comes into being.This paper mainly discusses the defini2 tion,background,characteristics and advantages of the non2structure database. K eyw ords:database technology;data structure/Internet;full text searching 1 什么是非结构化数据库 在信息社会,所有信息大体上可以分为两类:一类信息能够用数据或统一的结构加以表示,我们称之为结构化数据,如数字、符号;另一类信息根本无法用数字或者统一的结构表示,如文本、图像、声音乃至网页等,我们称之为非结构化数据。非结构化数据包括结构化数据,但又不止是结构化数据;结构化数据属于非结构化数据,是非结构化数据的特例。 所谓非结构化数据库,是指数据库的变长记录由若干不可重复和可重复的字段组成,而每个字段又可由若干不可重复和可重复的子字段组成。简单的说,非结构化数据库就是字段数和字段长度可变的数据库。 2 为什么需要非结构化数据库 传统关系数据库,通过引入数学领域的关系模型及关系代数和关系演算,经过几十年的应用和发展,奠定了自己的优势。但随着网络的发展,关系数据库越来越显示出不足的一面。到了20世纪90年代,当关系数据库还满足于用户连接到大型主机上的数据库进行联机检索时,因特网的出现已经可以把超文本文件传送到用户的浏览器里了。起初,WWW只支持较简单的文档,随着应用需求的不断提高和技术的发展,它不仅可以支持文字、图形、图像、声音等多媒体信息,还可以支持一些较为复杂的对象,比如电子表格对象。但随着数据量的增大,显然只靠静态页面就捉襟见肘了。让页面动起来的想法由此应运而生,这时迫切需要数据库在动态页面中扮演主角。 而此前,关系数据库要么限于桌面,用文件方式的共享来实现局域网内的使用;要么是使用各种关系数据库厂商开发的专用客户端软件和工具。尽管ODBC,JDBC, O LE DB等解决了不同数据库之间的接口,但是我们可以说关系数据库从设计之初并没有也不可能考虑到以HTTP 为基础、HT M L为文件格式的因特网的需求,只是在因特网出现后才作出相应的调整,因此关系数据库在基于因特网应用时由于结构模型等原因的限制,不能与因特网完全融合,需在因特网与数据库之间加入大量的中间件,从而在无形中加大了数据库基于网络应用的难度。同时,由于关系数据库从一开始就没有考虑网络时代的应用需求,因而对于网络环境下WWW应用,如各种非结构化文档信息、多媒体信息以及全文检索需求显得有些力不从心。虽然后来关系数据库对于这些需求作出了一些适应性调整,如增加数据库的面向对象成分以增加处理多种复杂数据类型的能力,增加各种中间件以扩展基于WWW应用能力,但对于网络环境下WWW应用不可或缺的检索效率、全文检索能力等却无法解决。关系数据库的基于中间件的解决方案又给WWW应用带来了新的网络瓶颈,应用服务器端由于与数据库频繁交互,因其本身的效率和数据库检索的效率造成WWW应用在服务器端的阻塞。 非结构化数据库就是针对关系数据库模型过于简单,不便表达复杂的嵌套需要以及支持数据类型有限等局限,从数据模型入手而提出的全面基于因特网应用的新型数据库理论。非结构化数据库主要是针对非结构化数据应运而生的,与目前流行的关系数据库相比,其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制,支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理,在处理连续信息(包括全文信息)和非结构信息(重复数据和变长数据)中有着传统关系型数据库所无法比拟的优势。 3 非结构化数据库的特点与优势 311 灵活的非结构化数据结构 非结构化数据库也是建立在二维表的基础之上的,因此非结构化数据库不能称为非关系型数据库,但在数据结构上,它又与关系型数据库有着很大的不同。 — 7 8 2 — ?情报理论与实践? ITA!信息系统#
1.非结构化数据存储 在上图中，描述了非结构化数据存储架构的基本组成部分，其中： 1. 文件存取统一接口，封装了对数据中心所以非结构化数据的读写操作接口。 2. Hadoop HDFS 负责对大文件的存储，以HDFS：为文件协议标准 3. HBase 通过维护一张文件表完成对小文件的存储，以HBase：为文件协议标识1.1文件存取统一接口 1.1.1 文件存储接口 对文件进行存储前，接口根据文件的大小和HDFS文件分块的配置大小进行比较，当文件超过设定大小时，接口认为该文件是大文件，直接分配到HDFS文件存储接口进行写入；否则当文件小与块大小时，根据系统维护的Hbase小文件存储通用存储表进行存储管理。
1. 对直接存储到HDFS的文件，则文件路径以HDFS为中心存储文件协议头，文件路径则根据该文件的业务属性做完文件的路径，文件名称保留原有名称，例如：HDFS://aaa/bbb.zip 2. 对通过Hbase管理的小文件，则文件路径以HBASE为中心存储文件协议头，文件路径不需要分文件夹，直接以文件的唯一标识标识即可，例如：HBASE://uuid 1.1.2 文件读取接口 文件读取时，通过识别URL，确定文件的存储方式，然后找到对应的存储接口获取文 件。
1.1Had oop HDFS存储接口 完成大文件的存储与读取接口操作。 1.2Hbase存储接口 文件通用存储表结构： 表存在两个列簇，default列簇负责存储基础属性信息，用一个单独的列簇存储图片内容。 HBase是采用面向列的存储模型，按列簇来存储和处理数据，即同一列簇的数据会连续存储。HBase在存储每个列簇时，会以Key-Value的方式来存储每行单元格(Cell)中的数据，形成若干数据块，然后把数据块保存到HFile中，最后把HFile保存到后台的HDFS 上。由于用单元格 (Cell)存储图片小文件的内容，上述存储数据的过程实际上隐含了把图片小文件打包的过程。默认情况下，HBase数据块限制为64KB。由于图片内容作为单元格(Cell)的值保存，其大小受制于数据块的大小。在应用中需根据最大图片大小对HBase数据
在数据分析中，我们会接触到很多的数据，而这些数据都是有类别之分的。这些数据根据结构分类被划分为三种，它们分别是结构化数据、非结构化数据、半结构化数据。在这篇文章中我们就简单地给大家介绍一下这三种数据的相关知识。 首先我们说一下结构化数据，结构化的数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。能够用数据或统一的结构加以表示，我们称之为结构化数据，如数字、符号。传统的关系数据模型、行数据，存储于数据库，可用二维表结构表示。而结构化的数据的存储和排列是很有规律的，这对查询和修改等操作很有帮助。 然后我们说一下半结构化数据，半结构化数据是结构化数据的一种形式，它并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。因此，它也被称为自描述的结构。半结构化数据，属于同一类实体可以有不同的属性，即使他们被组合在一起，这些属性的顺序并不重要。所谓半结构化数据，就是介于完全结构化数据和完全无结构的数据之间的数据，XML、HTML文档就属于半结构化数据。它一般是自描述的，数据的结构和内容混在一起，没有明显的区分。而不同的半结构化数据的属性的个数是不一定一样的。有些人说半结构化数据是以树或者图的数据结构存储的数据，怎么理解呢？
最后我们给大家介绍一下非结构化数据，非结构化数据顾名思义，就是没有固定结构的数据。各种文档、图片、视频、音频等都属于非结构化数据。对于这类数据，我们一般直接整体进 行存储，而且一般存储为二进制的数据格式。非结构化数据库是指其字段长度可变，并且每 个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化 数据而且更适合处理非结构化数据。 在这篇文章中我们简单地给大家介绍了结构化数据、非结构化数据以及半结构化数据的知识，其实现在很多的数据分析师都开始加大对非结构化数据的研究。由此可见，非结构化数据的 前景还是十分明朗的。