Pentaho源代码阅读报告
作者：曾坤，吴大愚，张百达
注：此文档为2006年国防科大计算机学院高级软件工程课程实习大作业。若需要交流，可以发邮件到dywu_xa@https://www.doczj.com/doc/4a3357355.html,
目录
Pentaho项目简介 (3)
Pentaho的设计思想 (3)
Pentaho的运行系统 (4)
Pentaho运行系统的组成 (4)
Pentaho运行系统的配置文件 (5)
基于Pentaho平台的BI开发 (5)
Pentaho平台的软件架构 (6)
Pentaho平台的总体结构 (6)
Pentaho的界面层 (7)
Pentaho的核心层 (8)
系统维护部分 (8)
服务处理部分 (9)
Solution描述部分 (10)
运行解释部分 (11)
Pentaho的插件层 (12)
Pentaho的资源库系统 (13)
Solution 资源库 (13)
Runtime资源库 (14)
Content资源库 (15)
Audit资源库 (16)
Pentaho的运行机制 (17)
Pentaho平台的启动与终止 (17)
PentahoSession的管理 (18)
Pentaho平台的Publish机制 (19)
Action序列的执行机制 (20)
Pentaho的插件管理 (22)
插件的加载与卸载 (22)
插件调用的参数传递 (23)
插件的参数配置机制 (24)
Pentaho的Audict机制 (25)
Pentaho核心与Style分离的机制 (26)
Pentaho相关的设计模式 (26)
EventListener模式 (26)
抽象工厂模式 (28)
工厂方法模式 (29)
Facade模式 (30)
Adapter模式 (30)
复合模式 (31)
Pentaho源代码文件结构 (32)
总结与收获 (32)
Pentaho项目简介
Pentaho BI 平台是一个以过程为核心，面向解决方案的，可扩展的商务智能平台。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来，方便商务智能应用的开发。它的出现，使得一系列的面向商务智能的独立产品如Jfree、Quartz等等，能够集成在一起，构成一项项复杂的、完整的商务智能解决方案。
目前，Pentaho的主要组成元素包括报表生成、分析、数据挖掘和工作流管理等等。这些组件通过J2EE、WebService、SOAP、HTTP、Java、JavaScript、Portals等技术集成到Pentaho平台中来。Pentaho的发行，主要以Pentaho SDK 的形式进行。
Pentaho SDK共包含五个部分：Pentaho平台、Pentaho示例数据库、可独立运行的Pentaho平台、Pentaho解决方案示例和一个预先配制好的Pentaho网络服务器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代码的主体；Pentaho数据库为Pentaho平台的正常运行提供的数据服务，包括配置信息、Solution相关的信息等等，对于Pentaho平台来说它不是必须的，通过配置是可以用其它数据库服务取代的；可独立运行的Pentaho平台是Pentaho 平台的独立运行模式的示例，它演示了如何使Pentaho平台在没有应用服务器支持的情况下独立运行；Pentaho解决方案示例是一个Eclipse工程，用来演示如何为Pentaho平台开发相关的商业智能解决方案。
本文主要针对部署于应用服务器上的Pentaho平台，介绍该平台的设计思想、软件架构、运行机制及相关的设计模式等等内容。
Pentaho的设计思想
Pentaho的设计思想主要体现在三个方面，一是“集成化”，二是“面向解决方案”，三是“以流程为中心”。
所谓集成化，是指将众多不同的BI产品集成到一个统一的框架中来，使之可以相互协作。以往的BI产品，往往只专注于BI的某一特定领域，如Jfree主要关注表表的生成，Quartz主要关注日程的管理等等。然而一个完整的BI应用往往需要这些BI产品能够相互协作。Pentaho通过引入“Action”的概念，提供了一个让多种BI产品协作的机制。“Action”是Pentaho平台提供的最基本的操作单元，它类似于一种编程语言的基本语句。所有完成具体功能的BI产品作为“插件”集成到Pentaho平台中，每种插件为Pentaho平台提供一种或几种“Action”，每个Action有自己的输入和输出，多个Action连接起来就构成了Action序列，完成一个较复杂的功能。Pentaho平台负责在各个Action之间传递参数，这样多种不同的BI产品便能够协同工作了。
所谓解决方案（Solution），是基于Pentaho平台的一个具体的BI应用。Solution 与Pentaho平台的关系和Web应用与应用服务器之间的关系十分类似。如图1
所示，Pentaho平台本身作为一个Web应用部署在应用服务器上，而Solution又作为一个“Pentaho应用”，部属在Pentaho平台上。Solution本身实质上是一系列Action序列的集合，这些序列在网页上如何显示，如何被调用，功能如何实现完全由Pentaho平台来管理，这使得Solution的开发者，也就是Pentaho的使用者，可以将开发工作集中于具体的BI业务逻辑的开发上，而不用去关心网页的设计、服务器的部署等等细节。
图 1 Pentaho平台层次关系图
流程即Action序列，是Solution的基本组成单位，它由多个以某种顺序执行的Action组成。Action是Pentaho平台所提供的最基本的BI操作，大到生成一个报表，小到打印一行字，都可以是一个Action。Action之间可以顺序执行，也可以有分支或循环。Pentaho平台的“以流程为中心”是指整个平台的工作核心就是如何解释执行一个个Action序列的描述文件。用户在做具体的BI应用开发时，也应当把精力集中在描述Action序列上。
Pentaho平台将BI业务逻辑的开发以Solution的形式与系统的其它部分独立开来，使得用户可以随心所欲的综合运用各种不同的BI产品为自己服务，其设计理念十分值得称道。
Pentaho的运行系统
Pentaho运行系统的组成
Pentaho运行系统共有四部分组成：Pentaho平台资源库（Repository）、Pentaho平台、应用服务器和Solution目录树。
Pentaho平台资源库是Pentaho平台运行时所需的外部数据的一种抽象。它存储了定义，执行和审计解决方案（Solution）所必需的数据资源。资源库中保存的信息主要包含四个部分：一是Pentaho平台的配置信息；二是运行于Pentaho 平台上的Solution的元数据，如共有多少个Action，每个Action的描述文件的存放位置等等；三是Pentaho平台第三方插件的私有信息；四是Pentaho平台运行过程中的跟踪和审计信息。在通常情况下，资源库通常是一组数据库服务。
图 2 Pentaho平台运行系统示意图
如图2所示，Pentaho平台运行于应用服务器容器内，并通过应用服务器接口访问Pentaho资源库（在这里资源库实际上是一个数据库）；当有客户请求道达Pentaho平台时，它将根据客户的请求解释执行Solution目录下的某个Action 序列描述文件。本文关注的焦点是Pentaho平台这一部分。
Pentaho运行系统的配置文件
Pentaho平台是一个复杂的软件系统，拥有许多配置文件，这些配置文件在Pentaho系统的运行中起着至关重要的作用。总的来说共有三种配置文件：Pentaho 平台的Web应用配置文件；Solution的配置文件；Pentaho系统各个插件的私有配置文件。
Pentaho系统的Web应用配置文件主要是指WEB-INF目录下的web.xml文件，在该文件中，有以下两个配置项需要着重指出：
1.
内注册的EventListener类，这些类在Pentaho系统的初始化、Session管
理等方面都有很重要的作用。
2.预定义属性“solution-path”，这个属性是部署于Pentaho平台上的Solution
的根目录，如果这个属性设置错误，会导致Pentaho平台找不到Solution
根目录的严重错误，这样该平台将无法提供BI服务。
Pentaho的Solution配置文件主要是指“solution-path”目录下的pentaho.xml 文件，该文件规定了Solution相对于Pentaho平台的配置信息，主要包括Pentaho 平台所需的数据源访问类，各个插件的EventListener（参见“插件的加载与卸载”一节），以及系统预定义的一些系统Action序列的相关信息。
Pentaho系统各个插件的私有配置文件存放在solution-path\system\***\(***为插件名称)目录下，不同插件有不同的私有配置文件，内容也千差万别，需要使用者在用到某个插件时再做修改。
基于Pentaho平台的BI开发
基于Pentaho平台的BI开发十分简便，开发者只需要进行Solution的开发即可，而开发Solution，只需给出Solution中所包含的所有Action序列的描述文件即可。为了方便基于Pentaho平台的BI应用开发，Pentaho项目组提供了一个基于Eclipse的集成开发环境：PentahoDesignStudio。用户仅需要以一种图形化的形式输入Action序列的描述，而由该开发工具产生相应的Action序列描述文件，
十分方便。
Pentaho平台的软件架构
Pentaho平台的总体结构
Pentaho平台是Pentaho运行系统中的核心部分，它本身是一个Web应用，部署于一个J2EE兼容的应用服务器上。它又作为Solution的服务器存在着，是Solution中各个Action序列的解释执行者。
图 3 Pentaho平台总体结构图
如图3所示，Pentaho平台大致可分为三个层次：界面层、核心层和插件层。界面层是外部用户访问Pentaho服务的接口，主要包含三个部分：UDDI、Web 页面、和Navigation Component。UDDI为外部应用程序或Web Service访问Pentaho服务提供接口；Web页面则为用户通过浏览器访问Pentaho服务提供接口；Navigation Component实质上是一组Servelet，它主要用于显示当前部署在Pentaho平台上的Solution中所包含的各个Action序列，用户可在其中选择需要执行的Action序列。
核心层主要由Solution Engine和它的Runtime环境组成。Solution Engine实
质上是一个解释执行Action序列描述文件的解释器，它接收来自用户界面的请求，这个请求通常是要求执行Solution中的某个Action序列。Solution Engine连同其Runtime环境就负责解释执行这些Action序列。解释执行过程中，出于调试和性能分析的需要，引入了一个Audit机制，该机制类似一个日志记录系统，记录Pentaho平台运行过程中的一些动态过程。Solution Engine和Audit机制的运行都需要访问许多相关的数据资源，这些数据资源被称为“资源库”，也就是图中的各个Repository。
插件层主要包括了集成到Pentaho平台中的各种BI产品，如Quartz、Jfree 等等。从图3中可以看出，插件层又可分为两类模块，一类叫作Component模块，这种模块是插件层与核心层的接口模块，它们将各种不同的插件的功能以一个统一的接口提供给上层使用，起到一个功能抽象的作用。另一类则是形形色色的BI插件的具体实现，这通常由第三方开发者提供。各种插件运行过程中可能会用到自身的私有数据，这些数据在Pentaho平台中也被抽象成为资源库（Responsory），这使得不同的插件可以以一种统一的方式访问自己的数据。
Pentaho的界面层
Pentaho的界面层提供了外部访问Pentaho服务的接口。由于Pentaho平台可能的用户存在多种，因此，界面层提供了许多不同的方式访问Pentaho平台服务，包括UDDI访问，portlet、servelet、jsp等等。这使得Pentaho平台的界面层显得较为繁杂。本文仅以servelet为例，介绍Pentaho平台界面层的静态结构。
图 4 Pentaho界面层Servelet类图
如图4所示，Pentaho平台的Servelet全部从ServeletBase类继承而来，而ServeletBase类又实现了HttpServelet接口。图中所示的各个Servelet并不是真正部署于应用服务器上的提供界面显示的Servelet，界面显示的功能往往是另一些jsp文件来完成，这里的Servelet则为那些jsp文件提供相关的功能。例如图中的ViewAction类就为jsp文件提供执行某个Process的功能。
Pentaho 的核心层
Pentaho 核心层又可以分为四大部分：
● 一是Pentaho 的系统维护部分，这部分负责系统的初始化、清理、参数配置等等工作。
● 二是Pentaho 的服务处理部分，这部分是Pentaho 系统核心层和界面层的接口，负责将来自界面层的请求传递给运行解释部分，驱动它执行Solution 的某个Process 。
● 三是Pentaho 的Solution 描述部分，这部分负责将描述Solution 的文件翻译成方便Pentaho 系统执行的表示形式。
● 四是Pentaho 的运行解释部分，这部分负责各个Action 的执行及它们之间的参数传递。
系统维护部分
系统维护部分是支持整个系统运行的基本框架，它主要负责Pentaho 系统启动时的初始化，全局参数配置，终止时的清理工作。如图 5所示，这部分最核心的类是IApplicationContex 接口的实现类。这些类是维护Pentaho 平台全局运行环境的类。从其组织层次可以看出，针对不同的环境，Pentaho 平台提供了不同的IApplicationContex 实现类。针对那些需要不依赖应用服务器而直接运行的场合，应当使用StandaloneAplicationContext 类；针对Portlet 模式的应用，应当使用PortletApplicationContext 类；针对典型的Web 应用模式，则应当使用WebApplicationContext 类。
IApplicationContext
ISystemSettings
PentahoSystem
PortletApplicationContext
- baseUrl : String
+ PortletApplicationContext ( )
+ getBaseUrl ( )
+ getPentahoServerName ( )SolutionContextListener StandaloneApplicationContext SystemSettings WebApplicationContext - baseUrl : String + WebApplicationContext ( )+ getBaseUrl ( )+ getPentahoServerName ( )- applicationContext - systemSettings
- applicationContext ?use?
图 5 Pentaho 核心层系统维护部分类图
由于Pentaho平台多部署于J2EE兼容的应用服务器上，这就需要一种机制与应用服务器进行互操作，在服务器启动时初始化Pentaho平台。SolutionContextListener类提供了这样的功能，它使得应用服务器在运行时自动调用Pentaho平台的启动代码（详见“Pentaho平台的启动与终止”一节）。
图5中的PentahoSystem类是整个Pentaho平台的访问接口，所有对Pentaho 平台的操作都通过这个类来完成。其实，这个类的所有成员都是静态成员，正是存放全局信息的理想位置。SystemSettings类则负责管理Pentaho平台的所有配置信息，它通过读取配置文件获得这些信息。
服务处理部分
Pentaho平台的服务处理部分负责将来自界面层的服务请求转发给适当的类（SlutionEngine）进行处理。如图6所示，这部分的核心是IActionRequestHandler 接口，该接口封装了对外提供服务的所有功能。BaseRequestHandler类实现了该接口，它实现了服务处理中的通用工作，即将请求传递给IRuntimeContext实现类。
图 6 Pentaho核心层服务处理部分类图
此外，为了适应不同的界面层，BaseRequestHander类还有两个派生类，HttpWebServiceRequestHandler类和HttpServeletRequestHandler类，分别处理来自Web页面的请求和来自Servelet的请求。这时，服务请求需要通过SolutionEngine类才能传递给IRuntimeContext实现类。
Solution描述部分
Solution描述部分的功能主要是描述一个Solution的具体内容，如图7所示，它的核心是两个接口的实现类：IActionDifinition接口和IActionSequence接口。其中IActionDifinition接口的实现类描述一个Action的具体实现，IActionSequence 则描述一个ActionSequence的具体实现。
IActionResource
IOutputHandler
IActionDefinition
IActionSequence
图7 Pentaho核心层Solution描述部分类图
除了描述Action和ActionSequence的类以外，该部分还包括描述Action的输入输出信息的类，那就是ActionResource类和IOutputHandler接口的实现类。ActionResource类描述一个Action的执行所需要的数据资源，而IOutputHandler 接口实现类则负责将Action的输出结果进行适当的处理返回给客户。
从图7还可以看出，所有的Solution描述类都与RuntimeContext有直接的联系，RuntimeContext类是解释执行Solution中的ActionSequence的核心类，Solution描述类所描述的信息为RuntimeContext的解释执行服务。图中还有一个ParameterManager类，该类主要是在RuntimeContext运行过程中管理参数传递工作。
运行解释部分
运行解释部分是整个Pentaho 平台的核心，它是解释执行Solution 中的Action 序列的驱动引擎。这部分主要的类及其间的关系如图 8所示。从图中可以看出，这部分的核心是四个接口及其实现类：ISolutionEngine 接口、IActionCompleteListener 接口、IActionRequestHandler 接口和IRuntimeContext 接口。
ISolutionEngine 接口的实现类是对这一部分功能的封装（Fa?ade 设计模式）。如图 8所示，它有两个实现类：SolutionEngineAgent 和SolutionEngine ，前者在Pentaho 平台的其他部分没有找到任何的引用，似乎是废弃不用的类，SolutionEngine 则是当前Pentaho 平台的核心类。在SolutionEngine 中有一个Eventlistener 机制的实现，那就是IActionCompleteListener 接口实现类，它允许某些类在某个Action 执行完毕时，做一些有意义的操作。
IActionCompleteListener ISolutionEngine
SolutionEngine
SolutionEngineAgent
- solutionEngine
- listener BaseRequestHandler IActionRequestHandler IRuntimeContext
- runtime ~ runtime HttpWebServiceRequest
Handler
+ HttpWebServiceRequestHandler ( )- _SolutionEngine
0..1
图 8 Pentaho 核心层运行解释部分类图
IRequestHandler 接口前文已经介绍过，是传递外部请求的接口。IRuntimeContext 接口实现类则是解释执行Action 序列的核心，它的运行细节在“Pentaho 的运行机制”一章中还有详细介绍。
Pentaho的插件层
图9 Pentaho平台插件功能映射示意图
Pentaho平台中的插件是Solution中的Action的具体执行者，也是Pentaho 平台能够集成众多BI产品为己用的秘密之所在。Pentaho平台中，使用Adapter 设计模式构建插件层，它使用IComponent接口封装了插件的公共接口，每个集成于Pentaho平台的插件都必须提供IComponent接口的实现类。每个IComponent 的实现类封装了某个插件的一项功能，对应一种Action操作。一个第三方插件可能会提供多个IComponent接口的实现类，因为单个插件往往会提供多项功能。图9所示为Action、Component和插件之间的关系。
图10 Pentaho平台插件类图
为了实现方便，Pentaho平台还提供了另外一个类：ComponentBase，这个类实现了一些IComponent的公共操作，第三方插件往往继承ComponentBase类而不直接继承IComponent类。图10所示为Phentaho平台内部提供的一些插件的类结构。第三方插件若要集成到Phentaho平台中来，只需依据其功能编写合适的IComponent接口的实现类即可，如图11所示，Quartz插件（该插件是一个任务调度器）就提供了两个IComponent类：JobSchedulerComponent类用来完成任务调度工作；SchedularAdminComponent类则用来配置Quartz。
图11 Pentaho平台的Quartz插件接口类图
Pentaho的资源库系统
Pentaho将支持系统运行的所有外部数据抽象为“资源库”的概念。资源库的英文名称为Repository，它可以是一个数据库，也可以是一个数据文件，也可以是一组数据文件，甚至可以是运行时动态生成的内存数据。Pentaho平台共有四种资源库：Solution资源库、Runtime资源库、Content资源库和Audit资源库。它们构成了Pentaho独具特色的资源库系统。
Solution 资源库
所谓Solution资源库，是指存放Solution描述文件的那个目录及其子目录中的所有文件。这些文件主要包括Action序列描述文件、Action序列界面显示描述文件和Action序列图标文件。其中后两者都是用来控制Action序列在Pentaho 界面层中的显示效果的，Action序列描述文件则定义了Solution中的所有Action 序列，它们是Solution资源库中最重要的部分。
在Pentaho平台中，管理和维护Solution资源库的工作有一组专门的接口和类来完成，这些类及其之间的静态关系如图12所示。SolutionRepository类是这一组类对外的接口，其功能完全通过它来访问。FileInfo类提供了构成Solution 类的各种文件的相关信息，如文件的类型、作者、地址等等；当SolutionReposUtil 为SolutionRepository提供访问具体文件的服务，当它要访问某个Solution文件时，就需要通过SolutionReposUtil来获取文件类FileSolutionFile的实例。
ISolutionRepository SolutionRepository
- solutionRepository
F ileInfo
F ileSolutionF ile
ISolutionFile
SolutionReposU til
图 12 Pentaho 平台Solution 资源库类图
Runtime 资源库
Runtime 资源库为RuntimeContex 解释执行Action 序列提供必要环境信息。这些信息主要是Action 执行过程中所需要到的参数及Action 之间传递的参数。该资源库只存在于内存中，有一组接口和类进行维护。
如图 13所示，与Runtime 资源库相关的类主要有四个，它们与RuntimeContex 类有着密切的依赖关系。RuntimeRepository 并不直接存放Runtime 数据，而是通过Session 类获取相关的数据。而RuntimeElement 类则维护了足够一个Action 运行所需的Runtime 数据，它维护多个HashMap ，每个HashMap 维护一种数据类型的数据，这些数据都通过它们的名字进行索引。需要注意的是图中的SimpleRepository 和SimpleRuntimeElement 只是用作测试，没有实际的用途。
图13 Pentaho平台Runtime资源库类图
Content资源库
Content资源库本身是一组相互关联的文件，这些文件可能存放在若干个不同的目录中。Content资源库则是以一种类似DAO方式提供对这些文件的访问。在目前的Pentaho平台中，只有一个Action序列与该资源库相关，即清除Content 资源库内过时的内容，没有任何一个类直接使用了该资源库，所以该资源库的具体功能还不甚明了。但从源代码中的注释以及该资源库在软件总体结构的对照结果中可以猜想，该资源库应当是给各个具体的Action访问磁盘文件提供的统一接口。
如图14所示，Content资源库最主要的部分是四个接口：IContentRepository、IContentLocation、IContentItem、IContentItemFile。其中IContentRepository是外部访问Content资源库的接口，外部通过该接口得到资源库中的数据。IContentLocation则负责管理Content资源库中的一个目录，而IContentItem则对应了该目录下的某个文件（一个文件看作一项）。IContentItemFile则具体描述了一个Item所对应的文件。它本身之服务于IContentRepository的内部类，而不能被外部类访问。如果以一种“父子关系”来描述四者之间的关系的话应当是：IContentRepository →IContentLocation→IContentItem→IContentItemFile。
图14 Content资源库类图
Audit资源库
Audit资源库是用来存放审计信息的数据文件或数据库连接。所谓审计信息是Pentaho平台在运行过程中不断产生的有关系统运行状态的信息，类似日志信息。
图15 Pentaho平台Audit资源库类图
如图15所示，所示，Audit信息库的软件接口主要由IAuditEntry接口进行描述。继承该接口的类有两个，一个是AuditFileEntry，用来抽象以数据文件作为Audit信息记录媒质的Audit信息库；另一个是AuditSQLEntry，用来抽象以
数据库作为Audit信息记录媒质的Audit信息库。可以看到，AuditSQLEntry还有一个数据库连接类AuditConnection作为其访问数据库的接口。
Pentaho的运行机制
Pentaho平台的启动与终止
Pentaho本身是一个Web应用，在它部属到应用服务器之后，其运行与终止都随着应用服务器的启动和终止完成。在应用服务器启动时，Pentaho平台需要完成自己的初始化工作，这些工作主要包括：
1.读取应用服务器的相关参数，以决定Pentao自身的行为，如系统的语言、
编码、地区等等。
2.读取Pentaho平台自身及Solution相关的配置文件，初始化全局运行环
境。
3.为所有已安装的插件完成初始化工作。
在应用服务器终止时，Pentaho也要完成一些清理工作，这主要是依次完成所有已安装插件的清理工作。
Pentaho平台的初始化和清理工作是通过Servelet的EventListener机制来实现的。Pentaho平台向应用服务器注册一个SolutionContextListener类，该类继承于ServletContextListener，在应用服务器启动时，会自动调用它的contextInitialized 方法，该方法会获取Pentaho平台的全局性配置信息，进而创建Pentaho自己的系统上下文WebApplicationContext，进而调用PentahoSystem.init()方法完成初始化。
PentahoSystem.init()函数主要完成了三个列表的初始化：其一是PentahoSystem的Listener列表，该列表对各个插件的加载和卸载有重大意义；其二是系统的Publisher列表，该列表对于更新系统配置信息和Solution资源库起重要作用（参见“Pentaho平台的Publish机制”一节）；其三是系统Action列表，该是系统预定义的Action序列列表。
当servlet上下文销毁时，pentaho的SolutionContextListener再一次激活，应用服务器调用其contextDestroyed()方法，进而调用PentahoSystem::shutdown()结束pentaho的运行。在PentahoSystem::shutdown()方法中，已安装的各个插件将被安全的清除，具体过程详见“Pentaho的插件管理”一节。
PentahoSession的管理
图16 Pentaho平台的各种Session类
如图16所示，pentaho有自己的各种session类，它们都实现了IPentahoSession接口（该接口实现了ServeletSession接口），但各自的功能各不相同。其中StandAlonSession这一支是为了实现独立于应用服务器的Pentaho平台而实现的；PentahoHttpSession则是用于处理应用服务器Session相关的功能。本文主要关注后者。
PentahoHttpSession的生命周期与应用服务器的Session类是紧密联系的，它们之间的联系仍然是通过EventListener机制来实现的。Pentaho平台向应用服务器注册一个PentahoHttpSessionListener类，该类继承于HttpSessionListener类，负责在应用服务器的Session类创建/销毁时完成相关的工作。
需要注意的是，Pentaho平台种存在一个工厂类：PentahoSessionFactory，但没有见到这个类的具体的调用，实际上PhentahoSession的创建并不在这里，而是在UIUtil（它取代了那个工厂类的功能）内部，也就是说，并不是系统Session 一创建就创建PentahoSession而是需要时才创建。这里PentahoSessionFactory似
乎是一个多余的东西，不知是开发者的失误还是另有原因。
Pentaho平台的Publish机制
当用户完成Solution的开发或修改时，需要让Pentaho平台重新扫描Solution 的根目录以反映这个修改；当用户修改了Pentaho平台的某些系统配置文件的时候，也需要Pentaho平台刷新相关的设制以反映这种修改，这个过程成为发布（Publish）。
图17 Pentaho平台的Publish机制类图
Publish原理：每个不同的可以发布的资源都拥有自己的Publisher类，PentahoSystem类维护一个Publisher列表，当需要发布某个资源时，只要遍历该列表调用列表中每个类的publish方法即可。
如图17所示，目前的Pentaho系统共有四个Publisher类，代表了三种可发布的资源，即：全局配置参数（Settings）、全局列表（GlobalListes）、Solution和Shark。全局配置参数和全局列表都是和Pentaho平台的全局属性相关的内容，Solution则是关于在Pentaho系统上部属的Soltion所包含的Action序列的内容，Shark是一个第三方插件，可以看出某些插件也需要Publish动作才能使用。下面以Solution的Publish过程为例，介绍Pentaho系统Publish机制的具体工作过程，其他资源的Publish过程大同小异。
图 18 Pentaho 平台Solution Publish 机制顺序图
如图 18所示，当用户通过在网页上点击Publish 按钮时，Publish.jsp 就会直
接调用PhentahoSystem 的publish 方法进行发布；PhentahoSystem 维护一个publisher 列表，每次都遍历该列表，寻找符合那个类型的对象，调用那个对象的publish 方法；publisher 对象会调用Responsory 对象的Publish 方法完成publish 过程；对于SolutionPublisher 来讲，它调用SolutionRepository 的publish()方法，最终SolutionResponsory 通过调用porcessDir 方法来扫描整个Solution 目录，以获取该solution 目录下的所有Action 序列的相关信息。
Action 序列的执行机制
IRuntimeContext
ParameterManager
RuntimeContext
- paramManager SolutionEngine
- runtime
HttpWebServiceRequest
Handler
+ HttpWebServiceRequestHandler ( )- _SolutionEngine 0..1
图 19 Pentaho 平台Action 序列执行机构类图
Pentaho 平台的Solution 的内容就是一系列Action 序列，Action 序列的解释
执行是Pentaho 平台最为核心的内容。在Solution 中，每个Action 序列有一个.xaction 文件类描述，这实际上是xml 格式的文件，Pentaho 平台通过解析该文件获取有关Action 序列如何执行的内容，从而解释执行该Action 序列。
运营数据分析指标文档 一.流量分析 1.1概览 ①时间范围选择功能：以数据记录时间为筛选条件显示本页下数据，默认首个时间范围框为当前日期前30天，第二个时间范围框为当前日期前一日。点击每一个选择区域弹出日历，用户可选择年份、月份和日期，日历内日期默认选择为当前日期前一日，最终结果以两个选择区域内选择的时间的时间差为筛选标准，不分前后。有按照昨天、最近7天和最近30天的快速筛选按钮，点击对应按钮以对应时间进行数据筛选。选择范围最长为365天。选择范围最长为365天。 ②时间统计方式选择：可选择按小时和按单日来作为统计的维度，如选择小时则可显示每天12:00到13:00（或其他时间段内）网站浏览量（或访客数）的数据统计。 ③数据统计区域(表格)：首行显示全网站昨日的浏览量、独立访客数、新独立访客数、ip、跳出率和平均访问时长，第二行对应显示全网站从统计之日起至昨日的上述平均数值。 ④折线图：可选指标为pv、uv、pv/uv、vv、平均访问时长,默认选中uv,指标支持单选。横坐标为时间轴，与1.1和1.2中的时间范畴相关；纵坐标为各项指标对应的数据。鼠标移至折线图上时会浮窗显示鼠标所处位置垂直线所对应的日期或时间段，以及选中指标的具体数值,默认选中uv。 ⑤在新页面查看完整数据：点击该按钮跳转至“概览信息详情页。” 1.1.1概览信息详情页 ①时间范围选择功能：以数据记录时间为筛选条件显示本页下数据，默认首个时间范围框为当前日期前30天，第二个时间范围框为当前日期前一日。点击每一个选择区域弹出日历，用户可选择年份、月份和日期，日历内日期默认选择为当前日期前一日，最终结果以两个选择区域内选择的时间的时间差为筛选标准，不分前后。有按照昨天、最近7
例谈高考地理试题数据分析的方法和技巧 地理数据是地理事物和现象空间位置、属性特征及其动态变化等的数量化表示。通过地理数据的分析，可以解析其所表达的地理事物的分布、特征及其运动变化的地理过程，进而了解自然和人文地理环境特征以及人类活动与地理环 境之间的关系。全国各地高考试题近年来出现了不同类型的地理数据分析类试题，其解析方法和技巧各不相同。 一、比较法 比较法是高考试题中地理数据分析的常用方法，包括纵比法、横比法和联系比较法等。纵比法是将不同历史阶段的地理数据加以比较，借以揭示地理现象在历史发展过程各阶段的共性与个性。横比法是将同一属性的不同地理事物加以比较，找出其在同一发展阶段在地理特征、发展趋势等方面的差异。联系比较法是联系相关地理事物进行比较，以利于探求地理规律，解决地理问题。 例题1：图1示意某城市20世纪80年代和90年代平均人口年变化率，当前，该城市总人口约1300万。据此完成（1）～（2）题。 （1）20世纪90年代和80年代相比，该城市 A.总人口增长速度加快 B.总人口减少 C.人口自然增长率降低
D.人口净迁入量减少 （2）该城市所在的国家可能是 A.美国 B.日本 C.俄罗斯 D.德国 解析：该题涉及了人口地理学的相关地理数据，主要有人口的自然增长率、迁移率、总人口增长率。第（1）题的解题方法是典型的纵比法，可以将“1981～1990”和“1991～2000”两个不同历史阶段的同类地理数据进行比较，排除A、C，由于总人口增长率一直为正值，所以B选项“总人口减少”是错误的，所以选D。 技巧：纵比法主要用于同一地理实体不同历史阶段气候资料、水文信息、自然资源、人口数量、农业分布、工业产值等的比较，可以揭示同一地理事物属性特征的时间变化过程，利用纵比法进行比较时，一是要注意比较实体和属性数据的同一性，必须是同一地理实体不同时期的同类属性数据的比较。二是要注意将属性数据变化值与时间尺度联系起来分析地理实体的变化特征，不能夸大或缩小地理实体特征的变化幅度。横比法主要用于不同地理实体间同一历史阶段属性数据的比较，可以是国家间的作物面积的比较，可以是河流间水文特征的比较，也可以是功能区间属性的比较等等。利用横比法进行比较时，一是要注意所比较的地理实体间的同质性和层次性，例如，不能将城市功能区与农业规划区进行比较，也不能将国家的工业产值与城市的工业产值进行比
数据分析中常用得10种图表 1折线图 折线图可以显示随时间(根据常用比例设置)而变化得连续数据,因此非常适用于显示在相等时间间隔下数据得趋势。 表1家用电器前半年销售量 月份冰箱电视电脑平均销售量合计 1月68 45 139 84 252 2月33 66 166 88 265 3月43 79 160 94 282 4月61 18 115 65 194 5月29 19 78 42 126 6月22 49 118 63 189 图1 数点折线图 图2堆积折线图
图3百分比堆积折线图 2柱型图 柱状图主要用来表示各组数据之间得差别。主要有二维柱形图、三维柱形图、圆柱图、圆锥图与棱锥图。 图4二维圆柱图 3堆积柱形图 堆积柱形图不仅可以显示同类别中每种数据得大小还可以显示总量得大小。 图5堆积柱形图
图6百分比堆积柱形图 百分比堆积柱形图主要用于比较类别柱上每个数值占总数得百分比,该图得目得就是强调每个数据系列得比例。 4线-柱图 图7线-柱图 这种类型得图不仅可以显示出同类别得比较,更可以显示出平均销售量得趋势情况。 5两轴线-柱图 月份工资收 入(元) 其她收入 (元) 工资占其她收入得百分 比 1月5850 12000 48、75% 2月5840 15000 38、93% 3月4450 20000 22、25%
4月6500 10000 65、00% 5月5200 18000 28、89% 6月5500 30000 18、33% 图8两轴线-柱图 操作步骤:01 绘制成一样得柱形图,如下表所示: 图1 操作步骤02: 左键单击要更改得数据,划红线部分所示,单击右键选择【设置数据系列格式】,打开盖对话框,将【系列选项】中得【系统绘制在】更改为“次坐标轴”,得到图4得展示结果。
数据分析课程标准新 Document serial number【KKGB-LBS98YT-BS8CB-BSUT-BST108】
《应用数据分析》课程标准 【适用专业】：工商管理系 【开设学期】：第五学期 【学时数】：64 【课程编码】：020474 一、课程描述 本课程是电子商务专业的专业技术课程，该课程主要是培养学生完整市场调查的理念与EXCEL的应用，EXCEL是Microsoft公司推出的Office 办公应用软件的主要组件之一，本课程主要学习任务是通过该软件快速计算和分析大量的数据，并能轻松制作出符合要求的报表，表达复杂的数据信息。本课重点讲解Excel在数据分析与市场调查方面的应用，使学生掌握数字运算、财务、数据分析、市场调查等相关知识技能。 二、培养目标 1、方法能力目标： 为了适应当今信息化飞速发展的商务管理需求，培养学生数字处理、分析的自动化方法和能力。 2、社会能力目标： 数据分析师 3、专业能力目标： 培养具备现代商务管理领域所需数据分析人才，注重信息管理以及信息系统分析、设计、实施、管理和评价等方面的基本理论和方法。使用计算机作为工具处理大量纷繁的信息，并进行有效管理。 三、与前后课程的联系 1、与前续课程的联系 为了更好地掌握这门技术，应具有一定的计算机应用、数据库等相关基础知识。 2、与后续课程的关系 为了更好地培养学生的可持续学习能力和创新思维，掌握《应用数据分析》为后续学习《电子商务管理》奠定良好的基础。 四、教学内容与学时分配
将职业领域的工作任务融合在课程的项目教学中。具体项目结构与学时分配表如下：
五、学习资源的选用： 1、教材选取的原则： 高职高职优秀教材或自编教材 2、推荐教材： 《Excel数据分析与市场调查》林宏谕姚瞻海编着中国铁道出版社 3、参考的教学资料 《Excel与数据分析》电子工业出版社 4、学习的网站： http:/ 六、教师要求: 1、理论课教师的要求 具有一定的专业素质及专业技术水平，从事计算机教龄3年经验以上，有一定的一体化教学经验的双师型教师任教。 2、实训指导师要求 具有本职业丰富的实践经验，有教育培训经验，具有良好的语音呢表达能力。七、学习场地、设施要求 场地：计算机机房 设备：计算机、EXCEL、SQL 八、考核方式与标准 要求：全面考核学生的学习情况，以过程考核为主，涵盖项目任务全过程。
第一章 地理数据的初步整理 第一节 地理数据的类型、特征及其采集 一、地理数据的类型 根据地理学的研究对象可将地理数据分为空间数据和属性数据。 （一）空间数据 空间数据，主要用于描述地理实体、地理要素、地理现象、地理事件及地理过程产生、存在和发展的地理位置、区域范围及空间联系。空间数据的表达，可以将其归纳为点、线、面三种几何实体以及描述它们之间联系的拓扑关系。 点：由一个独立的坐标点),(y x 定位，可以表示精确的地理坐标点，也可以是一些地理实体的抽象，如道路交叉点、河流汇聚点以及小比例尺地图上的城镇、村庄等。 线：由两个以上坐标点i i y x i i ,2,1),,( 定义，有一定的长度和走向，表示线状地物或点实体之间的联系。如交通线、河流及各种地理区域的界线等，都是线实体。 面：表示在空间上连续分布的地理景观或区域。如居民区、工业区、行政区等都是面实体。 点、线、面三种地理几何实体，按照一定的拓扑关系组合、排列，就可以形成更为复杂的地理几何实体。如点、线组合形成网络；线、面组合形成地带；点、面组合形成地域类型；点、线、面组合形成地理区。 （二）属性数据 属性数据主要用于描述地理实体、地理要素、地理现象、地理事件及地理过程的有关属性特征，如海拔高度、气温、植被覆盖率、人口数量等。属性数据可以分为两种类型：即数量标志数据和品质标志数据。 1.数量标志数据 根据测度标准，可以将数量标志数据分为以下两类： ⑴ 间隔尺度数据。是以有量纲的数据形式表示测度对象在某种量纲下的绝对量。如摄氏温标表示气温，以面积量纲表示土地面积，以时间量纲表示地理事件、地理现象发生的时间等，如表1.1。 表1.1 间隔尺度数据 区域 年平均气温（℃） 年降水量（mm ） 土地面积（hm 2） 人口（人） 国内生产总值（万元） 1 8.0 500.2 1245.6 1210 2678.28 2 7.6 498.6 1064 1023 2015.47 3 6.5 550.9 894.3 848 1754.56 4 8.5 586.4 668.7 654 1365.46 ⑵ 比例尺度数据。是以无量纲的数据形式表示测度对象的相对量。这种数据要求事先规定一个基点，然后将其它同类数据与基点数据相比较，换算为基点数据的比例。因此这类数据常常又称为指数或比例数。如耕地指数、工业发展指数、舒适度指数等，如表1.2。 表1.2 比例尺度数据（某地区耕地复种指数及农业发展指数） 年份 1996 1997 1998 1999 2000 耕地复种指数① 120.40 113.56 126.54 132.76 121.43 农业发展指数 ② 100 115.68 124.50 135.69 129.56
大数据报表标准功能点简介
U8分析报表包含两个工具，分别为分析报表工具和业务模型设计器，其中分析报表工具包括分析报表系统管理、分析报表门户、数据仓库管理、数据整合平台。 一、分析报表工具 分析报表系统管理 分析报表系统管理包含基础设置、数据配置、数据抽取、权限管理四个功能。 基础设置 在基础设置中有两个地方需要设置，企业目录和加密服务器设置。企业目录功能是确立企业实际分析管理的数据范围。 加密服务器设置的功能是通过设置加密服务器IP地址或机器名，将加密监听程序指向加密服务器，以读取加密点。 数据配置 报表项目用于设置进行财务报表分析的报表项目。 图2-1 U8分析报表项目页面 自定义分类提供按照存货、客户、供应商档案进行自定义分类定义，对任何档案用户可以按照不同业务需要设置自定义分类。系统自动带入企业目录账套最新年度的档案分类，可修改。 分类维护：可对当前自定义分类下的分类明细进行新增、修改、删除操作。
档案归类：可对当前自定义分类下的分类明细所对应的档案明细提供个别编辑操作。 点击分类维护栏中的编辑，进入分类管理页面；同样点击档案归类栏下的编辑可进入档案归类页面。 数据抽取 数据抽取用于同步数据源数据到ODS数据仓库，抽取的结果形成ODS数据仓库，供企业查询及决策。数据抽取的方式有两种：手动抽取与自动抽取。自动抽取可以设置抽取计划，选择在业务系统空闲时完成数据抽取。抽取日志提供了数据抽取完成的情况的查看。 权限管理 角色用户功能可以进行角色、用户的增加、删除、修改操作，用户密码的修改操作，以及用户与角色的所属关系等维护工作。 权限管理，可对用户或角色授予新建报表权限、语义层权限、目录结构权限。目录结构的权限方式分为浏览、修改、完全控制（删除），可根据实际业务需要授予适合的权限。 U8分析报表门户 U8分析报表门户的核心对象即为报表，是基于业务模型做查询，并通过查询生成报表的平台；是一种兼分析报表设计和前端展示的平台。在U8分析报表中，我们根据财务、供应链业务模型预置了一些报表(包括财务，营销、库存、采购等主题)，对于用户的个性化报表需求，可以单独定制。 对于已经设计好的报表，可以进行查看、分析、导出、定位查找等操作。 分析报表门户针对财务、营销、库存、采购设定了四个分析主题，点击分析主题button打开分析首页。如图所示，点击财务分析主题按钮，财务首页报表则打开。
分区耕地坡度结构图的制作 姓名： 学号： 年级： 专业： 学院： 指导老师： 华北水利水电学院 年月日
1 目的意义 对耕地坡度进行分级是对耕地管理的重要前提。耕地坡地分级赋值是一个繁杂的人机交互过程，人为地判断分割面积可能造成多次反复，还极可能产生误差，特别是矢量化和分割图斑会带来拓扑错误及属性丢失的现象。通过运用ArcGIS 的可进行耕地坡度分级赋值，该方法在使用时需提供经过拓扑错误检查后带属性数据的土地利用图斑数据和坡度分级图。 2材料方法 2.1数据 耕地坡度结构图制作需要用到的数据有：地类图斑.shp、线状地物.shp、注记点.shp、整饰线.shp、等高线.shp、村界.shp、遥感影像H50G044024DOM.tif，每个数据包含的内容见表1。 表1 耕地坡度结构图制作需要用到的数据 2.2数据分析方法(把数据来源、数据处理与分析方法说清楚) 2.2.1数据裁切方法(研究区域边界的确定) （1）矢量数据的裁切(clip) 矢量数据的剪切用clip，该工具在 （2）栅格数据的裁切(extract by mask) 栅格数据的剪切用extraction，该工具在 2.2.2影像的地理配准方法(定义数据的坐标系) 影像的地理配准用georeferencing，该工具在 2.2.3图形的矢量化方法(把多用到的矢量化方法尽量全部列出) 图形的矢量化运用Editor工具，该工具在点击Editor——Start Editing，在
Target中选择图层，进行图形矢量化。 为了方便绘制，可以打开效果Effect工具条，将绘制层设置为透明(也可将地类图斑层设置为无填充) ①一般面状轮廓的画法使用Sketch Tool，沿面状地物的边界进行描绘，双击完成。 ②面状边界的跟踪矢量画法 ③岛的画法 ④面要素边界转换为线要素 利用已经录入完毕的面状要素，使用面转线工具直接将所绘所有面要素边界转换为线要素。具体方法为：打开ArcToolbox，选择Data Management Tools菜单下的Features，双击Polygon To Line，即打开Polygon To Line对话框。在Input Feature中输入已画好的待转换的面层，在Output Feature Class中输入转换后的线层确定后即完成面转线。 ⑤线要素转换为面要素 利用已有的线要素生成面要素 2.2.4 拓扑分析方法 拓扑分析所要用到的工具topology 2.2.5矢量数据属性值的录入方法 2.2.6符号库的建立方法 （1）面状符号的制作方法 （2）线状符号的制作方法
大数据可视化分析平台 一、背景与目标 基于邳州市电子政务建设的基础支撑环境，以基础信息资源库(人口库、法人库、宏观经济、地理库)为基础，建设融合业务展示系统，提供综合信息查询展示、信息简报呈现、数据分析、数据开放等资源服务应用。实现市府领导及相关委办的融合数据资源视角，实现数据信息资源融合服务与创新服务，通过系统达到及时了解本市发展的综合情况，及时掌握发展动态,为政策拟定提供依据。 充分运用云计算、大数据等信息技术，建设融合分析平台、展示平台，整合现有数据资源,结合政务大数据的分析能力与业务编排展示能力，以人口、法人、地理，人口与地理,法人与地理，实现基础展示与分析,融合公安、交通、工业、教育、旅游等重点行业的数据综合分析，为城市管理、产业升级、民生保障提供有效支撑。 二、政务大数据平台 1、数据采集和交换需求:通过对各个委办局的指定业务数据进行汇聚,将分散的数据进行物理集中和整合管理，为实现对数据的分析提供数据支撑。将为跨机构的各类业务系统之间的业务协同，提供统一和集中的数据交互共享服务。包括数据交换、共享和EＴL等功能。 ２、海量数据存储管理需求：大数据平台从各个委办局的业务系统里抽取的数据量巨大,数据类型繁杂,数据需要持久化的存储和访问。不论是结构化数据、半结构化数据，还是非结构化数据,经过数据存储引擎进行建模后，持久化保存在存储系统上。存储系统要具备
高可靠性、快速查询能力。 3、数据计算分析需求：包括海量数据的离线计算能力、高效即席数据查询需求和低时延的实时计算能力。随着数据量的不断增加，需要数据平台具备线性扩展能力和强大的分析能力,支撑不断增长的数据量，满足未来政务各类业务工作的发展需要，确保业务系统的不间断且有效地工作。 4、数据关联集中需求：对集中存储在数据管理平台的数据，通过正确的技术手段将这些离散的数据进行数据关联,即:通过分析数据间的业务关系，建立关键数据之间的关联关系，将离散的数据串联起来形成能表达更多含义信息集合，以形成基础库、业务库、知识库等数据集。 5、应用开发需求:依靠集中数据集,快速开发创新应用，支撑实际分析业务需要。 6、大数据分析挖掘需求:通过对海量的政务业务大数据进行分析与挖掘,辅助政务决策,提供资源配置分析优化等辅助决策功能， 促进民生的发展。
《应用数据分析》课程标准 【适用专业】：工商管理系 【开设学期】：第五学期 【学时数】：64 【课程编码】：020474 一、课程描述 本课程是电子商务专业的专业技术课程，该课程主要是培养学生完整市场调查的理念与EXCEL的应用，EXCEL是Microsoft公司推出的Office 办公应用软件的主要组件之一，本课程主要学习任务是通过该软件快速计算和分析大量的数据，并能轻松制作出符合要求的报表，表达复杂的数据信息。本课重点讲解Excel 在数据分析与市场调查方面的应用，使学生掌握数字运算、财务、数据分析、市场调查等相关知识技能。 二、培养目标 1、方法能力目标： 为了适应当今信息化飞速发展的商务管理需求，培养学生数字处理、分析的自动化方法和能力。 2、社会能力目标： 数据分析师 3、专业能力目标： 培养具备现代商务管理领域所需数据分析人才，注重信息管理以及信息系统分析、设计、实施、管理和评价等方面的基本理论和方法。使用计算机作为工具处理大量纷繁的信息，并进行有效管理。 三、与前后课程的联系 1、与前续课程的联系 为了更好地掌握这门技术，应具有一定的计算机应用、数据库等相关基础知识。 2、与后续课程的关系 为了更好地培养学生的可持续学习能力和创新思维，掌握《应用数据分析》为后续学习《电子商务管理》奠定良好的基础。
四、教学内容与学时分配 将职业领域的工作任务融合在课程的项目教学中。具体项目结构与学时分配表如下：
五、学习资源的选用：
1、教材选取的原则： 高职高职优秀教材或自编教材 2、推荐教材： 《Excel数据分析与市场调查》林宏谕姚瞻海编着中国铁道出版社 3、参考的教学资料 《Excel与数据分析》电子工业出版社 4、学习的网站： / 六、教师要求: 1、理论课教师的要求 具有一定的专业素质及专业技术水平，从事计算机教龄3年经验以上，有一定的一体化教学经验的双师型教师任教。 2、实训指导师要求 具有本职业丰富的实践经验，有教育培训经验，具有良好的语音呢表达能力。 七、学习场地、设施要求 场地：计算机机房 设备：计算机、EXCEL、SQL 八、考核方式与标准 要求：全面考核学生的学习情况，以过程考核为主，涵盖项目任务全过程。
常见的地理分析模型 一空间统计模型： 相关分析模型： GIS地理数据库中存储的各种自然和人文地理要素(现象)的数据并不是孤立的，它们相互影响、相互制约，彼此之间存在着一定的联系。相关分析模型就是用来分析研究各种地理要素数据之间相互关系的一种有效手段。 地理数据库中各种地理要素数据之间的相关关系，通常可以分为参数相关和非参数相关两大类。其中，参数相关又可分为简单(两要素)线性相关，多要素间的相关模型，非参数相关可以分为顺序(等级)相关和二元分类相关。 趋势面分析模型（主要是回归模型）： 一元回归模型： 我们用多项式方程作为一元回归的基本模型： Y＝a0＋a1x＋a2x2＋a3x3＋……a m x m＋ε 式中：Y为因变量，X为自变量，a0,a1,…，a m为回归系数，ε为剩余误差 多元线性回归模型 多元线性回归模型表示一种地理现象与另外多种地理现象的依存关系，这时另外多种地理现象共同对一种地理现象产生影响，作为影响其分布与发展的重要因素。 设变量Y与变量X1，X2，…，X m存在着线性回归关系，它的n个样本观测值为 Y j,X j1,X j2,…X jm(j＝1，2，n)，于是多元线性回归的数学模型可以写为： 可采用最小二乘法对上式中的待估回归系数β0，β1，…，βm进行估计，求得β值后，即可利用多元线性回归模型进行预测了。
聚类模型：聚类分析是根据多种地学要素对地理实体进行划分类别的方法，对不同的要素划分类别往往反映不同目标的等级序列，如土地分等定级、水土流失强度分级等。 聚类分析的步骤一般是根据实体间的相似程度，逐步合并若干类别，其相似程度由距离或相似系数定义。进行类别合并的准则是使得类间差异最大，而类内差异最小。 最短距离聚类模型 最短距离聚类模型中，定义两类之间的距离用两类间最近样本的距离来表示。用d ij 表示样本和样本之间的距离，用G1，G2，…表示类，类G p和类G q的距离用D pq表示，则有： 具体步骤如下： 1、规定样本间的距离，计算样本两两距离的对称表，记作D0，由于每一个样本自成一类，显然D pq＝d pq。 2、选择D(0)中的最小元素，设为D pq，则G p与G0合并成一个新类，记为 Gγ＝｛G p，G q｝。 3、计算新类与其它类的距离 将D(0)中的p、q行和p、q列删去，加上第γ行、γ列，得到的矩阵记作D(1)。 4、对D(1)重复D(0)的两步得D(2)，如此继续下去，直到所有元素成为一类为止。 如果某一步D(k)中的最小元素不止一个，则对应这些最小元素的类可以同时合并。 模糊聚类模型
大数据分析专项职业能力考核规范 一、定义 运用计算机及相关软件，具备对各种类型的大数据进行数据建模、管理，数据分析、数据探索和数据可视化等能力。 二、适用对象 运用或准备运用本项能力求职、就业的人员。 三、能力标准与鉴定内容 能力名称：大数据分析职业领域：计算机软件工程技术人员工作任务操作规范相关知识考核比重 1.能为服务器安装 Windows、 Linux操作系 统； 、Linux 操作系统基础知识及 2.能装载新磁盘，给磁盘 安装步骤操作； 建立分区，能创建文件系 2. 磁盘分区相关知识和指 统，装载磁盘； 令，知道不同磁盘分区的区 3. 能在Windows、 Linux ( 一 )别，磁盘卷管理相关知识和 上安装Apache、 PHP、 操作系统指令； Python 等服务，并能够配 系统及服、rpm等形式的软件下载、安置服务使其正常运行以及 务安装部装指令，系统服务配置指令； 随系统自动启动； 署 4. 基本的防火墙知识和系统8% 4. 能在Windows、 Linux 自带防火墙的基本配置； 上安装、配置防火墙； 脚本的基本知识，文件管理、 5. 能在Windows、 Linux 库管理、库依赖关系等 Shell 上进行包括文件管理、系 命令。 统运行库配置、管理、查 错，保证各种自带和新安 装的系统服务正常运行。 1. 能在 Windows、 Linux 1. 数据库基础知识及安装 上安装 MySQL、Oracle 、MySQL、 Oracle 、SQLServer ( 二 ) 步骤操作； SQL Server 等数据库系 数据库安 、Oracle 、 SQL Server 数据 8%统； 装、管理 2. 能够配置 MySQL、库服务配置知识； 和操作 、Oracle 、 SQL Server 数据Oracle 、SQLServer 等系 统，保证其正常的启动和库的系统参数含义及用途；
Data Base Technique ? 数据库技术Electronic Technology & Software Engineering 电子技术与软件工程? 175【关键词】地理信息 大数据 数据挖掘1 地理信息大数据的特征 随着信息技术的发展，各种地理地质探索程度的加深，每天都会产生大量的地理信息大数据，对于这些大数据的特征进行分析，开展实际应用具有极为重要的意义。 1.1 数据量巨大且多样化 随着地理信息数据收集手段的日益丰富使得地理信息的数据呈现出几何倍的增长，以全国4000个基准站计算显示，其总的数据规模已经超过了250GB ，如果扩大到全球的范围内，每天产生的数据量更是巨大。同时随着测绘技术、运动网络以及智能终端的应用，地理信息的数据来源越来越多，应用的技术越来越高超。人们可以通过无人机、卫星、气球拍摄等影响数据，手机、定位车等移动设备获得实时的信息，数据的来源以及种类越来越多样化。 1.2 数据产生较为快速 对于数据信息的获取上，高分辨率的影像等数据信息可以实时的获取，高分二号的重复采样周期为4天，资源三号的采样周期缩短到5天，对于传感器等相关移动设备获取信息的周期为实时，在对于这些信息的处理上，都是以秒来计算，同时数据的实效性可以依据分钟来计算，为此可见地理信息数据的产生与分析速度极为快速。 1.3 数据的应用价值极高 地理信息内部蕴含着巨大的财富，可以有效的指导人们的生产与生活活动，依据相关的数据显示，地理信息大数据可以人给服务商带来的收入超过1500亿美元，为用户带来的价值将会超过8000亿美元。 1.4 同传统地理信息的比较 首先为地位不同，传统的地理信息主要服务于政府，而大数据信息则面向于大众开展的应用服务。地理信息的数据产生部门也从相关单位，专业部门转变为每个人都是大数据地理信息的收集者，数据的量也从MB 发展到地理信息大数据挖掘与分析 文/曾航 唐险峰 谭龙生 PB ，部分的实效数据已经实现了实时的更新。2 地理信息大数据挖掘系统云平台分析地理信息大数据已经为证明其具有较大的应用基础，同时数据挖掘分析能力成为智慧应用的关键，为此数据的挖掘与分析能力显得尤为重要。针对于目前地理信息的特征，要想实现大数据到智慧应用的转变，需要应用到云储存技术、关系与非关系型数据库储存量巨大，通过人工智能以及云计算技术等，通过一定的排列剔除可信度低、未经过检测的数据，经过清洗以及转换之后得到可以利用的地理信息数据。最后通过统计分析、数据挖掘等分析未来的情况，这些操作实现的平台为地理信息处理云平台。地理信息系统的云平台不仅仅支持的为桌面端以及Web 端的应用，为企业以及政府部门提供提供服务，其还是一个服务性以及跨部门的云平台。地理信息云平台含有各种趋势化的技术与数据，在数据管理层面支持3D 数据、公共地理框架数据以及街景、实时位置以及感知数据等，在支持数据格式层面含含有关系型数据、表格、图片以及非关系型数据等几种格式，地理信息数据服务系统还加入了网络社会媒体，网络设备传输的流数据等。对于实际功能层面，处理具有传统的可视化查询、编辑以及分析等功能之外，同时还可以提供的为在线的地理信息触发、地理信息围栏筛选等功能，经过处理之后需要的信息可以通过列消息、邮件以及地图成果等传递给用户。在具体使用的时候，用户可以根据各种类型终端实时的范围地理信息云平台，同时依据云平台获得订阅自身需要的素具信息，并不需要关系数据是如何采集与获取就可以得到较好的服务。3 地理信息大数据的挖掘与应用探析地理信息云平台可以轻而易举的实现各种信息资源的共享，使用地理信息资源的模式从推动应用转变为利用信息挖掘应用，可以为政府、企业以及社会公众等的决策提供支持服务。3.1 城市人文信息的挖掘一个城市夜晚的灯光水平会直接的反应该城市的工业化水平，人口的分布情况等，通过遥感卫星夜间的影响可以获得各个城市经济的要素信息。比如利用夜光减少的情况，分析居民的大规模迁移与战争的发展情况，通过经济统计数据、夜光影响以及土地覆盖类型的数据等，可以得到网格化的GDP 数据，对于政府制定经济发展政策具有较大的帮助。3.2 公安应急应用针对于开放式的广场，公安部门难以掌握好人口的聚集程度，进而难以给出科学的人口流量控制方法，较为容易出现踩踏的事故。为此可以借助于手机热点的大数据计算得到每平方米内部聚集人口的数量，之后结合手机热点的流动趋势，可以精确的判断出每平方米人口的聚集量变化趋势，进而可以及时的做出相关应急措施，避免由于人口超负荷的汇聚带来较大的伤亡。3.3 环境与卫生监测在卫生领域，可以判断流感蔓延的实际情况，对于用户在相关搜索引擎输入的咳嗽、 发烧等热点检索信息，具体的分析流感疫情实际的蔓延情况，进而为政府部门快速的应对疾病的蔓延提供第一手珍贵的资料。同时还可以在环保领域的雾霾监测应用，对于污染企业帆布的信息、风向的具体走势以及道路分布，交流流量、人群轨迹等大量的数据开展开展汇集、处理以及实时分析，进而可以获得可视化的雾霾分布图以及雾霾的变化趋势图，进而为政府部门提前的应对雾霾天气、开展环境整治等方面的工作提供必要的指导。3.4 交通出行规划应用人们在出行时通常会考虑当时的路况，绕开拥堵路段，去选宽松路段，但这些宽松路段便会由于车辆的增加而逐渐成为新的拥堵路段，所以导航系统的应用能够通过以往的大量数据，来以现阶段车辆行驶的大概趋势为基础，对用户合理的行驶路线进行分析，以此帮助用户有效避开拥挤路段。4 结束语伴随着地理信息数据获取手段的逐渐增加，地理信息数据也开始进入到大数据时代，地理信息大数据中，用户不在为地理信息数据资源的覆盖性以及发展趋势等担心，而是需要关注于数据如何的组织管理，如何的获取可靠的数据信息，需要花费更多的经理在数据的应用挖掘上，更好的服务于政府、企事业单位以及社会大众。同时我们还需要注意的为，在大数据时代个人隐私面临较为严峻的挑战，如何的防止私人信息泄密是值得关注话题，为此我们今后需要做的就是积极的完善地理信息云平台，深入的挖掘数据内部含有的价值，促进信息产业的发展与进步。参考文献[1]周星,桂德竹.大数据时代测绘地理信息服务面临的机遇和挑战[J].地理信息世界,2013(05):17-20.[2]周顺平,徐枫.大数据环境下地理信息产业发展的几点思考[J].地理信息世界,2014(01):45-50.[3]武长安,姜楠.大数据时代测绘地理信息服务面临的机遇与挑战[J].住宅与房地产,2017(23).[4]刘纪平,张福浩,王亮等.面向大数据的空间信息决策支持服务研究与展望[J].测绘科学,2014,39(05):8-12.[5]曾元武,陈泽鹏,方晓乐等.大数据时代下地理信息公共平台建设展望[J].测绘通报,2015(11):84-87.作者单位重庆市规划信息服务中心 重庆市 401121
1.什么是相关系数？单相关系数、偏相关系数和复相关系数在计算上有什么联系？三者在检验上有什么区别？ 答：相关系数是用来测定地理要素之间相互关系密切程度的数值；偏相关系数的计算要以单相关系数为基础，而复相关系数的计算要同时用到单相关系数和偏相关系数；一般情况下，相关系数的检验，是在给定的置信水平下，通过查相关系数的临界值表来完成的，偏相关系数的检验，一般采用t-检验法，对复相关系数的显著性检验，一般采用F 检验法。 2.什么是秩相关系数？试比较单相关系数和秩相关系数。 答：秩相关系数，又称等级相关系数或顺序相关系数，是将两要素的样本值按数据的大小顺序排列位次，以各要素样本值的位次代替实际数据而求得的一种统计量。实际它是位次分析 答：回归分析方法，就是研究地理要素之间具体数量关系的一种强有力的工具，运用这种方法能够建立反映地理要素之间具体数量关系的数学模型，即回归模型。相关分析揭示了地理要素之间的相关程度，而回归分析进一步揭示了地理要素之间的数量关系。 4.什么是地理过程时间序列？地理时间序列分析在地理学中有什么用途？ 答：时间序列，也叫时间数列或动态数列，是要素（变量）的数据按照时间顺序变动排列而形成的一种数列，他反映了要素（变量）随时间变化的发展过程。地理过程的时间序列分析，就是通过分析地理要素（变量）随时间变化的历程，揭示其发展变化的规律，并对未来状态进行预测。 11.某地区粮食产量（t ）与受灾面积（hm 2）的历年数据见下表，使计算二者的相关系数，并对相关系数进行检验（a=） 答案见下表： 年份 粮食产量 /t 受灾面积/ 1995 251 52 12866 6 1996 801 101 199 7 200 65 16785 4 1998 409 88 1999 415 90 2000 502 98 2001 314 120 hm 2 x x i - - y y i - -） ）（（ y y x x i i - - - -） （x x i 2 - -）（y y i 2 - -
常用数据分析方法 常用数据分析方法：聚类分析、因子分析、相关分析、对应分析、回归分析、方差分析；问卷调查常用数据分析方法：描述性统计分析、探索性因素分析、Cronbach’a信度系数分析、结构方程模型分析(structural equations modeling) 。 数据分析常用的图表方法：柏拉图(排列图)、直方图(Histogram)、散点图(scatter diagram)、鱼骨图（Ishikawa）、FMEA、点图、柱状图、雷达图、趋势图。 数据分析统计工具：SPSS、minitab、JMP。 常用数据分析方法: 1、聚类分析（Cluster Analysis） 聚类分析指将物理或抽象对象的集合分组成为由类似的对象组成的多个类的分析过程。聚类是将数据分类到不同的类或者簇这样的一个过程，所以同一个簇中的对象有很大的相似性，而不同簇间的对象有很大的相异性。聚类分析是一种探索性的分析，在分类的过程中，人们不必事先给出一个分类的标准，聚类分析能够从样本数据出发，自动进行分类。聚类分析所使用方法的不同，常常会得到不同的结论。不同研究者对于同一组数据进行聚类分析，所得到的聚类数未必一致。 2、因子分析（Factor Analysis） 因子分析是指研究从变量群中提取共性因子的统计技术。因子分析就是从大量的数据中寻找内在的联系，减少决策的困难。 因子分析的方法约有10多种，如重心法、影像分析法，最大似然解、最小平方法、阿尔发抽因法、拉奥典型抽因法等等。这些方法本质上大都属近似方法，是以相关系数矩阵为基础的，所不同的是相关系数矩阵对角线上的值，采用不同的共同性□2估值。在社会学研究中，因子分析常采用以主成分分析为基础的反覆法。 3、相关分析（Correlation Analysis） 相关分析（correlation analysis），相关分析是研究现象之间是否存在某种依存关系，并对具体有依存关系的现象探讨其相关方向以及相关程度。相关关系是一种非确定性的关系，例如，以X和Y分别记一个人的身高和体重，或分别记每公顷施肥量与每公顷小麦产量，则X 与Y显然有关系，而又没有确切到可由其中的一个去精确地决定另一个的程度，这就是相关关系。 4、对应分析（Correspondence Analysis） 对应分析(Correspondence analysis)也称关联分析、R-Q型因子分析，通过分析由定性变量构成的交互汇总表来揭示变量间的联系。可以揭示同一变量的各个类别之间的差异，以及不同变量各个类别之间的对应关系。对应分析的基本思想是将一个联列表的行和列中各元素的比例结构以点的形式在较低维的空间中表示出来。 5、回归分析 研究一个随机变量Y对另一个(X)或一组(X1，X2，…，Xk)变量的相依关系的统计分析方法。回归分析（regression analysis)是确定两种或两种以上变数间相互依赖的定量关系的一种统计分析方法。运用十分广泛，回归分析按照涉及的自变量的多少，可分为一元回归分析和多元回归分析；按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。 6、方差分析(ANOVA/Analysis of Variance) 又称“变异数分析”或“F检验”，是R.A.Fisher发明的，用于两个及两个以上样本均数差
数据分析中常用的10 种图表 1 折线图 折线图可以显示随时间（根据常用比例设置）而变化的连续数据，因此非常适用于显示在相等时间间隔下数据的趋 势。 表 1 家用电器前半年销售量 月份冰箱电视电脑平均销售量合计 1 月68 45 139 84 252 2 月3 3 66 166 88 265 3 月43 79 160 9 4 282 4 月61 18 11 5 65 194 5 月29 19 78 42 126 6 月22 49 118 63 189 200 150冰 箱 100 79 电视 66 50 45 49 电脑 18 19 1月2月3月4月5 月6月 图 1数点折线图 300 160 250139 166 200115 118 电脑 150 78 电视 100冰 箱50 1月2月3月4月5月6月 图 2 堆积折线图 100% 80% 60%电脑
40%电视 20%冰箱 0% 1月2月3月4月5月6月 图 3 百分比堆积折线图 2柱型图
柱状图主要用来表示各组数据之间的差别 。主要有二维柱形图、 三维柱形图、圆柱图、圆锥图和棱锥图。 200 150 冰箱 100 电视 50 电脑 1月 2月 3月 4月 5月 6月 图 4 二维圆柱图 3 堆积柱形图 堆积柱形图不仅可以显示同类别中每种数据的大小还可以显示总量的大小。 300 250 200 电脑 150 电视 100 冰箱 50 1月 2月 3月 4月 5月 6月 图 5 堆积柱形图 100% 80% 139 160 115 60% 166 78 118 电脑 40% 45 18 电视 19 66 79 49 冰箱 20% 68 61 29 0% 33 43 22 1月 2月 3月 4月 5月 6月 图 6 百分比堆积柱形图 百分比堆积柱形图主要用于比较类别柱上每个数值占总数的百分比，该图的目的
《数据分析》课程标准 1．课程定位与课程设计 1.1课程的性质与作用 本课程是电子商务专业的专业基础课程。通过本课程的学习，使学生掌握调查方案设计、数据资料的收集、整理、分析和数据分析报告的撰写方法和思路，及运用EXCEL进行数据分析的基本方法。该课程主要是培养学生完整市场调查的理念与运用EXCEL进行数据分析的能力，为学生学习和掌握《网络营销与策划》、《店铺运营》、《客户服务》等其他专业课程提供必备的专业基础知识，也为学生从事电子商务运营与推广、客户服务等电子商务相关岗位工作打下良好的基础。 1.2课程设计理念 课程设计遵循“以学生为主体”教育思想，依据“任务引领”为课程内容设计原则，以提高学生整体素质为基础，以培养学生市场调查与数据分析工具的使用能力、特别是创新能力和实际操作能力为主线，兼顾学生后续发展需要，选取符合电子商务职场所要求的知识、素质和能力为教学内容；在基本理论和基础知识的选择上以应用为目的，以“必需、够用”为度，服从培养能力的需要，突出针对性和实用性 （2）遵循能力本位的教学观。注重培养学生在工作中对数据资料的收集、整理和分析处理能力，训练学生的专业能力、社会能力和方法能力。课程设计以能力为核心，围绕能力的形成学习相关知识。 1.3 课程设计思路 在课程设计上根据电子商务专业就业岗位群任职要求，改革传统的课程体系和教学方法，形成以就业为导向，立足于学生职业能力培养和职业素养养成，突出课程的应用性和操作性。数据分析工作是一个有序开展的工作，顺序性和过程性很强，课程设计的思路正是依据工作任务的顺序和过程开展的，数据分析工作过程主要分为五个步骤，这五个步骤也就是五个工作项目，构成了本课程学习内容的框架。通过任务驱动充分发挥学生的主体作用，让学生在完成具体任务的过程中来构建相关理论知识，发展职业能力，并提升职业素养。在教学内容上遵循“理论够用、适度，重在应用”的原则，弱化理论，剔除抽象的公式推导和复杂计算分析，把数据资料的收集特别是利用互联网收集数据资料及运用数据分析工具软件进行数据分析，作为重点内容进行讲授和训练，适应社会经济和科技进步给市场信息分析与预测带来的发展。 2．课程目标 通过本课程的学习，学生掌握从调查方案设计、数据资料的收集、处理、分析到数据分析报告的撰写整个工作流程，学会运用EXCEL进行数据分析的基本方法。同时还要培养学生自主学习能力、自我管理能力、沟通能力、组织协调能力、市场开拓意识、竞争意识和团队
地理信息是地理数据所蕴含和表达的地理含义。 地理数据是与地理环境要素有关的物质的数量、质量、分布特征、联系和规律等的文字、数字、图像的总称。 地理信息的特征： 1、空间特征：地理信息具有空间特 征，属于空间信息，其数据与确切 的空间位置联系在一起，这是地理 信息区别于其他类型信息的显著 标志； 2、属性特征：地理信息具有属性特 征，通常在二维空间的定位基础 上，按专题来表达多为即多层次的 属性信息，这对地理环境中的岩石 圈、水圈、大气圈、生物圈及其内 部复杂的交互作用进行综合性研 究提供了可能性，为地理环境多层 次属性数据的分析提供了方便。 3、时序特征：地理信息具有时序性， 通常按照时间尺度来区分地理信 息。
地理信息系统简称GIS，其定义为：地理信息系统是由计算机硬件、软件和不同的方法组成的系统，该系统设计来支持空间数据的采集、管理、处理、分析、建模和显示，以便于解决复杂的规划和管理问题。 地理信息系统的基本概念： 1、地理信息系统首先是一种计算机 系统，该系统通常又由若干个子系 统构成 2、地理信息系统的操作对象，地理信 息系统的操作对象是地理数据或 称空间数据，地理信息系统以空间 数据作为处理和操作的主要对象， 这是他区别于其他类型信息系统 的主要标志，也是其技术难点之所 在 3、地理信息系统的技术优势，地理信 息系统的优势在于它的空间数据 结构和有效的数据集成、独特的地 理空间分析能力、快速的空间定位 搜索和复杂的空间查询功能、强大
的图形生成和可视化表达手段，以 及地理过程的演化模拟和空间决 策支持功能 4、地理信息系统的相关学科，地理信 息系统虽然是信息技术发展的成 果，但是它与地理学和测绘学由密 切的关系。 地理信息系统的特点及分类： 地理信息系统隶属于信息系统中的一类，属于空间信息系统，它能处理空间定位数据，具有空间分析功能。 按研究范围分：全球系统，区域系统，国家系统 按研究内容分：专题系统和综合系统 按其使用的数据模型分：矢量系统，栅格系统，矢栅混合系统 地理信息系统的基本构成： 系统硬件：数据处理设备，数据输入设备，数据输出设备 系统软件：GIS功能软件，基础支持软件，操作系统软件 空间数据：空间数据，属性数据，时间