毕节市公安局
公安网边界接入平台（部门间信息共享平台、视频接入链路）
建
设
方
案
上海辰锐信息科技公司
2013年10月
目录
1建设背景 (4)
2业务需求 (6)
2.1项目现状 (6)
2.2共享平台需求 (6)
2.2.1功能需求分析 (6)
2.2.2性能需求分析 (7)
2.2.3安全需求分析 (8)
2.2.4管理需求分析 (9)
2.2.5扩展需求分析 (9)
2.3视频接入需求 (9)
2.3.1功能需求分析 (9)
2.3.2性能需求分析 (10)
2.3.3安全需求分析 (10)
2.3.4管理需求分析 (11)
2.3.5扩展需求分析 (11)
3总体设计 (12)
3.1设计目标 (12)
3.2设计思想 (12)
3.3设计依据 (12)
3.4总体架构设计 (13)
3.4.1安全体系 (13)
3.4.2体系结构 (14)
3.5监测与管理区设计 (18)
3.5.1探针及监管功能设计 (18)
3.5.2级联监控管理设计 (19)
4总体方案 (20)
5功能设计 (22)
5.1共享平台功能设计 (22)
5.1.1查询比对类 (22)
5.1.2数据交换类 (22)
5.1.3Web访问类 (24)
5.2视频接入功能设计 (24)
6安全设计 (26)
6.1共享平台安全设计 (26)
6.1.1查询比对类 (26)
6.1.2数据交换类 (27)
6.1.3Web访问类 (27)
6.2视频接入安全设计 (28)
6.2.1数据接收 (28)
6.2.2数据检查 (29)
6.2.3数据传输 (29)
6.2.5授权访问 (30)
7管理设计 (31)
7.1监管功能 (31)
7.2级联功能 (33)
8设备介绍 (34)
8.1可信边界安全网关 (34)
8.2网络数据交换 (35)
8.3视频安全接入系统 (35)
8.4集中监控与审计系统 (37)
9共享平台功能 (38)
9.1共享平台架构 (38)
9.2内、外网门户网站 (40)
9.2.1单点登陆 (40)
9.2.2统一用户管理 (40)
9.2.3页面定制 (40)
9.2.4信息公告 (41)
9.2.5应用导航 (41)
9.2.6应用统计 (41)
9.3内、外网应用服务系统 (42)
9.3.1可视化业务配置器 (42)
9.3.2标准的Web 服务接口 (42)
9.3.3信息查询 (42)
9.3.4数据核查 (43)
9.3.5数据比对 (43)
9.3.6数据上传下载 (43)
9.3.7共享痕迹留存 (43)
9.3.8数据权限控制 (44)
9.3.9服务门户定制 (44)
9.3.10监控与管理 (44)
9.4数据采集系统 (45)
9.5数据集成系统 (46)
9.6平台管理监控系统 (48)
9.6.1注册管理 (48)
9.6.2用户管理 (48)
9.6.3监控与审计 (48)
9.6.4查询统计 (50)
9.7扩展功能设计 (50)
10共享平台数据处理设计 (52)
10.1数据库设计 (52)
10.2数据标准管理 (52)
10.3数据处理过程 (53)
10.4数据采集 (54)
10.4.1数据采集方式 (54)
10.5数据信息整合 (55)
10.6数据信息共享 (56)
11共享平台运行环境 (57)
11.1.1软件环境设计 (57)
11.1.2硬件环境设计 (57)
1建设背景
随着贵州省毕节市公安局公安信息化建设的不断深入开展，公安机关对外交换和共享信息的接入业务需求日益强烈。结合自身公安信息化建设现状和发展需要，减少重复投资，建设贵州省毕节市公安局部门间共享平台（以下简称“共享平台”），满足公安机关通过公安信息通信网开展对外数据交换、查询比对、Web访问等工作需要。通过共享平台的建设为部门间信息共享等业务提供集中的安全运行基础设施，实现对接入业务的注册、监控与审计等安全管理，保障共享平台与公安信息通信网的安全。
共享平台是金盾工程二期重点建设的“三大平台”之一，公安部《关于稳步开展公安信息资源共享服务工作的通知》（公信通[2007]187号）及《关于“部门间信息共享与服务平台”建设应用的指导意见》（公科信[2012]19号）的要求，共享平台的核心功能主要包括两个方面：一是方便可靠地获取外部信息，将其它政府部门、社会单位向公安机关提供的信息传输到共享平台上，并根据公安业务应用的需要将相关信息转送到公安信息网内加以综合应用；二是安全可控地对外提供信息服务，将需要对外共享的信息从公安信息网内抽取同步到共享平台上，以应用接口、web访问、数据交换等方式对外提供信息共享服务。共享平台应严格按照《公安信息通信网边界接入平台安全规范(试行)》的要求进行网络互连和安全运行。
同时毕节市公安机关可利用的视频监控资源越来越多，但出于安全和应用方面的考虑，外网及社会专网视频资源没有接入公安内网，由此造成使用上的不便和资源的浪费。现在毕节市公安局为实现“资源共享、互联互控”、“视频监管一网控”，需依据公安部《公安信息
通信网边界接入平台安全规范（试行）--视频接入部分》建设视频接入链路。通过该链路的建设满足外部视频资源与公安网视频资源有机联网、整合共享，并且有效管理、灵活调用，同时满足下列需求：实时观看外网视频监控探头信息、实现对外网视频监控探头的控制、对视频接入业务进行集中监控、管理与审计。
本方案中术语和定义与《公安信息通信网边界接入平台安全规范》（简称《安全规范》）、《关于稳步开展公安信息资源共享服务工作的通知》（公信通[2007]187号）、《关于“部门间信息共享与服务平台”建设应用的指导意见》（公科信[2012]19号）、《公安信息通信网边界接入平台安全规范（试行）--视频接入部分》一致。
2业务需求
2.1项目现状
为了满足社会面与公安信息通信网进行信息采集与交换的业务需求。贵州省毕节市公安局已经建设了边界接入平台中的社会企事业接入链路、党政军机关接入链路、公安驻地外接入链路，该边界接入平台解决了公安边界接入业务的部分业务需求，取得了良好效益，发挥了重要作用。
随着毕节市公安局信息化建设的发展，现需要建设贵州省毕节市公安局部门间共享平台以及视频接入链路，主要增加公安机关及直属单位对外数据交换、查询比对、Web访问业务，以及外网视频资源安全接入公安内网，以满足日益增长业务需求。
2.2共享平台需求
2.2.1功能需求分析
贵州省毕节市公安局共享平台主要需要对党政军部门和经批准的党政军用户等接入对象提供查询比对、数据交换和Web访问等功能。
上述接入对象采用专线安全线路方式与贵州省毕节市公安局共享平台进行链接，在接入链路上不采用其他非安全的接入链路方式（如无线、互联网链路等），从链路层面保障共享平台的安全性。
查询比对功能通过数据交换方式实现其他部门、机构等对共享平台内的公安信息资源进行安全查询及比对功能，及时返回查询比对结果，并同时支持单条和批量的查询比对业务。
数据交换功能通过数据交换方式采集其他部门、机构的批量数据；通过数据交换向其他部门、机构提供批量数据。数据交换支持的数据类型包括：结构化数据库数据、非结构化数据（以文件型为主）等。
Web访问功能指的是经批准的党政军用户通过政法数字证书，以授权访问方式访问共享平台内对外开放的Web网站（页）等。
2.2.2性能需求分析
毕节市公安局共享平台性能需求主要体现在数据流量、关键设备性能和平台整体性能等方面，在满足性能要求的同时，具备一定的容量扩展性。
数据流量：其中查询比对类业务服务总流量要求为1000笔/秒，数据交换类业务预计业务流量为400Mbps，Web访问类业务预计业务流量为400Mbps。
关键设备性能：关键性安全设备在整个共享平台中发挥着重要的安全重用，其中查询比对类业务具有数据包小、并发大、延时低的特点，同时考虑突发大并发情况，关键安全设备的并发连接数应达到40万以上，最大并发连接数应大于50 万。
平台整体性能需保障平台基本性能及以后的扩展性，平台所有链路，尤其是数据交换链路需采用双千兆带宽，关键设备均采用千兆级以上设备。确保数据交换链路上的数据交换系统及网闸在不影响传输性能和数据传输质量的前提下，在支持多个接入业务的同时进行数据交换。
毕节市公安局共享平台在业务峰值时段，各设备的CPU、内存利用率低于70%。共享平台在满足数据量、并发连接数和链路带宽等要求的同时不影响平台整体传输性能和数据传输质量，并预留一定的扩展性。同时，共享平台需要确保接入业务的可靠性和稳定性，在紧急状态下，应具备一定处突及部分应用优先处理的能力。
2.2.3安全需求分析
安全需求主要体现在接入终端安全需求、服务器安全需求、网络安全需求、应用安全需求和数据安全需求等方面。
接入终端安全：对查询比对类、数据交换类业务的接入终端进行备案登记，支持对接入终端进行安全状况检测，防止安全不达标的终端设备接入。在Web访问类接入终端上安装终端安全监控和“一机两用”客户端，对接入终端的外设、进程等加强安全管理以及对接入终端的违规外联加强安全监测。
服务器安全：为确保共享平台内重要服务器自身的强壮性和安全性，对这些服务器都进行必要的安全加固或安全加强。
网络安全：共享平台在网络层划分不同的安全域，不同安全域间具有明显的边界，采用必要的安全隔离设备，对接入平台与公安信息通信网之间进行安全隔离。可采用VPN方式对数据或链路进行加密以对信息安全有特殊需求的信息传输进行安全保障。同时，共享平台应对平台内应用服务进行网络级访问控制，并对病毒木马、黑客入侵、抗DDoS攻击、漏洞扫描、异常流量等网络安全威胁具有监测和防护能力。
2.2.4管理需求分析
贵州省毕节市公安局共享平台是个复杂的安全系统，为了更好的发挥平台作用，保护公安网内资源安全，满足对共享平台的运行维护，需对共享平台进行有效的管理。
根据共享平台运行管理要求，依据“统一接入管理、统一运行监控、统一安全审计、统一策略部署”的原则。
对共享平台所有传输信息实现集中安全监测和审计，对各类异常报警信息进行分析。
对共享平台中的各类安全事件进行及时发现和定位，控制并消除各类安全威胁和隐患。
对共享平台进行集中监控和审计管理，实现注册审核、平台运行、设备维护、报警处臵、审计分析、数据通报等一系列管理功能，提供监控平台整体运行状况服务。
2.2.5扩展需求分析
共享平台是一个复杂的系统，接入业务是个逐步接入的过程。共享平台方案需具备可扩展性。在满足基本要求的前提下，主要满足平台在性能、功能、业务数、应用种类及存储等方面的扩展和延伸。2.3视频接入需求
2.3.1功能需求分析
毕节市公安局公安信息通信网视频接入业务主要是实现公安外网视频资源经视频接入链路安全可靠接入公安内网，实现从公安内网授权访问外网视频资源。该类业务具有以下特点：
实时监控：公安内网用户实时浏览外部视频信息；
探头控制：内网终端可操控外部的探头，使探头上下左右移
动，前后调节，以观察不同范围；
视频调阅：公安用户调阅外部视频服务器上的存储的历史视
频信息。
2.3.2性能需求分析
视频接入链路在性能上必须满足毕节市公安局视频接入业务的接入要求，主要体现在链路带宽、同时在线的用户数、业务数和网络吞吐量等方面。
2.3.3安全需求分析
视频信息接入在外部与公安内网进行信息传输的同时，将面临许多安全问题，如原来利用外网发动攻击的黑客也有可能通过伪装视频流方式传输蠕虫、木马等病毒，进而攻击内网；一些用户试图通过接入通道访问非授权资源；内网中某些中病毒的计算机，可能将内部人口及治安等重要且敏感信息泄露出去，进而直接影响公安工作的正常开展。
为此，视频接入链路通过采用视频安全接入系统，针对视频码流和视频信令的不同特性，在安全性上采用不同的策略，实现视频控制信令双向传输，视频数据单向传输，为视频接入提供了一条安全、高效的接入通道，保证了视频信息安全、可靠地传输。
2.3.4管理需求分析
根据公安网视频安全接入的运行管理要求，提供对视频接入应用和运行情况的监测、审计和管理，实现外网视频资源安全可靠的采集进入公安内网。
2.3.5扩展需求分析
视频接入链路是个逐步接入的过程，需具备可扩展性。主要需满足链路在性能、功能、业务数、应用种类等各方面的扩展和延伸。
3总体设计
3.1设计目标
针对共享平台各类业务与视频接入需求，设计一个技术先进、安全可靠、切实可行、管理方便的安全技术方案。建设贵州省毕节市公安局共享平台与视频接入链路，保障公安网的保密性、完整性和可用性，接入业务的可管理性、可控性；保障视频资源的有机联网、整合共享、有效管理、灵活调用；保障边界接入公安网的安全，以及相关网络和信息资源的安全；同时保障边界接入工作的高效稳定运行，解决和提高公安业务工作、信息共享、服务的能力和水平。
3.2设计思想
根据实际情况，充分认识到安全在边界接入中的重要性，正确处理发展与安全的关系，综合平衡成本与效益，建立安全、可靠、实用的贵州省毕节市公安局部门间信息共享平台和视频安全接入链路。
3.3设计依据
本方案依据以下文件或规范设计：
《关于印发<公安信息通信网边界接入平台安全规范（试行）>
的通知》（公信通[2007]191号）；
《关于稳步开展公安信息资源共享服务工作的通知》（公信通
[2007]189号）；
《关于做好社区和农村警务室接入公安信息网安全工作的通
知》（公信通[2007]15号）；
《关于进一步加强公安信息通信网日常安全管理工作机制建设的通知》（公信通传发[2008]109号）；
《关于公安信息通信网边界接入平台建设有关问题的通知》（公信通传发[2008]296号）；
《关于“部门间信息共享与服务平台”建设应用的指导意见》（公科信[2012]19号）；
《公安信息通信网边界接入平台安全规范（试行）--视频接入部分》。
3.4 总体架构设计
共享平台与视频接入链路依据《安全规范》，主要基于三重防护体系、两个基础设施的安全体系，构建路由接入区、边界保护区、安全隔离区、安全监测与管理区等五个不同的安全区域，构成分区域、分层次的纵深安全防御体系。
3.4.1 安全体系
接入平台安全体系设计由三重防护体系设计、两个基础设施设计构成。
图3-1接入平台安全体系图
三重防护体系设计：即应用环境安全设计、应用区域边界安全设计和网络通信安全设计。
应用环境安全设计：即确保终端和用户来源可信、可监控设计，操作系统安全加固设计，关键应用程序安全设计。
应用区域边界安全设计：主要涉及网络及应用系统边界安全方面，通过身份认证、访问控制技术，确保对应用系统的访问是通过细粒度控制下的合法访问者。
链路与网络通信安全设计：主要涉及链路及网络安全方面，采用数据机密性与完整性保护技术，建立端到端传输的安全机制。
两个基础设施设计：即公安PKI/PMI基础设施，安全监测与管理基础设施。
公安PKI/PMI基础设施设计：实施公安数字身份证书的产生、管理、存储、分发和撤销等功能，是实现接入平台身份认证、授权管理、访问控制策略等安全机制的基础。
安全监测与管理基础设施设计：实现整个平台的安全监测、管理与运行维护。
3.4.2体系结构
3.4.2.1共享平台体系结构
根据需求分析及公安部相关规范的要求，贵州省毕节市公安局共享平台在体系结构设计上由路由接入区、边界保护区、应用服务区、安全隔离区、安全监测与管理区等五部分组成，如下图：
图3-2边界接入平台体系结构图
3.4.2.1.1路由接入区
该区域实现各个外部链路与接入平台间连接。
该区域主要安全功能为：实现路由访问控制，将来自不同接入对象或不同外部链路的数据流按照接入平台的安全策略加以区分。
3.4.2.1.2边界保护区
该区域主要实现对接入平台的边界保护。
该区域主要安全功能为：实现网络级身份认证、访问控制和权限管理，数据机密性和完整性保护，防御网络攻击和嗅探。
3.4.2.1.3应用服务区
该区域主要处理各类与应用相关的操作，是公安网对外信息发布、信息采集、数据交换的中间区域。
该区域主要安全功能为：作为外部终端网络连接的终点，实现应
用级身份认证、访问控制、应用代理、数据暂存等功能，防止对公安
网的非法访问和信息泄露。对此区域，应加强对服务器等设备的安全保护，应具有病毒、木马防护功能，防止病毒传播与非法控制。
3.4.2.1.4安全隔离区
该区域实现公安网与应用服务区的安全隔离与信息交换。
该区域主要安全功能为：实现公安网与应用服务区的安全网络隔离，根据安全策略，对出入公安网的数据分别进行协议剥离、格式检查和过滤，实现公安网和应用服务区之间的安全数据交换，保障公安网的安全。
3.4.2.1.5安全监测与管理区
该区域实现整个接入平台的安全监测、管理与维护。
该区域主要安全功能为：对接入平台运行情况进行安全监测与审计，对接入平台及业务信息进行注册管理、各种安全策略管理、流量监测、统计分析、安全审计等；对接入平台内网络设备、安全设备进行配臵管理及日常运行维护，补丁升级、漏洞扫描与病毒防范。
3.4.2.2视频接入体系结构
根据视频安全接入的业务需求及公安部相关规范的要求，视频安全接入链路在体系结构上由路由接入区、边界保护区、应用服务区、安全隔离区、安全监测与管理区等五部分组成。如图所示：
接入对象
外部接入链路边界接入平台视频接入链路公安信息通信网图3-3视频接入链路体系结构图
3.4.2.2.1 路由接入区
该区域实现各个外部接入链路与视频安全接入链路前端设备的连接。
该区域主要安全功能为：实现路由访问控制，将来自不同接入对象或不同外部链路的数据流按照相关安全策略加以区分。
3.4.2.2.2 边界保护区
该区域主要实现对边界接入平台视频安全接入链路的边界保护。 该区域主要安全功能为：实现网络级身份认证、访问控制和权限管理，数据机密性和完整性保护，防御网络攻击和嗅探。
3.4.2.2.3 应用服务区
该区域主要处理各类与应用相关的操作，是公安信息通信网对外信息发布、信息采集、数据交换的中间区域。
该区域主要安全功能为：作为外部终端网络连接的终点，实现应用级身份认证、访问控制、应用代理、数据暂存等功能，防止对公安
信息通信网的非法访问和信息泄露。对此区域，应加强对服务器等设备的安全保护，应具有病毒、木马防护功能，防止病毒传播与非法控制。
3.4.2.2.4安全隔离区
该区域实现公安信息通信网与应用服务区的安全隔离与信息交换。
该区域主要安全功能为：实现公安信息通信网与应用服务区的安全网络隔离，根据安全策略，对出入公安信息通信网的数据分别进行协议剥离、格式检查和过滤，实现公安信息通信网和应用服务区之间的安全数据交换，保障公安信息通信网的安全。
3.4.2.2.5安全监测与管理区
该区域实现整个视频安全接入链路的安全监测、管理与维护。
该区域主要安全功能为：对视频接入链路的运行情况进行安全监测与审计，对接入平台及业务信息进行注册管理、各种安全策略管理、流量监测、统计分析、安全审计等；对视频接入链路内网络设备、安全设备进行配臵管理及日常运行维护，补丁升级、漏洞扫描与病毒防范。该区域对视频安全接入链路运行安全监测与审计的功能统一由“集中监”控管理与审计系统实现。
3.5监测与管理区设计
3.5.1探针及监管功能设计
贵州省毕节市公安局共享平台与视频接入链路的监测与管理区域主要实现对本级平台整体运行状况的集中监管、安全审计、注册管理与级联监控等功能。
3.5.2级联监控管理设计
按《安全规范》要求，需对共享平台与视频接入链路进行级联监控。通过部、省、市三级平台级联监控体系提供各边界接入平台的运行维护情况、日常业务流量、安全状况等动态信息，为深入分析接入平台及业务运行状态与安全趋势提供依据。
依据级联的统一规范和接口，在部、省、市三级边界接入平台间逐步开展和实现主动双向式监管。上级边界接入平台可通过监控级联接口，主动监测下级边界接入平台中各关键节点的各种详细基础数据。同时，部、省、市三级单位关于接入平台业务管理流程也通过此监控接口来实现双向的信息交互等。
数据共享交换平台解决方案 1. 概述 在我国，政府职能正从管理型转向管理服务型，如何更好地发挥政府部门宏观管理、综合协调的职能，如何更加有效地向公众提供服务，提高工作效率、打破信息盲区、加强廉政建设 已成为当前各级政府部门普遍关注和亟待解决的问题。国家“十五”计划纲要要求“政府行政管理 要积极运用数字化、网络化技术，加快信息化进程”。各级政府、行政管理部门都面临着利用 信息技术推动政务工作科学化、高效率的新局面。 随着电子政务建设的不断发展，政府拥有越来越多的应用数据，如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程，实现分布在各类政府部门和各级政府机关 的信息资源的有效采集、交换、共享和应用，是电子政务建设的更高级的阶段和核心任务。 信息资源只有交流、共享才能被充分开发和利用，而只有打破信息封闭，消除信息“荒岛” 和“孤岛”，也才能创造价值。目前各级政府都在进行政务资源数据的“整合”，但“整合”什么？ 如何“整合”？“整合”后做什么？将是摆在政府各级领导面前的首要问题。 北京华迪宏图信息技术有限公司凭借自身丰富的电子政务建设经验、自主创新的技术研发优势，为各级政府机构的实际需求提供了政务资源整合的综合解决方案——华迪宏图数据共享 交换平台。 2. 电子政务总体框架 华迪宏图数据共享交换平台总体框架如下： 由上图可以看出，华迪宏图数据共享交换平台交换体系共分为六个层次，分别是安全和标准体系、网络基础设施、信息资源中心、共享交换平台、应用层和展示层。 （1）展示层 通过建立综合信息集成门户系统为用户提供统一的用户界面，信息和应用通过门户层实现统一的访问入口和集中展现。 （2）应用层
毕节市公安局 公安网边界接入平台（部门间信息共享平台、视频接入链路） 建 设 方 案 上海辰锐信息科技公司 2013年10月
目录 1建设背景 (4) 2业务需求 (6) 2.1项目现状 (6) 2.2共享平台需求 (6) 2.2.1功能需求分析 (6) 2.2.2性能需求分析 (7) 2.2.3安全需求分析 (8) 2.2.4管理需求分析 (9) 2.2.5扩展需求分析 (9) 2.3视频接入需求 (9) 2.3.1功能需求分析 (9) 2.3.2性能需求分析 (10) 2.3.3安全需求分析 (10) 2.3.4管理需求分析 (11) 2.3.5扩展需求分析 (11) 3总体设计 (12) 3.1设计目标 (12) 3.2设计思想 (12) 3.3设计依据 (12) 3.4总体架构设计 (13) 3.4.1安全体系 (13) 3.4.2体系结构 (14) 3.5监测与管理区设计 (18) 3.5.1探针及监管功能设计 (18) 3.5.2级联监控管理设计 (19) 4总体方案 (20) 5功能设计 (22) 5.1共享平台功能设计 (22) 5.1.1查询比对类 (22) 5.1.2数据交换类 (22) 5.1.3Web访问类 (24) 5.2视频接入功能设计 (24) 6安全设计 (26) 6.1共享平台安全设计 (26) 6.1.1查询比对类 (26) 6.1.2数据交换类 (27) 6.1.3Web访问类 (27) 6.2视频接入安全设计 (28) 6.2.1数据接收 (28) 6.2.2数据检查 (29) 6.2.3数据传输 (29)
6.2.5授权访问 (30) 7管理设计 (31) 7.1监管功能 (31) 7.2级联功能 (33) 8设备介绍 (34) 8.1可信边界安全网关 (34) 8.2网络数据交换 (35) 8.3视频安全接入系统 (35) 8.4集中监控与审计系统 (37) 9共享平台功能 (38) 9.1共享平台架构 (38) 9.2内、外网门户网站 (40) 9.2.1单点登陆 (40) 9.2.2统一用户管理 (40) 9.2.3页面定制 (40) 9.2.4信息公告 (41) 9.2.5应用导航 (41) 9.2.6应用统计 (41) 9.3内、外网应用服务系统 (42) 9.3.1可视化业务配置器 (42) 9.3.2标准的Web 服务接口 (42) 9.3.3信息查询 (42) 9.3.4数据核查 (43) 9.3.5数据比对 (43) 9.3.6数据上传下载 (43) 9.3.7共享痕迹留存 (43) 9.3.8数据权限控制 (44) 9.3.9服务门户定制 (44) 9.3.10监控与管理 (44) 9.4数据采集系统 (45) 9.5数据集成系统 (46) 9.6平台管理监控系统 (48) 9.6.1注册管理 (48) 9.6.2用户管理 (48) 9.6.3监控与审计 (48) 9.6.4查询统计 (50) 9.7扩展功能设计 (50) 10共享平台数据处理设计 (52) 10.1数据库设计 (52) 10.2数据标准管理 (52) 10.3数据处理过程 (53) 10.4数据采集 (54) 10.4.1数据采集方式 (54)
数据交换共享整合协同平台设计
整合协同平台的主要功能是从其它子系统中提取共享数据，并对多来源渠道的、相互不一致的数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织，以保证数据间关系的正确性、可理解性并避免数据冗余；以各种形式提供数据服务，采用分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用性；维护基础信息、动态业务数据以及系统管理配置参数；支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分： 第一部分，基础数据和共享数据的交换服务和路由流程管理，该部分是交换平台的基础，包括：静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。 第二部分，各子系统之间的接口实现，根据事先制订好的规范、标准，实现各子系统之间的数据共享和传输操作。在接入中心平台时，应按系统集成要求设计系统结构，各类数据接口遵循系统集成规范。
第一章中心平台设计 1.1 平台功能结构 整合协同平台服务器是公共基础平台的核心部分，XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成，解决数据采集、更新、汇总、分发、一致性等数据交换问题，解决按需查询、公共数据存取控制等问题。 各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据，也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下： 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。 结合工作流的协调数据服务。
数据共享交换平台解决方案 1、概述 目前，政府职能正从管理型转向管理服务型，如何更好地发挥政府部门宏观管理、综合协调的职能，如何更加有效地向公众提供服务，提高工作效率、打破信息盲区、加强廉政建设已成为当前各级政府部门普遍关注和亟待解决的问题。国家“十五”计划纲要要求“政府行政管理要积极运用数字化、网络化技术，加快信息化进程”。各级政府、行政管理部门都面临着利用信息技术推动政务工作科学化、高效率的新局面。 随着电子政务建设的不断发展，政府拥有越来越多的应用数据，如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程，实现分布在各类政府部门和各级政府机关的信息资源的有效采集、交换、共享和应用，是电子政务建设的更高级的阶段和核心任务。信息资源只有交流、共享才能被充分开发和利用，而只有打破信息封闭，消除信息“荒岛”和“孤岛”，也才能创造价值。目前各级政府都在进行政务资源数据的“整合”，但“整合”什么？如何“整合”？“整合”后做什么？将是摆在政府各级领导面前的首要问题。 2、电子政务总体框架
由上图可以看出，数据共享交换平台交换体系共分为六个层次，分别是安全和标准体系、网络基础设施、信息资源中心、共享交换平台、应用层和展示层。 （1）展示层 通过建立综合信息集成门户系统为用户提供统一的用户界面，信息和应用通过门户层实现统一的访问入口和集中展现。 （2）应用层 应用层提供满足面向各类用户依据实际需求开展业务的需要。如支撑城市应急联动应用、辅助领导决策应用、城市管理应用、社会救助应用等。 （3）共享交换平台层 共享交换平台层为城市数据共享交换平台所在位置，连接各类应用和应用所需的信息资源，组织和整合各类数据、组件和服
数据交换共享中心设计方案
整合协同平台的主要功能是从其它子系统中提取共享数据，并对多来源渠道的、相互不一致的数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织，以保证数据间关系的正确性、可理解性并避免数据冗余；以各种形式提供数据服务，采用分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用性；维护基础信息、动态业务数据以及系统管理配置参数；支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分： 第一部分，基础数据和共享数据的交换服务和路由流程管理，该部分是交换平台的基础，包括：静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。 第二部分，各子系统之间的接口实现，根据事先制订好的规范、标准，实现各子系统之间的数据共享和传输操作。在接入中心平台时，应按系统集成要求设计系统结构，各类数据接口遵循系统集成规范。
第一章中心平台设计 1.1 平台功能结构 整合协同平台服务器是公共基础平台的核心部分，XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成，解决数据采集、更新、汇总、分发、一致性等数据交换问题，解决按需查询、公共数据存取控制等问题。 各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据，也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下： 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。 结合工作流的协调数据服务。
目录 第一章保证项目的质量的实施方案 (4) 1.1.实施内容与进度安排 (4) 1.1.1.实施内容 (4) 1.1.2.工程工期 (4) 1.1.3.工程计划进度图 (5) 1.1.4.软件开发各阶段任务说明 (5) 1.2.实施说明 (6) 1.2.1.指导思想 (6) 1.2.2.实施策略 (6) 1.2.3.实施原则 (7) 1.3.项目实施组织机构及人员组成 (8) 1.3.1.项目实施组织机构 (8) 1.3.2.项目组职能划分 (9) 1.4.项目重要里程碑 (12) 1.4.1.指导思想 (12) 1.4.2.项目责任矩阵 (13) 1.5.项目实施管理 (15) 1.5.1.项目实施管理内容 (15) 1.5.2.项目实施管理的主要方式 (17) 1.5.3.项目沟通体系概述 (18) 1.5.4.沟通需求概要分析 (18) 1.5.5.信息收集和文件归档 (19)
1.5.6.信息发送和传递结构 (19) 1.5.7.信息访问和获得结构 (20) 1.5.8.项目执行和绩效报告 (21) 1.5.9.项目收尾和验收 (21) 1.6.软件质量控制及技术保障 (22) 1.6.1.制定开发规范 (22) 1.6.2.合理的人员构成与管理 (22) 1.6.3.严格控制开发进度 (23) 1.6.4.软件设计要依据业务规范 (23) 1.6.5.重视应用（产品）设计 (24) 1.7.项目安装、测试 (25) 1.7.1.安装调试、测试环境 (25) 1.7.2.系统安装 (25) 1.7.3.系统测试 (25) 第二章投标人建议的部署、调试、验收方法和方案 (26) 2.1.系统部署 (26) 2.1.1.数据交换平台部署方案 (26) 2.2.系统安装措施 (27) 2.2.1.应用开发定制与升级模块 (27) 2.2.2.应用软件系统的安装 (27) 2.2.3.系统软件的安装 (28) 2.3.调试验收方法 (28) 2.3.1.验收依据 (29) 2.3.2.验收前期准备工作 (30)
目录 第一章需求分析和项目建设的必要性 (4) 1.1 项目建设目标、容 (4) 1.1.1 项目建设目标 (4) 1.1.2 项目建设容 (4) 1.2 编制依据 (5) 1.3 与政务职能相关的社会问题和政务目标分析 (6) 1.3.1 社会问题分析 (6) 1.3.2 政务目标分析 (8) 1.4 业务功能、业务流程和业务量分析 (11) 1.4.1 用户角色分析 (11) 1.4.2 业务功能分析 (12) 1.4.3 业务流程 (14) 1.4.4 业务量分析 (14) 1.5 信息量分析和预测 (15) 1.5.1 存储量分析 (15) 1.5.2 处理量分析 (19) 1.5.3 网络流量分析 (20) 1.6 系统功能和性能需求分析 (20) 1.6.1 系统功能指标 (20) 1.6.2 系统性能指标 (22) 1.7 信息系统装备和应用现状与差距 (22) 1.7.1 现状 (22) 1.7.2 差距 (23) 1.8 项目建设的必要性 (23) 第二章总体建设方案 (26) 2.1 建设原则 (26) 2.1.1 统一性原则 (26) 2.1.2 可靠性原则 (26) 2.1.3可伸缩和可扩展性原则 (26) 2.1.4 开放性原则 (27) 2.1.5 安全性原则 (27) 2.1.6 高效性原则 (27) 2.1.7 友好性原则 (27) 2.1.8 可管理易维护性 (28)
2.2 总体目标与分期目标 (28) 2.3 总体建设任务与分期建设容 (29) 2.4 总体设计方案 (30) 2.4.1 基础设施层 (32) 2.4.2 信息资源层 (33) 2.4.3 应用支撑层 (34) 2.4.4 应用层 (34) 2.4.5 服务层 (34) 2.4.6 安全保障体系 (34) 2.4.7 标准规体系 (35) 第三章项目建设方案 (36) 3.1 标准规建设 (36) 3.1.1 管理制度建设 (36) 3.1.2 标准规建设 (40) 3.1.3 数据标准建设 (43) 3.1.4 标准规索引 (46) 3.2 信息资源规划和数据库设计 (47) 3.2.1 信息资源规划 (47) 3.2.2 数据中心建设 (53) 3.3 门户系统建设 (69) 3.3.1 信息资源政务门户 (69) 3.3.2 信息资源开放门户 (73) 3.4 应用系统建设 (74) 3.4.1 数据汇聚平台 (74) 3.4.2 数据治理平台 (89) 3.4.3 数据运营平台 (102) 3.4.4 数据应用平台 (104) 3.5 四大基础数据库管理平台 (108) 3.5.1 人口库 (108) 3.5.2 法人库 (111) 3.5.3 经济库 (114) 3.5.4 地理库 (115) 3.6 应用支撑系统设计 (116) 3.6.1 统一用户管理 (116) 3.6.2 统一应用管理 (120) 3.6.3 统一服务管理 (121) 3.6.4 统一消息服务 (123) 3.6.5 统一日志服务 (124)
企业视频网站建设企业视频资源交换与共享解决方案
企业视频资源的交换与共享实施方案 前言： 流媒体在企业信息化建设中，企业视频资源管理平台（主要的应用形式为视频直播和视频点播）建设的重要性越来越突显。经过流媒体技术进行直播，将企业办公会议、产品介绍、庆典活动实况、培训课程、电视节目等视频信息，实时传输到企业视频网站，使得企业办公网内的用户能够实现随时随地的了解产品信息，会议发言精神、庆典实况以及电视节目信息等等；而经过流媒体技术的录播技术，将直播的信息直接存储下来，存放在企业视频网站中，经过视频点播的形式，供员工或领导日后的学习、观摩、研究、回顾等。流媒体技术协助企业实现视频资源的交换与共享的有效及高效化。 流媒体技术的应用，使得企业的生产和办公、文化信息在读报告、看报表之外，能以更加灵活、丰富的形式表现在广大员工，信息传达效率大幅提高。未来，随着网络技术、信息技术、多媒体技术的发展，流媒体的应用领域还将不断扩展，必然推动企业不断前进和变革。 1.下面就企业流媒体信息化建设/企业视频网站建设的主要应用形式进行详细介绍： 1.1 视频新闻 （1）提供相关新闻服务，建立新闻资讯平台 收集整理相关的新闻资讯，以图片、文字、视频新闻的形式展现出来。提供直接的视频观看窗口，建立综合视频新闻平台，可供用户查询、观看等。视频新闻提供后台的编辑、发布功能，使流媒体平台具有多样化的表现
形式，切实满足行业内的相关新闻发布需求。 （2）提供电视频道直播服务，实现实时播放直播新闻 建立新闻直播频道，视频广凌支持现场直播和同步录制编辑功能，能够把新闻实时录制成流媒体文件并自动存档，方便用户以后查询观看编辑。 1.2 视频资源库 （1）轻松建立视频资源库，提供便捷的搜索服务 视频广凌协助企业宣传管理部门建立视频资源库，可将企业内所有的文化宣传、技能职能学习视频、企业活动视频资源等进行整理编排、集中管理，建立清晰的视频资源分类。有条理地分配好视频资源，方便领导和员工以最便捷的方式观看和学习。 （2）完善的权限管理功能，给予不同用户相应的管理和观看权限 管理人员还能对用户以及某些视频资源进行观看权限的设置。根据用户的不同，为领导、管理者、员工、家属等不同的用户提供不同的专属服务。 1.3 视频培训与考核 （1）实现员工专业培训，随时观看学习 将技能职能培训课程做成流媒体格式的文件，放在企业视频网站上供员工点播。利用流媒体技术做培训，方便企业员工利用空闲时间学习。这种灵活的培训形式不但能节省企业的培训资费与培训时间，而且还能调动员工的学习积极性使得员工实力更宏厚。 （2）视频培训考核更便捷 考核管理员能够检查员工是否观看了应该学习的视频课程，同时能够根据员工对学习视频的反馈进行不断的完善培训视频。技能操作类型的员工还
数据共享与交换平台解 决方案 HEN system office room 【HEN16H-HENS2AHENS8Q8-HENH1688】
数据共享与交换平台解决方案 一、方案概述 随着信息社会的到来，计算机网络环境和分布处理技术的深入发展。信息系统中的数据源所呈现的形式也日益繁多，在这些数据中有模式固定的结构化数据，也有无模式的无序数据。这种无论是已知确定来自数据库的数据或是来自网络上的各式各样结构不固定、不完全或不规则的数据，都给信息系统在向国民经济信息化发展的过程中产生了很大的障碍。因此，完成不同数据的共享与交换成为各个企业与部门进行信息交换时所必须要解决的重要问题。主要原理如下图： 二、主要工具 1.工具简介 数据集成的目的就是要运用一定的技术手段将系统中的数据按一定的规则组织成为一个整体，使得用户能有效地对其进行操作。数据处理的对象是系统中的各种异构数据库中的数据或者无格式数据，而数据集成的主要过程则是建立完善的数据仓库，以及采用数据挖掘技术获取更多数据信息。ETL作为数据库级的数据集成工具，擅长大量数据的迁移，能从多个数据源中抽取数据，然后进行数据转换和加载，最终得到统一的、完备的主题数据库或数据仓库，原来分散的应用仍独立运作。ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转换、加载。 数据抽取：从源数据源系统抽取目的数据源系统需要的数据； 数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和 加工。 数据加载：将转换后的数据装载到目的数据源。 ETL原本是作为构建数据仓库的一个环节，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。一个简单的ETL体系结构如图所示。 2.ETL关键技术 数据抽取 数据抽取是从数据源中抽取数据的过程。实际应用中，数据源较多采用的是关系数据库。从数据库中抽取数据一般有 以下几种方式： 全量抽取：全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出 来，并转换成自己的ETL工具可以识别的格式。 增量抽取：增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量 抽取较全量抽取应用更广。目前增量数据抽取中常用的捕获变化数据的方法有：触发器、时间戳、全表比对、日志 对比。 数据转换和加工 从数据源中抽取的数据不一定完全满足目的库的要求，例如数据格式的不一致、数据输入错误、数据不完整等等，因此有必要对抽取出的数据进行数据转换和加工。数据的转换和加工可以在ETL引擎中进行，也可以在数据抽取过 程中利用关系数据库的特性同时进行。相比在ETL引擎中进行数据转换和加工，直接在SQL语句中进行转换和加工更加 简单清晰，性能更高。对于SQL语句无法处理的可以交由ETL引擎处理。 数据装载 将转换和加工后的数据装载到目的库中通常是ETL过程的最后步骤。装载数据的最佳方法取决于所执行操作的类型以及需要装入多少数据。当目的库是关系数据库时，一般来说有两种装载方 式：1）直接SQL语句进行insert、update、delete操作；2）采用批量装载方法，如bcp、bulk、 关系数据库特有的批量装载工具或api。 3.主流ETL工具
公共数据资源共享交换平台 项目建设方案 深圳市广通软件有限公司 2016年9月
目录 目录 (2) 第一章项目建设背景 (3) 第二章项目建设内容 (4) 2.1信息资源共享交换标准规范体系 (4) 2.2政务信息安全与支撑体系 (5) 2.3公共信息资源共享交换平台 (5) 2.4四大信息资源基础数据库错误!未定义书签。第三章技术优势 (8) 第四章建设投资匡算 (9) 4.1投资匡算范围 (9) 4.2投资匡算明细表 (10) 第五章建设实施规划 (11) 5.1实施基本程序 (11) 5.2实施基本原则 (12) 第六章建设进度安排 .......... 错误!未定义书签。第七章建设组织保障 . (14) 第八章项目的经济社会效益 (14)
1、“十二五”时期是全面建设小康社会的关键时期，是深化改革开放、加快转变经济发展方式的攻坚时期。城市经济区建设上升为国家战略，将为加快城市全面振兴注入强大的发展动力。“信息惠民”建设更是提升了城市的发展规划能力，提升公共设施水平，提高城市运行管理能力，提高公共服务质量，实现科学发展，打造和谐幸福新城市的有效途径。能够激发新兴业态活力、助推产业做大做强。对城市“十二五”建设具有战略意义。 2、“信息惠民”将围绕城乡一体化发展、城市可持续发展、民生核心需求，将先进信息技术与先进的城市经营服务理念进行有效融合，通过对城市的地理、资源、环境、经济、社会等系统进行智慧网络化管理。对城市基础设施、基础环境、生产生活相关产业和设施的多方位数字化、信息化、智能化的实时处理与利用。构建以政府、企业、民生为三大主体的交互、共享平台，为城市治理与运营提供更简捷、高效、灵活的决策支持与行动手段，为城市公共管理与服务提供更便捷、高效、灵活的创新应用与服务模式。推动新型城镇化发展及工业化、信息化、农业现代化的同步发展，最终形成技术集成、综合应用、高端发展的网络化、信息化、智能化的现代化新型城区。
数据交换共享中心设计方案整合协同平台的主要功能是从其它子系统中提取共享数据，并对多来源渠道的、相互不一致的数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织，以保证数据间关系的正确性、可理解性并避免数据冗余；以各种形式提供数据服务，采用分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用性；维护基础信息、动态业务数据以及系统管理配置参数；支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台根据功能可分为两个部分： 第一部分，基础数据和共享数据的交换服务和路由流程管理，该部分是交换平台的基础，包括：静态交换数据、动态交换数据、图形数据及表格、统计资料等属性数据。 第二部分，各子系统之间的接口实现，根据事先制订好的规范、标准，实现各子系统之间的数据共享和传输操作。在接入中心平台时，应按系统集成要求设计系统结构，各类数据接口遵循系统集成规范。
第一章中心平台设计 1.1 平台功能结构 整合协同平台服务器是公共基础平台的核心部分，XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中心和各业务部门的数据交换服务器、数据接口系统共同组成，解决数据采集、更新、汇总、分发、一致性等数据交换问题，解决按需查询、公共数据存取控制等问题。 各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据，也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下： 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。 结合工作流的协调数据服务。 功能流程说明： 数据供需方的接口数据系统：为了满足应用层交换和数据层交换，交换代理必须有应用层和数据层的连接和接口适配功能，数据代理必须有数据格式的转换功能。 数据传输：为了保证数据的正确传输和传输性能，必须有传输管理功能，包括了传输协议管理和控制，传输过程控、数据传输加密、压缩、网络故障检测和连接共享等功能。 数据整合协同平台： 会话管理：为了能提供数据的交换方式如主动（推）、被动（拉）；支持定时和实时策略，支持超时控制管理等功能，数据交换平台必须有会话策略、会话控制和管理功能。
... 数据交换共享整合协同平台设计
整合协同平台的主要功能是从其它子系统中提取共享数据，并对多来源渠道的、相互不一致的数据进行数据融合处理；基于数据字典对实时数据和历史数据进行组织，以保证数据间关系的正确性、可理解性并避免数据冗余；以各种形式提供数据服务，采用分层次的方法对各类用户设置权限，使不同用户既能获得各自所需要的数据，又能确保数据传输过程的安全性及共享数据的互操作性和互用性；维护基础信息、动态业务数据以及系统管理配置参数；支撑系统的网络构架、信息安全、网络管理、流程管理、数据库维护和备份等运维能力。整合协同平台 根据功能可分为两个部分： 第一部分，基础数据和共享数据的交换服务和路由流程管理，该部分是交换平台的基础，包括：静态交换数据、动态交换数据、图形数据及表格、统计资料 等属性数据。 第二部分，各子系统之间的接口实现，根据事先制订好的规范、标准，实现 各子系统之间的数据共享和传输操作。在接入中心平台时，应按系统集成要求设计系统结构，各类数据接口遵循系统集成规范。
第一章中心平台设计 1.1平台功能结构 整合协同平台服务器是公共基础平台的核心部分，XMA整合协同平台提供一整套规范的、高效的、安全的数据交换机制。XMA整合协同平台由部署在数据中 心和各业务部门的数据交换服务器、数据接口系统共同组成，解决数据采集、更新、汇总、分发、一致性等数据交换问题，解决按需查询、公共数据存取控制等 问题。 各业务子系统都要统一使用XMA整合协同平台进行数据交换。数据中心统一管理和制定数据交换标准。各业务部门通过数据级整合或者应用级整合通过XMA 整合协同平台向数据中心提供数据，也通过XMA整合协同平台访问共享数据。 XMA整合协同平台的基本功能如下： 共享数据库的数据采集、更新、维护。 业务资料库、公共服务数据库的数据采集。 提供安全可靠的共享数据服务。 业务部门之间的业务数据交换。 结合工作流的协调数据服务。
数据共享与交换平台解决方案 、方案概述随着信息社会的到来，计算机网络环境和分布处理技术的深入发展。信息系统中的数据源所呈现的形式也日益繁多，在这些数据中有模式固定的结构化数据，也有无模式的无序数据。这种无论是已知确定来自数据库的数据或是来自网络上的各式各样结构不固定、不完全或不规则的数据，都给信息系统在向国民经济信息化发展的过程中产生了很大的障碍。因此，完成不同数据的共享与交换成为各个企业与部门进行信息交换时所必须要解决的重要问题。主要原理如下图： 、主要工具 1. 工具简介数据集成的目的就是要运用一定的技术手段将系统中的数据按一定的规则组织成为一个整体，使得用户能有效地对其进行操作。 数据处理的对象是系统中的各种异构数据库中的数据或者无格式数据，而数据集成的主要过程则是建立完善的数据仓库，以及采用数据挖掘技术获取更多数据信息。ETL作为数据库级的数据集成工具，擅长大量数据的迁移，能从多个数据 源中抽取数据，然后进行数据转换和加载，最终得到统一的、完备的主题数据库或数据仓库，原来分散的应用仍独立运作。 ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转换、加载。 数据抽取：从源数据源系统抽取目的数据源系统需要的数据； 数据转换：将从源数据源获取的数据按照业务需求，转换成目的数据源要求的形式，并对错误、不一致的数据进行清洗和 加工。 数据加载：将转换后的数据装载到目的数据源。 ETL原本是作为构建数据仓库的一个环节，负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中 间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。一个简单的ETL 体系结构如图所示。 2. ETL关键技术 数据抽取数据抽取是从数据源中抽取数据的过程。实际应用中，数据源较多采用的是关系数据库。从数据库中抽取数据一般有以 下几种方式： 全量抽取：全量抽取类似于数据迁移或数据复制，它将数据源中的表或视图的数据原封不动的从数据库中抽取出来，并转换 成自己的ETL 工具可以识别的格式。 增量抽取：增量抽取只抽取自上次抽取以来数据库中要抽取的表中新增或修改的数据。在ETL使用过程中。增量抽 取较全量抽取应用更广。目前增量数据抽取中常用的捕获变化数据的方法有：触发器、时间戳、全表比对、日志对比。数据转换和加工 从数据源中抽取的数据不一定完全满足目的库的要求，例如数据格式的不一致、数据输入错误、数据不完整等等，因此有必要对抽取出的数据进行数据转换和加工。数据的转换和加工可以在ETL引擎中进行，也可以在数据抽取过程中利 用关系数据库的特性同时进行。相比在ETL引擎中进行数据转换和加工，直接在SQI语句中进行转换和加工更加简单清晰，性能更高。对于SQL语句无法处理的可以交由ETL引擎处理。 数据装载 将转换和加工后的数据装载到目的库中通常是ETL过程的最后步骤。装载数据的最佳方法取决于所执行操作的类型以及需要装入多少数据。当目的库是关系数据库时，一般来说有两种装载方式：1) 直接SQL语句进行insert、update、delete操作；2)采用批量装载方法，如bcp、bulk、关系数据库特有的批量装载工具或api 。 3. 主流ETL工具 ETL工具从厂商来看分为两种，一种是数据库厂商自带的ETL工具，如Oracle warehouse builder >Oracle Data Integrator 。另外一种是第三方工具提供商，如Kettle 。 Oracle Data Integrator （ODI）：ODI主要定位于在ETL和数据集成的场景里使用，ODI能够检测事件，一个事件可以触发 ODI的一个接口流程，从而完成近乎实时的数据集成。ODI的主要功能特点有：使用CD*为变更数据捕获的捕获方式、代
政府数据共享交换平台设计 解决方案
目录 第一章概述 (6) 1.1平台建设背景 (6) 1.2应用场景 (8) 1.3术语介绍 (10) 1.4编制依据及参考资料 (12) 第二章必要性、可行性及效益分析 (13) 2.1必要性分析 (13) 2.2可行性分析 (13) 2.3效益分析 (13) 第三章建设目标、思路及原则 (15) 3.1建设目标 (15) 3.2建设思路 (16) 3.3建设原则 (16) 第四章关键问题解析 (17)
4.1数据交换平台能解决什么问题 (17) 4.2数据交换平台与业务应用的关系 (17) 4.3数据交换平台无法解决实时性的业务需求 (18) 第五章总体设计 (19) 5.1系统总体结构 (19) 5.2系统逻辑结构 (19) 5.3系统物理结构 (20) 第六章数据交换平台功能设计 (22) 6.1交换中心管理系统 (22) 6.2接入管理系统 (25) 6.3交换前置子系统 (28) 6.4交换桥接子系统 (30) 6.5运行监控平台 (32) 6.6系统管理 (34) 第七章交换平台安全设计 (37)
7.1威胁与风险分析 (37) 7.2安全需求分析 (38) 7.3身份认证和授权管理设计 (39) 7.4数字证书认证 (41) 7.5数据交换过程的安全保障 (42) 第八章数据交换中间件选型 (43) 8.1数据交换中间件技术要求 (43) 8.2东方通中间件介绍 (48) 8.3易达讯中间件介绍 (48) 第九章本期主题应用开发 (49) 第十章后续主题应用开发及拓展 (50) 10.1政务资源目录管理系统 (50) 10.2基础信息库 (50) 10.3领导决策支持系统 (50) 10.4网上联合/协同审批 (50)
数据共享交换平台解决方案 1概述 目前，政府职能正从管理型转向管理服务型，如何更好地发挥政府部门宏观管理、综合协调的职能，如何更加有效地向公众提供服务，提高工作效率、打破信息盲区、加强廉政建设已成为当前各级政府部门普遍关注和亟待解决的问题。国家“十五”计划纲要要求“政府行政管理要积极运用数字化、网络化技术，加快信息化进程”。各级政府、行政管理部门都面临着利用信息技术推动政务工作科学化、高效率的新局面。 随着电子政务建设的不断发展，政府拥有越来越多的应用数据，如何建立政府信息资源采集、处理、交换、共享、运营和服务的机制和规程，实现分布在各类政府部门和各级政府机关的信息资源的有效采集、交换、共享和应用，是电子政务建设的更高级的阶段和核心任务。信息资源只有交流、共享才能被充分开发和利用，而只有打破信息封闭，消除信息“荒岛”和“孤岛”，也才能创造价值。目前各级政府都在进行政务资源数据的“整合”，但“整合”什么？如何“整合”？“整合”后做什么？将是摆在政府各级领导面前的首要问题。 2、电子政务总体框架
「 -------- 1 r --------------- : I --------------- 1 I ------------- 1 t -------------- ；社金救助I ；城审管比I ［决激支持| ；……! !应急联动 I I I 1 I I i i I 「 j ------------ 「 （ ------------ r ------------ 1 r ! tl 录战务；交换熾务］I 屮令管理| |安全IR 务 | I | I I I （ 信息资源 「舜础倍思琢\ 抄題库[:业务城划気「业务佶息应[ [H ^PF ] lb ht. F” ^Bi I I M 1 —^. —-■- I M d-B ” " -—— 一恳丽 > 由上图可以看出，数据共享交换平台交换体系共分为六个层 次，分别是安全和标准体系、网络基础设施、信息资源中心、共 享交换平台、应用层和展示层。 （1） 展示层 通过建立综合信息集成门户系统为用户提供统一的用户界 面，信息和应用通过门户层实现统一的访问入口和集中展现。 （2） 应用层 应用层提供满足面向各类用户依据实际需求开展业务的需 要。如支撑城市应急联动应用、辅助领导决策应用、城市管理应 用、社会救助应用等。 （3） 共享交换平台层 共享交换平台层为城市数据共享交换平台所在位置，连接各 类应用和应用所需的信息资源，组织和整合各类数据、组件和服 务。数据共享交换平台层为实现应用层各种应用系统的搭建和运 行提供支撑服务，包括目录服务系统、交换服务系统、安全服务 系统和平台管理系统等。交换平台还提供了资源目录管理体系。 目录服务主要提供目录注册、目录应用层 共享交 换平台
2. 幽LIETL 俸解鮎料 ETL 关键技术 数据共享与交换平台解决方案 、万案概述 随着信息社会的到来，计算机网络环境和分布处理技术的深入发展。信息系统中的数据源所呈现的形式也日益繁多，在这 些数据中有模式固定的结构化数据，也有无模式的无序数据。这种无论是已知确定来自数据库的数据或是来自网络上的各 式各样结构不固定、不完全或不规则的数据，都给信息系统在向国民经济信息化发展的过程中产生了很大的障碍。因此， 完成不同数据的共享与交换成为各个企业与部门进行信息交换时所必须要解决的重要问题。主要原理如下图： 、主要工具 1. 工具简介 数据集成的目的就是要运用一定的技术手段将系统中的数据按一定的规则组织成为一个整体， 使得用户能有效地对其 进行操作。数据处理的对象是系统中的各种异构数据库中的数据或者无格式数据， 而数据集成的主要过程则是建立完 善的数据仓库，以及采用数据挖掘技术获取更多数据信息。ETL 作为数据库级的数据集成工具，擅长大量数据的迁移， 能从多个数据源中抽取数据， 然后进行数据转换和加载，最终得到统一的、完备的主题数据库或数据仓库，原来分散 的应用仍独立运作。ETL 中三个字母分别代表的是 Extract 、Tran sform 、Load ，即抽取、转换、加载。 数据抽取：从源数据源系统抽取目的数据源系统需要的数据; 数据转换：将从源数据源获取的数据按照业务需求， 转换成目的数据源要求的形式， 并对错误、不一致的数据进行清 洗和加工。 数据加载：将转换后的数据装载到目的数据源。 ETL 原本是作为构建数据仓库的一个环节， 负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到 临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。一 个简单的ETL 体系结构如图1.1所示