传输与数据交换系统功能说明
- 格式:docx
- 大小:48.41 KB
- 文档页数:18
金电网安全隔离与信息交换系统操作手册目录•介绍•功能概述•系统要求•系统安装与配置•使用指南登录系统配置安全隔离规则信息交换功能系统管理•常见问题解答•参考资料介绍金电网安全隔离与信息交换系统是一款用于实现网络安全隔离与信息交换的软件系统。
它能够帮助用户建立安全、稳定、高效的信息交换环境,提高数据传输的安全性和效率。
本操作手册将指导用户了解系统的功能、安装与配置、使用方法,并提供常见问题的解答,帮助用户快速上手使用系统。
功能概述金电网安全隔离与信息交换系统具有以下主要功能:1.安全隔离:系统能够根据用户设定的安全隔离规则,对不同级别的网络进行隔离,实现网络资源的安全共享。
2.信息交换:系统提供了多种信息交换方式,包括点对点传输、组播传输、广播传输等,可根据用户需求选择合适的方式进行数据传输。
3.安全认证:系统支持多种安全认证机制,确保传输数据的安全性,如用户身份认证、数据包加密等。
4.系统管理:系统提供了用户管理、权限管理、日志管理等功能,方便系统管理员对系统进行配置和管理。
系统要求金电网安全隔离与信息交换系统的运行环境需满足以下要求:•操作系统:Windows 7及以上版本、Linux、Mac OS等常见操作系统•内存:至少4GB•存储空间:至少100MB•网络环境:支持TCP/IP协议,并具备访问外部网络的权限系统安装与配置1.下载安装包:从官方网站下载金电网安全隔离与信息交换系统的安装包。
2.安装系统:根据安装包的提示,选择安装路径和相关配置信息,完成系统的安装。
3.配置参数:根据实际需求,配置系统的基本参数,如网络接口、安全策略等。
4.启动系统:通过系统菜单或命令行启动系统,等待系统启动完成。
使用指南登录系统1.启动系统后,打开浏览器,输入系统的访问地址。
2.在登录页面中输入用户名和密码,点击登录按钮。
3.如果输入的用户名和密码正确,系统将登录到主界面。
配置安全隔离规则1.在系统主界面的菜单中选择“安全隔离规则”。
交换机基本原理和转发流程总结关键词:以太网集线器Ethernet HUB交换机Switch虚拟局域网 VLAN路由器 Router路由表 Route Table地址解析协议 ARPARP表 ARP TableMAC表 FIB Table三层硬件转发表 IP fdb Table计算机网络往往由许多种不同类型的网络互连连接而成。
如果几个计算机网络只是在物理上连接在一起,它们之间并不能进行通信,那么这种“互连”并没有什么实际意义。
因此通常在谈到“互连”时,就已经暗示这些相互连接的计算机是可以进行通信的,也就是说,从功能上和逻辑上看,这些计算机网络已经组成了一个大型的计算机网络,或称为互联网络,也可简称为互联网、互连网。
下面将从互联网的渐进历程逐一阐述各种设备的工作原理:1、Ethernet HUBEthernet HUB的中文名称叫做以太网集线器,其基本工作原理是广播技术(broadcast),也就是HUB从任何一个端口收到一个以太网数据帧后,它都将此以太网数据帧广播到其它所有端口,HUB不记忆哪一个MAC地址挂在哪一个端口——这里所说的广播是指HUB将该以太网数据帧发送到所有其它端口,并不是指HUB将该报文改变为广播报文。
以太网数据帧中含有源MAC地址和目的MAC地址,对于与数据帧中目的MAC地址相同的计算机执行该报文中所要求的动作;对于目的MAC地址不存在或没有响应等情况,HUB既不知道也不处理,只负责转发。
HUB工作原理:① HUB从某一端口A收到的报文将发送到所有端口;②报文为非广播报文时,仅与报文的目的MAC地址相同的端口响应用户A;③报文为广播报文时,所有用户都响应用户A。
随着网络应用不断丰富,网络结构日渐复杂,导致传统的以太网连接设备HUB已经越来越不能满足网络规划和系统集成的需要,它的缺陷主要表现在以下两个方面:①冲突严重——HUB对所连接的局域网只作信号的中继,所有物理设备构成了一个冲突域;②广播泛滥。
数据交换平台的系统体系结构1、概述数据交换平台是一个用于支持不同系统之间数据交换和共享的系统。
该平台提供了一个统一的接口和协议,使得各个系统能够安全地传递和共享数据。
本文档将详细介绍数据交换平台的系统体系结构。
2、系统架构2.1 系统组件描述数据交换平台的主要组件,例如:数据接收模块、数据解析模块、数据验证模块、数据转换模块等。
2.2 系统层次结构说明数据交换平台的各个层次结构,如:应用层、服务层、数据访问层等。
2.3 系统通信介绍数据交换平台的通信方式,例如:传统的HTTP协议、MQTT 协议等。
3、数据接收与解析3.1 数据传输方式说明数据交换平台接收数据的方式,例如:文件、API调用等。
3.2 数据解析规则描述数据交换平台对接收到的数据进行解析的规则,例如:数据格式、字段映射等。
3.3 异常处理说明数据交换平台在解析数据过程中遇到异常时的处理方式,例如:记录日志、发送通知等。
4、数据验证与转换4.1 数据验证规则描述数据交换平台对解析后的数据进行验证的规则,例如:数据完整性、数据一致性等。
4.2 数据转换规则说明数据交换平台对验证通过的数据进行转换的规则,例如:数据格式转换、数据字段提取等。
4.3 数据转换后处理介绍数据交换平台在转换数据之后的处理,例如:数据存储、数据发送等。
5、系统安全5.1 访问控制描述数据交换平台的访问控制策略,例如:用户认证、权限管理等。
5.2 数据加密说明数据交换平台在数据传输过程中的加密策略,例如:SSL/TLS加密。
6、监控与管理6.1 监控功能介绍数据交换平台的监控功能,例如:数据传输状态监控、数据处理性能监控等。
6.2 系统管理说明数据交换平台的管理接口和功能,例如:配置管理、用户管理等。
7、附件本文档涉及的附件包括数据交换平台的系统架构图和数据流程图。
8、法律名词及注释8.1 法律名词- 数据保护法:指保护个人信息和数据的法律法规。
- 知识产权法:指保护知识产权的法律法规,包括版权、专利、商标等。
ADX-5485RS-485到四口RS-485数据交换机使用说明书一、概述:在使用RS-485通信传输数据时,常常遇到因总线上的某个支点故障而造成系统瘫痪,给人们在检查总线上的设备增添不少的麻烦。
ADX5485是一款专为解决复杂电磁场环境下,使用485总线系统要求而设计出RS-485总线多路数据交换机,各端口都具有短路、开路保护功能,当遭受雷击或者设备故障产生时,本产品能将故障点网段隔离,以确保其他网段的正常工作,并可根据信号指示灯快速找到故障所在,用户可根据485数据交换机来改善布线结构,分割网段,提高通信可靠性。
在 RS-485 工作模式,采用的判别电路能够自动感知数据流方向,并且自动的切换使能控制电路,轻松解决 RS-485 收发转换时延问题。
RS-485 输出端口可传输距离大于 1200 米,本产品支持传输速率高达115.2KBPS,为了保证数据通讯的安全可靠,产品内置快速瞬态电压抑制保护器及提供2500V的光电隔离技术,并以每路提供600W防雷技术以防止雷击浪涌引入转换器,有效地抑制闪电(Lighting)和ESD保护。
本产品被广泛用于高速公路收费系统,道路监控系统及电力采集系统及综合布线系统中,ADX5485支持多级扩展,是一款性能稳定,价格低廉的数据转换产品,非常适合系统工程中的应用。
二、性能参数:1、接口特性:接口兼容 EIA/TIA 的RS-232C、RS-485 标准2、电气接口:RS-232/485输入、输出端均为可拆卸外置十位接线端子3、传输介质:双绞线或屏蔽线4、工作方式:异步半双工5、信号指示:电源(PWR)、发送 (TD)、接收(RD)、故障(E1-E4)6、隔离度:隔离电压2500VRMS 500VDC 连续.DC/DC模块7、传输速率:300-115.2KBPS8、保护等级:RS-232接口±15KV ESD保护RS-485 接口每线 600W 雷击浪涌保护9、传输距离:0-5公里(115,200-300BPS)10、产品尺寸:120mmX72mmx22mm11、工作电源:9-36VDC/350mA12、使用环境:-25C到70C,相对湿度为5%到95%三、ADX5485产品连接器相关接线方法如下1、RS-232/RS-485输入端引脚定义参见下表接线柱编号接线柱定义接线柱定义说明1 GND 地线2 GND 地线3 GND 地线4 485-485-信号输入口5 485+485+信号输入口6 GND 地线7 RXD RS232C信号接收端8 TXD RS232C信号发送端9 VCC 外接+9—36VDC电源接入端10 GND 外接电源地2、RS-485输出端引脚定义参见下表接线柱编号接线柱定义接线柱定义说明1 T/R1+输出485+信号2 T/R1-输出485-信号3 T/R2+输出485+信号4 T/R2-输出485-信号5 T/R3+输出485+信号6 T/R3-输出485-信号7 T/R4+输出485+信号8 T/R4-输出485-信号9 GND 隔离地线10 GND 隔离地线四、产品安装及运用ADX5485产品板面共有七个指示灯,上下二端各是可拆卸外置十位接线端子(不能互换)。
计算机网络原理TCP IP参考模型各层的功能OSI参考模型试图达到全世界的计算机网络都遵循的标准,并将所有的计算机都能方便的互连和交换数据。
但由于OSI标准制定周期较长、协议实现过比较复杂及OSI的层次划分不太合理等原因。
到20世界90年代初期,由于Internet已经在全世界覆盖了相当大的范围,因此网格体系结构得到广泛应用的并不是国际标准的OSI,而应用在Internet上的非国际标准TCP/IP体系结构。
这样,TCP/IP就称为事实上的国际标准。
TCP/IP也采用分层体系结构,TCP/IP与开放系统互连OSI模型的层次结构相似,它可分为四层,由低到高依次为:链路层、网络层(即IP层)、传输层(即TCP层)和应用层。
TCP/IP 与OSI共同之处是都采用了层次结构的概念,在传输层定义了相似的功能,但是两者在层划分与使用上有很大的区别。
下面显示了二者之间的层次对应关系、层次传递的对象及TCP/IP的主要协议,如图2-5所示。
OSI参考模型TCP/IP参考模型图2-5 OSI参考模型与TCP/IP参考模型的对应关系TCP/IP最在的一个优点:它是一种可路由协议,这说明它包含了路由器能够解释的网络寻址信息。
TCP/IP也是一种非常灵活的协议,可以在任何网络操作系统或网络介质组合上运行。
不过,由于TCP/IP的灵活性,它可能需要较多的配置工作。
下面我们来学习TCP/IP参考模型各层的功能:1.链路层在TCP/IP参考模型中,对最低层名称很多,一般有链路层、网络访问层、主机-主机层等等。
该层主要功能是接收上一层的IP数据报,通过网络向外发送,或者接收和处理来自网络上的物理帧,并抽取IP数据传送到网络层。
2.网络层(IP层)网络层主要解决计算机之间的通信问题,它负责管理不同设备之间的数据交换,它是Internet通信子网的最高层,它所提供的是不可靠的无连接数据报机制,无论传输是否正确,不做验证,不发确认,也不保证分组的正确顺序。
交换机原理及作⽤-1交换机原理及作⽤什么是交换机?交换switching 是按照通信两端传输信息的需要,⽤⼈⼯或设备⾃动完成的⽅法,把要传输的信息送到符合要求的相应路由上的技术统称。
⼴义的交换机switch就是⼀种在通信系统中完成信息交换功能的设备。
交换和交换机最早起源于电话通讯系统(PSTN),我们现在还能在⽼电影中看到这样的场⾯:⾸长(主叫⽤户)拿起话筒来⼀阵猛摇,局端是⼀排插满线头的机器,戴着⽿麦的话务⼩姐接到连接要求后,把线头插在相应的出⼝,为两个⽤户端建⽴起连接,直到通话结束。
这个过程就是通过⼈⼯⽅式建⽴起来的交换。
当然现在我们早已普及了程控交换机,交换的过程都是⾃动完成。
在计算机⽹络系统中,交换概念的提出是对于共享⼯作模式的改进。
我们以前介绍过的HUB集线器就是⼀种共享设备,HUB 本⾝不能识别⽬的地址,当同⼀局域⽹内的A主机给B主机传输数据时,数据包在以HUB为架构的⽹络上是以⼴播⽅式传输的,由每⼀台终端通过验证数据包头的地址信息来确定是否接收。
也就是说,在这种⼯作⽅式下,同⼀时刻⽹络上只能传输⼀组数据帧的通讯,如果发⽣碰撞还得重试。
这种⽅式就是共享⽹络带宽。
交换机拥有⼀条很⾼带宽的背部总线和内部交换矩阵。
交换机的所有的端⼝都挂接在这条背部总线上,控制电路收到数据包以后,处理端⼝会查找内存中的地址对照表以确定⽬的MAC(⽹卡的硬件地址)的NIC(⽹卡)挂接在哪个端⼝上,通过内部交换矩阵迅速将数据包传送到⽬的端⼝,⽬的MAC若不存在才⼴播到所有的端⼝,接收端⼝回应后交换机会“学习”新的地址,并把它添加⼊内部地址表中。
使⽤交换机也可以把⽹络“分段”,通过对照地址表,交换机只允许必要的⽹络流量通过交换机。
通过交换机的过滤和转发,可以有效的隔离⼴播风暴,减少误包和错包的出现,避免共享冲突。
交换机在同⼀时刻可进⾏多个端⼝对之间的数据传输。
每⼀端⼝都可视为独⽴的⽹段,连接在其上的⽹络设备独⾃享有全部的带宽,⽆须同其他设备竞争使⽤。
通信行业网络交换机使用说明书第一章:引言网络交换机是通信行业重要设备之一,用于实现数据包的转发和路由选择。
本使用说明书旨在提供网络交换机的详细操作指南,帮助用户正确、高效地使用该设备。
第二章:产品概述2.1 产品功能网络交换机具备以下主要功能:- 实现数据包的接收和转发- 支持多种网络通信协议- 提供高速数据传输功能- 支持网络安全和管理功能2.2 产品特点- 高性能:网络交换机采用先进的硬件设计,具备高速数据处理和转发能力。
- 灵活扩展:支持模块化设计,可根据需求进行定制扩展。
- 可靠稳定:通过冗余设计和自动恢复机制,保证网络交换机的稳定性和可靠性。
- 安全管理:支持访问控制列表(ACL)、虚拟局域网(VLAN)和其他安全功能,确保网络数据的安全和保密性。
第三章:安装与连接3.1 硬件检查在安装网络交换机之前,需确保以下内容完好无损:- 交换机本身及其附件- 电源线和适配器- 网络连接线和接口3.2 硬件连接按照以下步骤连接网络交换机:1. 将电源线插入交换机的电源接口,并将适配器插入电源插座。
2. 将网络连接线插入交换机的网络接口,并与其他设备进行连接。
第四章:操作与配置4.1 登录交换机通过以下步骤登录网络交换机的管理界面:1. 打开Web浏览器,在地址栏中输入交换机的管理IP地址。
2. 输入用户名和密码,点击登录按钮。
4.2 设备管理网络交换机提供一系列的设备管理功能,包括:- 设备状态监测:可查看交换机的工作状态,网络连接情况等。
- 网络配置:可配置交换机的网络参数,如IP地址、子网掩码等。
- 路由配置:可设置交换机的路由表、路由选择协议等。
- 安全配置:可配置访问控制列表、虚拟局域网等安全相关设置。
- 系统维护:支持固件升级、日志管理和备份等系统维护功能。
第五章:故障排除5.1 常见问题网络交换机的使用过程中可能出现以下常见问题:- 无法连接到交换机:检查网络连接线是否插紧,确认交换机的IP 地址和网关设置是否正确。
本章提要:交换机用做网络集中设备,其端口连接网络中的主机。
在转发数据帧时,端口带宽能够独享。
交换机按其工作在OSI参考模型的对应层次,有第二层、第三层和第四层交换机。
可管理的交换机内置了操作系统软件。
第二层交换机采用帧交换转发数据,帧交换方式有三种,分别为存储转发、伺机通过和自由分段。
使用备份连接是提高网络可靠性的常用方法,但所形成的环路可能会导致广播风暴和引起多帧副本问题。
STP协议的应用则可消除环路问题,使冗余备份得以实现。
1.1交换机的作用与组成在以太网络中,交换机起的是信息中转站的作用。
它把从某个端口接收到的数据从其他端口转发出去。
以下介绍交换机的外观与内部组成。
不同厂家、不同型号的以太网交换机,其外观和内部组成都有一定的个性差异,但其共性是主要的。
1. 交换机的外观前面板上的多个RJ45接口是以太网口,用来连接计算机或其他交换机。
后面板或前面板上的串口是交换机的配置口,用串口线缆将其与计算机的串口连接起来,可实现对交换机的配置操作。
也有的交换机的配置口位于前面板上。
面板上有若干指示灯,其亮、灭或闪烁可以反映交换机的工作状态是否正常。
此外还有电源插口、电源开关等。
可上机架(柜)式交换机的标准长度为48.26cm(19in)。
如图1.1所示的是Cisco Catalyst3550和Cisco Catalyst 2900交换机的外观图。
2. 交换机的内部组成交换机的内部组成为:CPU (中央处理器):交换机使用特殊用途集成电路芯片ASIC,以实现高速的数据传输。
RAM/DRAM:主存储器,存储运行配置。
NVRAM(非易失性RAM):存储备份配置文件等。
FlashROM(快闪存储器):存储系统软件映像文件等。
是可擦可编程的ROM。
ROM:存储开机诊断程序、引导程序和操作系统软件。
接口电路:交换机各端口的内部电路。
图1.1 交换机的外观1.2交换机的分类可按多种方式对交换机进行分类。
若参照开放系统互连参考模型OSI,则交换机属于第二~四层的设备。
名目1升级咨询题1.1如何升级程序?到深证通公司下载页()中,依据以下不同的升级方式,下载不同文件:方式一,直截了当替换可执行文件:a)选择下载可执行文件;b)需要备份bin\recvYYYYMMDD、bin\sendYYYYMMDD两个当天的文件任务记录库后,再删除此两个文件〔要是当天未起动程序,因此文件任务库不存在〕;c)对下载文件解压后,即可;d)起动程序,通过工具条查瞧日志,查瞧最后几行日志,要是无报错,因此升级成功。
〔要是不删除文件任务记录库,重启软件后会提示'文件任务状态包中用户名称不符'、'寻不到发送名目'等乱码错误〕方式二,安装程序方式升级:a)选择安装程序下载;b)备份bin\recvYYYYMMDD、bin\sendYYYYMMDD两个当天的文件任务记录库后,再删除此两个文件〔要是当天未起动程序,因此文件任务库不存在〕;c)运行安装程序,依据提示操作,担任择是否覆盖配置文件时,选“否〞!d)安装完成后,再起动程序,通过工具条查瞧日志,查瞧最后几行日志,要是无报错,因此升级成功。
〔要是不删除文件任务记录库,重启软件后会提示'文件任务状态包中用户名称不符'、'寻不到发送名目',跨机器零点时程序一直报错,日志中有乱码信息等现象〕1.2升级是否会覆盖原配置文件?有两种方式升级,其一通过直截了当替换可执行文件方式升级程序,可不能修改配置文件,其二通过安装程序方式升级,需要依据提示操作,在选择是否覆盖配置文件时,选“否〞,因此可不能覆盖原配置文件。
1.3目前哪些功能必须让收发双方一起升级程序?1)关于扩展小站号长度后,要是要配置大于7个byte小站号,双方都需要升级程序;2)关于盼瞧以压缩方式发送文件,同时接收方能自动解压,需要双方升级程序;缘故此上,建议用户及时定期检查、更新升级程序。
2配置咨询题2.1更新小站程序后,什么缘故会提示配置有错?a)“业务类型[xxx]配置的发送名目包含了按连接人[kxxx]配置的发送名目,不能有包含关系,请修改!〞、b)“按业务类型[xxx]发送名目与按连接人[xxx]发送名目相同,不能相同,请修改!〞、c)“按连接人[xxx]配置的发送名目包含了按业务类型[xxx]配置的发送名目,不能有包含关系,请修改!〞d)“按业务类型[xxx]配置的接收名目为空,建议将此名目配全!〞、e)“按连接人[xxx]配置的接收名目为空,建议将此名目配全〞以上信息是程序检查过往配置时报的提示信息,由于过往版本没有严格操纵配置具体内容,导致某些配置存在冲突,而冲突会随机导致接收方在不同的名目下收到文件、或发送方以不同的方式发送数据文件,请修改相关配置后再起动程序。
附 录 A(资料性附录)无人机云系统与无人机云交换系统数据接口说明 A.1 接口协议说明接口协议包括:——通信协议:https;——格式化:json;——接口安全:ip白名单;——消息头:请求及响应的消息体必须带有消息头,参见表A.1;——消息体:请求参数统一放到header同级的data中,样例参见表A.2。
表A.1 接口协议样例"header": {"msg_id": 30000,//请求、响应消息编号,32位整型"timestamp": 1550562432324, // Unix时间戳(毫秒),32位整型"ver": "1.0", //接口版本号,字符串"cpn": "xxx" //CPN编号}表A.2 消息体样例{"header": {…},"data": {"foo": "bar"}}A.2 电子围栏数据更新接口电子围栏数据更新接口包括:——请求方:无人机云系统;——响应方:无人机云交换系统;——请求方法及URL:GET https://serverip/cloud/supervise/fence/search;——消息头msg_id:30001,参见表A.3;——响应消息头msg_id:40001,参见表A.4;——返回代码说明,参见表A.5。
表A.3 请求内容样例{"header" : {"msg_id":30002…}, //头信息"data": {"current_fence_version": 1550562432324 //当前电子围栏版本,//版本号由无人机交换系统生成。
//使用unix时间戳(毫秒)。
力华增程控制器接口定义力华增程控制器是一种用于控制和管理增程设备的接口,其定义了增程设备与其他系统之间的通信协议和数据格式。
本文将详细介绍力华增程控制器接口的定义和功能。
一、接口定义力华增程控制器接口定义了增程设备与其他系统之间的通信方式和数据交换格式。
它规定了增程设备的输入和输出接口,以及设备之间的通信协议。
通过力华增程控制器接口,其他系统可以向增程设备发送控制指令,获取设备的状态信息,并与设备进行数据交换。
二、功能说明1. 控制指令传输:力华增程控制器接口支持控制指令的传输。
其他系统可以通过接口向增程设备发送控制指令,如启动、停止、调节等。
增程设备根据接收到的控制指令进行相应操作。
2. 状态信息获取:力华增程控制器接口可以获取增程设备的状态信息。
其他系统可以通过接口查询设备的工作状态、故障信息等。
增程设备将状态信息通过接口返回给其他系统,以便进行进一步的处理和分析。
3. 数据交换:力华增程控制器接口支持数据的交换和传输。
其他系统可以通过接口向增程设备发送数据,也可以从增程设备获取数据。
通过接口进行数据交换,可以实现不同系统之间的信息共享和数据互通。
三、接口规范1. 接口类型:力华增程控制器接口可以是串口接口、以太网接口或其他类型的接口。
具体接口类型根据增程设备的需求和系统的要求进行选择。
2. 通信协议:力华增程控制器接口使用的通信协议可以是标准协议,如Modbus、Profibus等,也可以是自定义协议。
通信协议规定了数据的传输方式、数据格式和通信规则。
3. 数据格式:力华增程控制器接口规定了数据的格式和编码方式。
数据格式可以是二进制格式、ASCII码格式或其他格式,具体格式根据系统的需求和接口的要求进行定义。
4. 通信速率:力华增程控制器接口的通信速率是指数据传输的速度,通常以波特率表示。
通信速率的选择应考虑增程设备的性能和数据传输的稳定性。
5. 错误处理:力华增程控制器接口应具备错误处理机制。
数据传输与数据交换功能说明1需求说明兵器210应用系统中,完成七家成员单位和兵器中心的数据传输工作,七家成员单位的源数据包含有网络采集的数据,兵器中心包含的源数据有网络采集的数据和自身的媒体库数据两种。
2源数据连接说明1)网络采集数据格式说明数据库是oracle10G,具体数据格式参考下面数据库:IP:192.168.12.26SID:testingUSER:bqsjPAWD:bqsj涉及到的表:Classly -分类体系表MutiFiles -视频和音频库WebInfo -采集信息存储的主表WebInfoContent -采集信息主表的关联表【详细内容表】WebSiteRule -采集的站点信息表【采集站点说明】2)兵器中心媒体库数据格式说明详细数据格式请参考“附件目录”中媒体库资源。
兵器中心媒体库总共分为三个“三维模型库”、“国防科技图片库”,“视音频及二三维动画库”。
详细数据格式请参考:《资源库关系.doc》3数据传输匹配说明数据传输的源数据包含网络采集的“正文信息库”、“视频库”,和媒体资源库“三维模型库”、“国防科技图片库”、“视音频及二三维动画库”。
下面将说明源数据与目标库的对应关系,及需要做的数据处理。
3.1网络采集的“正文信息库”源数据库字段查询说明数据处理说明1.源数据CJ_CONTENT字段,对应的是正文内容,内容中可能包括图片标签<imglogo src=’’…./>,需要将图片对应的src值,匹配成目标数据存储的实际路径。
建议:可以通过配置文件,读取目标数据存储的实际路径。
2.源数据表“WEBINFO”中定义了一个字段“isFetch”抽取每一条数据后,将该字段赋值为“1”,表示该条数据已经被获取。
3.目标数据中其它字段值的获取方式:ID:自动生成,不重复主键;COLLECT_UNIT:对应目标数据库中表SM_COLLECT_UNIT中字段UNIT_CODE值;PAGES:默认值0;PICTURE:存储每篇文章的图片路径,可以存储多个,每个数据之间用半角逗号“,”隔开;图片的路径从正文中解析<imglogo src../>标签获得,入库之前替换成目标数据的实际存储路径。
4.数据统计:要求没入库一条数据,更新当前数据库表中记录的数据总量。
1)表:DB_TYPE按国防分类体系记录数据总量。
每插入一条数据对应分类号的“COUNT”字段增加1,分类号为一级分类号、二级分类号、三级分类号。
3)表:SM_DOCTYPE,按资源类型分库统计数据总量,更新字段DOC_CODE =“DB_SEARCH_WEBINFO”的memo1字段,每新增一条数据对应MEMO1增加1;4)表:DB_SEARCH_WEBINFO_DEFINETYPE更新采集自定义类型的数据量,插入的每条数据对应的DEFINE_NAME字段和表DB_SEARCH_WEBINFO_DEFINETYPE中“DEFINE_NAME”对应,如果存在相同类型名则直接将数据统计字段“COUNT”增加1,如果不存在则建立对应的类型字段“COUNT”默认为0。
5)表:DB_SEARCH_WEBINFO_WEBNAME更新采集数据的来源网站名称,插入的每条数据对应的WEBNAME字段和表DB_SEARCH_WEBINFO_WEBNAME中“WEBNAME”对应,如果存在相同类型名则直接将数据统计字段“COUNT”增加1,如果不存在则建立对应的类型字段“COUNT”默认为0。
5.数据去重:各成员单位的数据入检索中心库前,对数据进行查重。
查重规则:TITLE[标题] +WEBNAME[来源] +ABSTRACT[摘要] 相等时视为重复数据。
*摘要为自动摘要生成。
自动摘要计算:计算是按句做的TFIDF,加权结论句和总括句,处理机制不依赖于语种。
3.2网络采集的“视频库”源数据字段查询说明(*注意:源数据库字段就是中文的):数据处理说明1.源数据中“文件名”标识的是视频文件存储路径,在数据传输过程中需要将源数据路径替换为目标数据的实际存储路径。
建议:可以通过配置文件,读取目标数据存储的实际路径。
2.源数据表”MutiFiles”中定义了一个字段“isFetch”抽取每一条数据后,将该字段赋值为“1”,表示该条数据已经被获取。
3.目标数据中其它字段值的获取方式:ID:自动生成,不重复主键;COLLECT_UNIT:对应目标数据库中表SM_COLLECT_UNIT中字段UNIT_CODE值;PAGES::默认值0。
4.数据统计:表:SM_DOCTYPE,按资源类型分库统计数据总量,更新字段DOC_CODE=“DB_SEARCH_WEBVIDEO”的memo1字段,每新增一条数据对应MEMO1增加1。
5.数据查重:每入库一条数据检查数据的重复性,当数据”TITLE”完全匹配时,视为重复数据。
6.DISPLAY_PICTURE:是将视频文件有图像的第一帧的图片做为显示图片,图片生成为固定大小“256*197”,图片存储目录和视频文件相同,命名方式为“记录ID_display.jpg”。
7.FILEFORMAT:存储对应的文件格式,如:.flv。
3.3网络采集的“图片库”将网络采集信息存储到DB_SEARCH_WEBINFO信息表时,将关联到的图片,逐条存储到DB_SEARCH_WEBIMAGE图片库。
字段对应如下表:数据处理说明:1)FILENAME:由picture字段切分成单个图片,每一个图片对应一条记录;2)FILEFORMAT:文件对应的格式。
如:.jpg。
必须包含点;3)FILENAME_THUM:文件缩略图,在没存储一张图片的时候,在相同的目录下生成一张该图片的缩略图,缩略图的像素尺寸固定为“256*197”,命名格式为“FILENAME_thum.jpg”3.4网络采集的“文档库”将网络采集信息存储到DB_SEARCH_WEBINFO信息表时,将关联到的文档,逐条存储到DB_SEARCH_WEBDOC文档库。
字段对应如下表:数据处理说明:4)FILENAME:由SOURCE字段切分成单个文件,每一个文件对应一条记录;5)FILEFORMAT:文件对应的格式。
如:.pdf。
必须包含点;3.5媒体资源库“三维模型库”数据查询说明:数据处理说明:1.源数据表“TabLib2”中定义了一个字段“isFetch”抽取每一条数据后,将该字段赋值为“1”,表示该条数据已经被获取。
2.ID:自动生成,不重复主键;COLLECT_UNIT:对应目标数据库中表SM_COLLECT_UNIT中字段UNIT_CODE 值;PAGES:默认值0;TYPE:默认值为“2”;3.数据统计:表:SM_DOCTYPE,按资源类型分库统计数据总量,更新字段DOC_CODE=“DB_SEARCH_MEDIA”的memo1字段,每新增一条数据对应MEMO1增加1。
4.数据查重:每入库一条数据检查数据的重复性,当数据”TITLE”完全匹配时,视为重复数据。
3.6媒体资源库“国防科技图片库”数据查询说明:数据处理说明:1.源数据表“TabLib1”中定义了一个字段“isFetch”抽取每一条数据后,将该字段赋值为“1”,表示该条数据已经被获取。
2.ID:自动生成,不重复主键;COLLECT_UNIT:对应目标数据库中表SM_COLLECT_UNIT中字段UNIT_CODE 值;PAGES:默认值0;TYPE:默认值为“1”;3.数据统计:表:SM_DOCTYPE,按资源类型分库统计数据总量,更新字段DOC_CODE=“DB_SEARCH_MEDIA”的memo1字段,每新增一条数据对应MEMO1增加1。
4.数据查重:每入库一条数据检查数据的重复性,当数据”TITLE”完全匹配时,视为重复数据。
3.7媒体资源库“音视频及二三维动画库”数据查询说明:数据处理说明:1.源数据表“TabLib3”中定义了一个字段“isFetch”抽取每一条数据后,将该字段赋值为“1”,表示该条数据已经被获取。
2.ID:自动生成,不重复主键;COLLECT_UNIT:对应目标数据库中表SM_COLLECT_UNIT中字段UNIT_CODE 值;PAGES:默认值0;TYPE:默认值为“3”;3.数据统计:表:SM_DOCTYPE,按资源类型分库统计数据总量,更新字段DOC_CODE=“DB_SEARCH_MEDIA”的memo1字段,每新增一条数据对应MEMO1增加1。
4.数据查重:每入库一条数据检查数据的重复性,当数据”TITLE”完全匹配时,视为重复数据。
3.8媒体资源库关联文件导入从媒体库中抽取出每一条信息,还要按照查询出的libID和ItemID,查询相关联的多媒体文件信息(源数据中多媒体文件分三个表存储),来导入到目标库中。
导入图片资源数据查询:数据说明:1.ID:生成不重复的主键;COLLECT_UNIT:对应目标数据库中表SM_DOCTYPE中字段DOC_CODE值;PAGES:默认“0”;FILETYPE:文件类型,默认值“1”;MEDIA:关联表“DB_SEARCH_MEDIA”的ID;2.程序中文件物理路径设置为可配置的。
⏹导入视频资源数据查询:数据说明:1.ID:生成不重复的主键;COLLECT_UNIT:对应目标数据库中表SM_COLLECT_UNIT中字段UNIT_CODE 值;PAGES:默认“0”;FILETYPE:文件类型,默认值“2”;MEDIA:关联表“DB_SEARCH_MEDIA”的ID2.程序中文件物理路径设置为可配置的。
⏹导入文档资源数据查询:数据说明:1.ID:生成不重复的主键;COLLECT_UNIT:对应目标数据库中表SM_COLLECT_UNIT中字段UNIT_CODE 值;PAGES:默认“0”;FILETYPE:文件类型,默认值“3”;MEDIA:关联表“DB_SEARCH_MEDIA”的ID;程序中文件物理路径设置为可配置的;当我被上帝造出来时,上帝问我想在人间当一个怎样的人,我不假思索的说,我要做一个伟大的世人皆知的人。
于是,我降临在了人间。
我出生在一个官僚知识分子之家,父亲在朝中做官,精读诗书,母亲知书答礼,温柔体贴,父母给我去了一个好听的名字:李清照。
小时侯,受父母影响的我饱读诗书,聪明伶俐,在朝中享有“神童”的称号。
小时候的我天真活泼,才思敏捷,小河畔,花丛边撒满了我的诗我的笑,无可置疑,小时侯的我快乐无虑。
“兴尽晚回舟,误入藕花深处。
争渡,争渡,惊起一滩鸥鹭。
”青春的我如同一只小鸟,自由自在,没有约束,少女纯净的心灵常在朝阳小,流水也被自然洗礼,纤细的手指拈一束花,轻抛入水,随波荡漾,发髻上沾着晶莹的露水,双脚任水流轻抚。