当前位置：文档之家 › 基于以太网机群的海量高光谱数据处理系统平台设计

基于以太网机群的海量高光谱数据处理系统平台设计

  • 格式：pdf
  • 大小：854.63 KB
  • 文档页数：5

关键 词 ： 以 太网机群 ； 并行 计 算 ； 任务 分解 ； 高光谱 数据 处理
中图分类号 ： Ｔ Ｎ２ ０ ２ ； Ｔ Ｐ ３ ９ ３ ． １ １ 文献标志码 ： Ａ ｄ ｏ ｉ ： １ ０ ． ５ ７ ６ ８ ／ Ｊ Ａ Ｏ２ ０ １ ３ ３ ４ ． ０ ４ ０ ２ ０ ０ ２
Ｐｌ ａ ｔ ｆ ｏ ｒ ｍ ｄ ｅ ｓ ｉ ｇ ｎ ｆ ｏ ｒ ｍａ ｓ ｓ ｉ ｖ ｅ ｈｙ ｐｅ ｒ ｓ ｐ ｅ ｃ ｔ ｒ ａ ｌ ｄａ ｔ ａ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ｂａ ｓ ｅ ｄ ｏ ｎ ｉ ｎ ｔ ｅ ｒ ｎｅ ｔ ｃ ｌ ｕ ｓ ｔ ｅ ｒ
第 ３ ４ 卷 第 ４期 ２ ０ １ ３年 ７月
应
用 光
学
Ｖ ｏ１ ．３ ４ ＮＯ ． ４
Ｊ ｏ ｕ ｒ ｎ ａ ｌ ｏ ｆ Ａｐ ｐ ｌ ｉ ｅ ｄ Ｏｐ ｔ ｉ ｃ ｓ
Ｊ ｕ １ ．２ ０ １ ３
文章编号 ： １ ０ ０ ２ — ２ ０ ８ ２ （ ２ ０ １ ３ ） ０ ４ — ０ ６ ０ ４ — ０ ５
Ｗ ＡＮＧ Ｃａ ｉ — ｌ ｉ ｎｇ ’ ，Ｈ Ｕ Ｂｉ ｎ ｇ — ｌ ｉ ａ ｎｇ 。 ，Ｗ ＡＮＧ Ｈｏ ｎｇ — ｗｅ ｉ 。 ，ＬＩ Ｕ Ｘｕｅ — ｂｉ ｎ。，ＣＨ ＥＮ Ｘｉ ａ ｏ — ｌ ａ ｉ 。 ，ＬＩ Ｐｕ
（ １ ．Ｓ ｃ ｈ ｏ ｏ ｌ ｏ ｆ Ｃｏ ｍｐ ｕ ｔ ｅ ｒ Ｓ ｃ ｉ ｅ ｎ ｃ ｅ ，Ｘｉ ＇ ａ ｎ Ｓ ｈ ｉ ｙ ｏ ｕ Ｕｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ，Ｘｉ ’ ａ ｎ ７ １ ０ ０ ６ ５，Ｃｈ ｉ ｎ ａ ；
Ａｂ ｓ ｔ ｒ ａ ｃ ｔ ： Ｉ ｎ ｓ ｏ ｍｅ ｌ ａ ｒ ｇｅ — ｓ ｃ ａ ｌ ｅ ｉ ｍａ ｇｅ ｐ ｒ ｏｃ ｅ ｓ ｓ ｉ ｎｇ ｓ ｙｓ ｔ ｅ ｍｓ ， ｍｕｌ ｔ ｉ ｐｌ ｅ ｓ ｅ ｒ ｖ ｅ ｒ ｓ ｃ ａ ｎ ａ ｃ ｈｉ ｅ ｖ ｅ ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ ｐ ｒ ｏｃ ｅ ｓ ｓ ｉ ｎｇ ｉ ｍａ ｇ ｅ ｄ ａ ｔ ａ ｓ ｔ ｒ ｅ ａ ｍ ｔ ｏ ｃ ｏ ｍｐｌ ｅ ｔ ｅ ｔ ｈｅ ｃ ｏ ｍｐ ｌ ｅ ｘ ｄ ａ ｔ ａ ｏ ｐｅ ｒ ａ ｔ ｉ ｏ ｎｓ ｂ ｙ ｂｕ ｉ ｌ ｄ ｉ ｎｇ ｓ ｅ ｒ ｖ ｅ ｒ ｃ ｌ ｕｓ — ｔ ｅ ｒ ｎｅ ｔ ｗｏ ｒ ｋ．Ａｎ Ｅｔ ｈｅ ｒ ｎｅ ｔ — ｂ ａ ｓ ｅ ｄ ｓ ｅ ｒ ｖ ｅ ｒ ｃ ｌ ｕ ｓ ｔ ｅ ｒ ｆ ｏ ｒ ｈｕｇ ｅ ｈｙ ｐ ｅ ｒ ｓ ｐ ｅ ｃ ｔ ｒ ａ ｌ ｉ ｍａ ｇ ｅ ｐｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ｓ ｙ ｓ ｔ ｅ ｍ ｗａ ｓ ｄｅ ｓ ｉ ｇ ｎ ｅ ｄ ｂａ ｓ ｅ ｄ ｏ ｎ ｉ ｍａ ｇ ｅ ｃ ｈａ ｒ ａ ｃ ｔ ｅ ｒ ｉ ｓ ｔ ｉ ｃ ｓ ．Ｉ ｎ ｏｒ ｄ ｅ ｒ ｔ ｏ ａ ｃ ｈｉ ｅ ｖ ｅ ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ ｐ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎｇ，ｔ ｈｅ ｔ ａ ｓ ｋ ｄ ｅ ｃ ｏ ｍｐ ｏｓ ｉ ｔ ｉ ｏｎ，ａ ｌ ｇ ｏ ｒ ｉ ｔ ｈｍ ｐ ｉ ｐ ｅ ｌ ｉ ｎｅ ｄ ｐ ｒ ｏｃ ｅ ｓ ｓ ｉ ｎｇ ａ ｎｄ ｎｅ ｔ ｗｏ ｒ ｋ ｌ ｏ ａ ｄ ｂ ａ ｌ ａ ｎ ｃ ｉ ｎ ｇ ｗｅ ｒ ｅ ｕｓ ｅ ｄ ｉ ｎ ｓ ｏｆ ｔ — ｗａ ｒ ｅ ｄ ｅ ｓ ｉ ｇｎ ． Ｔｈ ｅ ｓ ｙ ｓ ｔ ｅ ｍ ｉ ｓ ｕ ｓ ｅ ｄ ｉ ｎ ａ ｈｙ ｐｅ ｒ ｓ ｐ ｅ ｃ ｔ ｒ ａ ｌ ｉ ｍａ ｇｅ ｄ ａ ｔ ａ ｐｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ ｓ ｙｓ ｔ ｅ ｍ ａ ｎｄ ｔ ｈｅ ｄ ａ ｔ ｅ ｒ ａ ｔ ｅ ｃ ａ ｎ ａ ｃ ｈｉ ｅ ｖｅ ６ ０ ００ Ｍ ｂｐ ｓ ． Ｋｅ ｙ ｗｏ ｒ ｄｓ ：ｉ ｎｔ ｅ ｒ ｎｅ ｔ ｃ ｌ ｕｓ ｔ ｅ ｒ；ｐ ａ ｒ ａ ｌ ｌ ｅ ｌ ｐｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｇ；ｔ ａ ｓ ｋ ｄ ｅ ｃ ｏ ｍｐ ｏｓ ｉ ｔ ｉ ｏｎ；ｈ ｙｐ ｅ ｒ ｓ ｐｅ ｃ ｔ ｒ ａ ｌ ｉ ｍａ ｇ ｅ ｄ ａ ｔ ａ
２． Ｘｉ ’ ａ ｎ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｏｐ ｔ ｉ ｃ ｓ ａ ｎｄ Ｐｒ ｅ ｃ ｉ ｓ ｉ ｏｎ Ｍｅ ｃ ｈａ ｎｉ ｃ ｓ ｏｆ ＣＡ Ｓ，Ｘ ｉ ’ ａ ｎ ７１ ０ １１ ９，Ｃｈ ｉ ｎ ａ； ３ ． Ｔｈｅ Ｅｎ ｇｉ ｎｅ ｅ ｒ ｉ ｎｇ Ｕ ｎｉ ｖｅ ｒ ｓ ｉ ｔ ｙ ｏｆ ｔ ｈｅ Ｃｈｉ ｎｅ ｓ ｅ Ｐｅ ｏ ｐｌ ｅ’ Ｓ Ａｒ ｍｅ ｄ Ｐｏｌ ｉ ｃ ｅ Ｆｏｒ ｃ ｅ，Ｘｉ ’ ａ ｎ ７１ ０ ０８ ６，Ｃｈ ｉ ｎ ａ）
基于 以太 网机群 的海量高光谱数据处理系统平 台设计
王彩玲 ， 胡柄棵 ， 王洪伟。 ， 刘学斌 ， 陈小来 ， 李 普
（ １ ． 西 中 国科 学 院 西 安 光 学 精 密 机械 研 究 所 ， 陕西 西 安 ７ １ ０ １ １ ９ ； ３ ．武 警 工 程 大 学 ， 陕 西 西安 ７ １ ０ ０ ８ ６ ）
８ 核 的 ４台 ＨＰ刀 片服 务 器作 为并行 处 理服 务 器， 在服 务 器机 群 软 件设 计 中 ， 通过 任 务 分 解 、 算
法 流水化 处理及 网络 负载 均衡 等 方 法来 实现 并 行 处 理 。该 系统 已应 用在 某遥 感数 据 处理 系统 中， 多台服 务 器 同时写入 Ｓ ＡＮ 盘 阵 ， 可 实现 ６ ０ ０ ０ Ｍｂ ｐ ｓ 的 写入 能力 。
摘
要： 在 一 些大型 图像 处理 系统 中， 通过 构建服 务 器机 群 网络 ， 可 实现 多台服务 器并行 处理 图
像数 据流 。针 对 高光谱 遥 感数据 及 处理算 法特 点 ， 设 计 了基 于 以太 网的服 务 器机 群 海 量 高光谱 数据 处理 系统 平 台， 平 台由 ７台服 务 器和 １台千 兆 网交换 机 构组 成 ， 其 中选择 Ｃ Ｐ Ｕ 核 数 不低 于

合集下载

基于以太网的高速数据采集系统设计_李满昌

基于以太网的高速数据采集系统设计_李满昌

Vo l .50No .2工程与试验EN GIN EERIN G &T EST Jun .2010[收稿日期]　2010-05-17[作者简介]　李满昌(1978-),男,吉林长春人,工程师,主要研究方向:数字控制技术、智能仪器。

基于以太网的高速数据采集系统设计李满昌,石　伟,孙　健,蒋丽华,吴艳丽(长春机械科学研究院有限公司,吉林长春130012)摘　要:本文讨论了基于以太网的高速数据采集系统实现方案,介绍了用L PC2292A RM 芯片控制RT L 8019AS ,实现基于T CP /IP 协议的以太网高速数据传输的硬件设计,并介绍了用V B 调用W insock 实现上位机实现数据接收的方法。

关键词:A RM ;L PC2292;R T L8019A S ;高速数据采集;V B ;W insock中图分类号:T P393.11 文献标识码:B doi :10.3969/j .issn .1674-3407.2010.02.016Design on High -Speed Data Acquisition System based on EthernetLi M anchang ,Shi Wei ,Sun Jian ,Jiang Lihua ,Wu Yanli(Changchun Research Institute f or Mechanical Science Co .,Ltd .Changchun 130012,J ilin ,China )A bstract :The design of high -speed data acquisition system based on Ethernet is discussed in thispaper .It is introduced that how to using LPC2292ARM to control RT L8019AS to realize the hardw are desig n of high -speed data transmission based o n TCP /IP protoco l .A t last ,the method of using VB to transfer Winsock to complete data reception is descriped .Keywords :A RM ;LPC2292;RT L8019AS ;hig h -speed data acquisitio n ;VB ;Winsock1　引　言随着网络技术和信息技术的日趋成熟,数据采集系统日益采用网络通信接口和手段。

基于IDL的高光谱图像噪声处理系统设计与实现

基于IDL的高光谱图像噪声处理系统设计与实现

基于IDL的高光谱图像噪声处理系统设计与实现曾庆伟;张强;王晓飞【摘要】论述了基于IDL语言开发的高光谱图像噪声处理系统的系统架构、方案设计思路和系统实现，并对系统各个主要模块进行验证，证明了软件的可操作性和实用性。

系统的开发可有效解决遥感软件缺乏专业高光谱图像处理模块的问题，为高光谱遥感图像在地质勘查工作中的广泛应用提供了支持。

%The paper describes the system frame, design ideas and the processing of system implementation of hyperspectral image noise processing system based on IDL language. And each system module has been verified the software operability and usability. Development of the system effectively solves the lack of remote sensing software professional hyperspectral image processing module, and hyperspectral remote sensing images provide support for a wide range of applications in geological exploration work.【期刊名称】《地质力学学报》【年(卷),期】2015(000)002【总页数】7页(P183-189)【关键词】IDL;高光谱图像;噪声处理【作者】曾庆伟;张强;王晓飞【作者单位】二十一世纪空间技术应用股份有限公司，北京100096;二十一世纪空间技术应用股份有限公司，北京100096;二十一世纪空间技术应用股份有限公司，北京100096; 黑龙江大学黑龙江省电子工程重点实验室，哈尔滨150080【正文语种】中文【中图分类】TP79由于各种因素的影响，高光谱图像受到了严重的条带噪声干扰。

基于光纤通信的分布式高速高精度数据采集系统设计

基于光纤通信的分布式高速高精度数据采集系统设计

图１ 分 布 式 采 集 结构 示意 图
１ 分 布 式 系 统 架构
本 系 统 的整 体 结 构分 为 前端 和后 端 两 部 分 ， 前 端 是 分 布 式 的 采 集 模 块 ，后 端 采 用 改 进 的 Ｃ ｍ ａｔ Ｃ ｘ ｒｓ背 板 传输 结 构 ，两 部 分 之 间 ｏ ｐ ｃ Ｐ Ｉ ｐｅｓ Ｅ 通 过光纤 通信 ，图 １ 所示 是其 结构示 意 图。 在 系 统 前 端 ，采 样 点 分 布 在 较 长 距 离 范 围
关 键 词 ：光 纤 通 信 ；分 布 式 ； 高 精 度 ；数 据 采 集 ；Ｃ ｍ ａｔ Ｃ Ｅ ｐｅｓ ｏ ｐ ｃ Ｐ Ｉ ｘ ｒｓ
０ 引 言
瞬 态信号 捕获 的测 试测量 工 程应 用 中 ，通常
冒
要 求测试 设 备能够 满 足高速 高精 度 的数据 采 集任
务 ，同时 被 测量 信 号应 分 布 在 一定 距 离 范 围 内 。
这 就要求 测试设 备 能够执 行分 布式 的采 集 与传 输
任务 。此外 ，每 个分 布点 的模 拟信 号可 能有 多种 类 型 ．因此 ，单 个分 布点处 的采集模 块 又需 要 多
通道并行采集 。为此 ，本文给 出了基于光纤通信 的
高 性能分 布式 数据 采集 系统 的设 计方 法 ．同时描 述 了设备 的设计 、实现及其采样精度 的验证方法 。
４ 采 集 模 块 。处 理 卡 通 过Ｐ Ｉ 与 主 机 通 信 。并 个 ＣＥ 通过 实 时触 发 总线 与 系统 内其 他功 能 卡 同 步 。实 时解 算 卡 向下 可通 过 光纤 发 送 同步 信 息 和 配置 命
令 ，并 对 前 端 由光纤 传 来 的数 据 进 行 并 行 处 理 ， 以得 到 一些 参 数性 的结果 ，同时也 可 以将原 始 数 据通 过Ｐ Ｉ 传输 给 主机显 示 并存 储 。 ＣＥ
一种基于FPGA的高速光谱反演系统

一种基于FPGA的高速光谱反演系统

一种基于FPGA的高速光谱反演系统田晶【摘要】为了高速采集并反演光谱数据,采用FPGA设计了一种高速光谱反演系统.由FPGA控制CCD驱动模块,使CCD高速采集干涉条纹数据并传输给FPGA处理模块.设计了高速数据采集与处理的FPGA硬件结构,通过仿真数据分析了采集模块与处理模块的时序逻辑关系.为了同时满足系统光谱反演精度与速度的要求,对比了8 bit、10 bit和12 bit数据位深条件下的频谱分布,实验结果显示,位深越小速度越快,但其会降低光谱反演的对比度;而位深越大光谱反演的对比度越好,但处理速度越慢,综合考虑本系统采用10 bit位深结构.实验针对中心波长为975 nm的激光进行光谱反演,并与MATLAB反演数据进行对比分析.结果显示本系统检测精度符合要求,且速度更快.【期刊名称】《红外技术》【年(卷),期】2019(041)006【总页数】5页(P535-539)【关键词】高速光谱反演;干涉条纹;位深设置;FPGA【作者】田晶【作者单位】长春职业技术学院,吉林长春 130000【正文语种】中文【中图分类】TN247在很多光谱测试应用场合中对光谱数据获取的速度要求越来越高，提高光谱数据处理速度的方法[1]主要可以从两个大方向出发：一是光学角度，由传统的时间扫描改变成空间一次成像，从而可以大幅缩短获取干涉条纹数据的时间；二是数据采集模块与处理算法的设计[2]。

对于静态干涉型光谱分析系统而言，干涉条纹的采集是通过静态干涉具实现的，也就是说不需要机械或电扫描时间维度，而是将待测光以空域干涉的形式成像在CCD上，通过空域到频域的变换实现光谱分布反演[3-6]。

由此可见，制约静态干涉系统光谱数据处理速度的主要是硬件处理模块和处理算法的设计。

FPGA是基于硬件编程的高速芯片，在大量的光谱数据处理方面具有明显的优势[7-10]。

因为FPGA具有处理速度快、低功耗的特性，所以其被广泛应用于数字信号处理等。