超高速数据采集记录存储回放系统

SAR高速海量数据存储与回放系统设计陶君;袁著;张可;张伟【期刊名称】《电子技术应用》【年(卷),期】2011(37)3【摘要】为了解决SAR匹配成像数据以及合成孔径雷达中频采样后高速海量数据的存储问题,介绍了一种基于FPGA控制的NAND Flash数据存储及回放系统设计方案.实验证明,该系统能以3 Gb/s码流实时存储数据具有强实时性,且性能稳定,有很好的工程使用价值.%The design of NAND flash storage and playback system based on FPGA is presented in this paper to implement the super high-speed storage of SAR image and mass sampling data. Experimental results confirm the control system can realize the real-time storage up to 3 Gb/s. The system possesses some value in engineering applications and the feature of strong real-time, stable.【总页数】4页(P126-129)【作者】陶君;袁著;张可;张伟【作者单位】电子科技大学,电子科学技术研究院,四川,成都,610054;电子科技大学,电子科学技术研究院,四川,成都,610054;电子科技大学,电子科学技术研究院,四川,成都,610054;电子科技大学,电子科学技术研究院,四川,成都,610054【正文语种】中文【中图分类】TP211【相关文献】1.航海雷达数据高速采集回放系统设计与实现 [J], 罗来金;曾连荪;夏念2.SAR高速实时信号处理系统设计 [J], 韩涛;孙娟;于巍巍;雷珺琳3.大容量高速回放系统设计与实现 [J], 黄刚4.多路高速信号采集、记录与回放系统设计 [J], 曾峦; 王元钦; 杨文革5.基于Kubernetes的云原生海量数据存储系统设计与实现 [J], 刘福鑫; 李劲巍; 王熠弘; 李琳因版权原因，仅展示原文概要，查看原文内容请购买。

基于ArcGIS Engine的高速公路车辆轨迹查询与回放系统的设计顾倩文;曾献辉;沈振一【摘要】针对高速公路全程监控系统中车辆流水数据的多源异构特点,提出了采用同步复制技术将各监控子系统的车辆流水数据汇总至监控中心,利用数据同步复制技术形成车辆完整轨迹数据库.采用C#开发语言,结合ArcGIS Engine技术,开发出基于VS 2012平台的车辆轨迹查询与回放系统,实现了实时查询车辆的行车路线,并在地图上动态回放各个时段的车辆运行轨迹.经实际项目测试验证了该系统在交通管理中有很好的实用性.【期刊名称】《东华大学学报（自然科学版）》【年(卷),期】2016(042)006【总页数】6页(P863-868)【关键词】车辆;多源异构;ArcGIS Engine;同步复制;轨迹回放【作者】顾倩文;曾献辉;沈振一【作者单位】东华大学信息科学与技术学院,上海201620;东华大学数字化纺织服装技术教育部工程研究中心,上海201620;东华大学信息科学与技术学院,上海201620;东华大学数字化纺织服装技术教育部工程研究中心,上海201620;东华大学信息科学与技术学院,上海201620;东华大学数字化纺织服装技术教育部工程研究中心,上海201620【正文语种】中文【中图分类】TN311随着社会经济的高速发展和城市化水平的不断提高，机动车数量也迎来了飞速的增长.在社会公共交通管理中，因交通拥堵、交通事故频频发生，对机动车辆进行合理的监控管理已经成了极为重要的部分，高速公路作为一种现代化的公路运输通道，在交通管理中发挥着越来越重要的作用.目前高速公路全程监控系统正在不断完善，高速公路的全程安装了数量巨大的视频监控设施，基本实现了对高速公路全线无盲点监控，建设了全程视频监控系统和辅助交通检测系统.随着全程监控各系统不断地上线投入运营，各高速公路公司的管理人员也逐步体验新监控系统带来的便捷服务.在全程监控系统中，可以通过获取各断面所经过车辆的车牌、时间、车型等车辆的流水数据，利用这些端口采集的数据进行深入的分析，规划整理出有效的车辆信息，实现对过往车辆行驶路径的全程检测，为高速公路的交通管理提供更加有效的手段.本文针对高速公路全程监控系统中的车辆流水数据，实现了将各监控子系统的车辆流水数据汇总至监控中心，利用数据融合技术形成车辆完整轨迹数据库，结合ArcGIS Engine技术，实现了实时查询车辆的行车路线，并在地图上动态回放各个时段的车辆运行轨迹.本文的车辆轨迹查询与回放系统由3部分组成，即数据层、技术服务层、应用层.数据层用来存放所需要的系统数据，包括监控中心数据库、地图数据库；技术服务层提供各种服务组件来访问数据层和响应系统界面所发送的请求；应用层则提供给管理人员数据查询并发送请求，实现电子地图的浏览、车辆轨迹的回放.其系统框架如图1所示.在VS 2012开发环境中，采用C#开发语言，通过连接与访问数据库，采用Geo database管理ArcGIS地图数据库，调用ArcGIS Engine提供的接口实现访问和操作电子地图[1].在高速公路监控系统中，收费站、服务区以及其他众多断面节点基本实现了无盲点监控，各地的子系统卡口采集了所经车辆的车牌、时间、车型等信息.高速公路监控系统将各地采集的车辆流水数据解析后实时传输到监控中心服务器上，其监控网络结构如图2所示.利用数据融合技术形成车辆完整轨迹数据库，用户通过系统的界面窗口查询，结合ArcGIS技术就能精确地显示车辆行驶轨迹，从而实现对车辆位置和状态的查询.车辆轨迹查询系统主要实现管理人员对车辆行驶轨迹的可视化查询管理，除了在正常的监控管理中起到监管作用并防止交通事故的发生，还能对法治车辆的监护、犯罪嫌疑车辆的监控[2-3]以及配合警务人员侦查案件起到很好的作用，该系统的功能从以下3方面进行详细阐述.2.1 多源异构数据的同步复制由于车辆的信息分散在各地的子系统中，一般高速公路的数据源分为3个类别，即收费站、主线卡口、服务区，其特点如下：(1) 各地子系统所选用的数据库类型是多种多样的，例如存在的数据库管理系统有SQL Server 2000、SQL Server 2008、Mysql、Oracle等[4].(2) 数据存放的方式也是不固定的，包括单一表、生成表、按日生成表等.(3) 有些表结构可修改，例如增加sendok字段；有些表结构不能修改，比如按月生成表的情况，因为无法获得生成表的源代码.针对车辆流水数据的多源异构特点，高速公路车辆数据采集模块需要对全线各个站点的子系统中的车辆流水数据实现实时采集，即将各个数据源的数据实时地同步复制到上级监控中心数据库中.由地方数据库将动态产生数据中的关键信息同步到监控中心数据库，其同步复制结构如图3所示.监控中心根据地方子系统，动态地按日或按月生成一张表，表名为“tra ffic_年月日”，traffic表的字段定义如表1所示.同时考虑到数据存放模式的多样性，需灵活地处理数据源，将来自不同数据库类型的数据进行分析处理，并以XML格式配置数据源，将各地的车辆流水数据融合后同步到监控中心的数据库服务器.2.2 电子地图浏览在C#开发环境下建立GIS(geographic information system)的基本应用框架，地图浏览模块利用ArcGIS Engine地图引擎实现图层的加载、关闭、移除，以及地图随机放大、缩小、平移、全屏实现、比例尺等基本功能[1,5].在VS的编译器中添加“ESRI MapControl”控件，ESRI MapControl 是ArcGIS Engine 的一个控件，也是电子地图主视图区的构成控件.在ArcGIS Engine基本应用框架中使用MapControl 和 ToolbarControl 两个控件.MapControl控件主要负责从固定目录中加载地图的mxd文件、管理控件的数据层，并通过监听事件实现与地图的交互.通过调用MapControl控件中的AddLayer、 DeleteLayer、 MoveLayer方法来添加、删除、移动图层[5].修改MapControl控件的Extent 属性值来实现地图的缩放功能，对不同的矩形范围可以实现不同比例的缩放，地图的移动可以通过调用Pan方法来实现.2.3 空间最短路径查询在空间查询中着重介绍两点间最短路径查询，计算最短路径的算法有Dijkstra算法、Floyd 算法、Moore 算法等，但是在ArcGIS Engine 中，对象库已经将最短路径算法封装，在使用时只需调用PathFinder模块，即可实现最短路径分析. PathFinder模块主要是由SolvePath 函数和一些辅助函数(包括OpenFeatureDatasetNetwork函数和PathPolyLine函数)等组成.SolvePath函数主要执行过程如下：程序在开始计算最短路径时，首先调用一个循环，该循环中有两个函数，即GetNearestEdge 和QueryIDs.GetNearestEdge主要是查找输入点的最近边线, QueryIDs是以GetNearestEdge 找到的点为基础，将这些查找到的点变成下一次搜索的起点，通过这两个函数在循环中交替进行计算，查询出最短路径的两点间的所有路径，并保存查询路径的所有节点[6].查询所有路径的部分代码如下：for (int i = 0; i < intCount; i++){INetFlag ipNetFlag = new EdgeFlagClass() as INetFlag;IPoint ipEdgePoint = m_ipPoints.get_Point(i);//查找输入点的最近边线m_ipPointToEID.GetNearestEdge(ipEdgePoint, out intEdgeID, out ipFoundEdgePoint, out dblEdgePercent);ipNetElements.QueryIDs(intEdgeID, esriElementType.esriETEdge, out intEdgeUserClassID, out intEdgeUserID, out intEdgeUserSubID); erClassID = intEdgeUserClassID;erID = intEdgeUserID;erSubID = intEdgeUserSubID;IEdgeFlag pTemp = (IEdgeFlag)(ipNetFlag as IEdgeFlag); pEdgeFlagList[i] = pTemp;}在循环查询后，所查询得到的由各个节点组成的路径并不都是最短路径，因此要进行更深入的分析，通过调用ipNetSchema.WeightByName(WeightName)设置边的权重，可以将边关系中的任何字段作为权重，通过findpath得到边线和交汇点的集合，并根据权重来选出哪些节点组成的路径是最短路径.2.4 ArcMap电子地图的展示电子地图是本文系统的基础，GIS的图层是通过读取Geo database数据库中的数据来显示的.在车辆轨迹查询系统中，为了方便数据的管理，将性质类似的数据放在同一层，并将不同的图层叠加.在本文系统中，地图区域以某省的4个市级区域为主，将地图划分为不同的图层，例如，道路、行政区域、监控点(卡口采集点)等部分，以便于地图的展示和车辆数据的管理，展示出更直观的可视化效果.系统中地图以市级区域矢量图为主，添加图层形成后的展示如图4所示.本文系统要实现车辆轨迹的回放，需要获取所经过路段的监控点信息，通过发送车牌号信息的查询请求，调用GetMinitorPoints函数得到车辆所经过的监控点，调用IgraphicsContainer获取的线元素中包含了车辆经过的监控点的位置信息.遍历所有point名称取得point的信息，调用最佳路径查询算法PathFinder 模块，得到穿越point的线，将这些线合并，调用GetCrossLine函数将合并的线路集成一条线路，将线集合中线的Geometry存入几何集合中，在得出最佳路径后，调用PathPolyLine 函数将最佳路径显示在电子地图上.本文系统以VS 2012为开发工具，ArcGIS Engine为GIS的支撑平台，中心数据库采用SQL Server 2008.车辆轨迹查询系统主要从以下几个方面来实现：数据同步传输、车辆行驶数据查询、车辆轨迹回放.3.1 数据同步传输在本文系统中，监控中心实时获取各地的车辆流水数据，并将获取数据的时间记录保存在监控中心数据库中的track表(同步追踪表)中，track表的定义如表2所示.track表中详细地记录各地获取最新数据的时间点，包括最近一个同步开始时间、最近一次上传结束时间，通过设定时间间隔，保证数据同步的实时性，上传的时间间隔越短，实时性越好.本系统设置时间间隔为60 s，考虑到网络负载能力，采用动态缓存机制提高同步的实时性，减轻网络负荷，即将已同步数据的关键字段保存在缓存中，在同步时只需判断缓存中关键字段是否已存在.数据同步机制的效果如图5所示.在保证数据同步效率的基础上，须保证数据同步过程中没有丢失数据. 3.2 车辆行驶数据查询在完成下级系统的数据同步复制到监控中心之后，在系统的车辆轨迹查询界面输入所需查询车辆的相关信息，向监控中心的数据库服务器发送查询请求，根据查询条件返回车牌号码、车辆的行驶时间、经过的高速路段、采集信息的监控点、车辆行驶的方向，其操作流程如图6所示.根据各地数据库的数据生成模式，在监控中心数据库中每天自动生成一张表，表名为“traffic_年月日”，例如“traffic_20150521”，各地数据库将当天的车辆流水数据解析后同步上传到监控中心数据库服务器.在系统查询界面上输入车牌号码，并选择车辆行驶日期，例如输入车牌号码“浙AA5E76”，车辆行驶日期“20150521”，其数据请求返回结果的界面显示如图7所示，其中的字段包括车牌号码、车辆经过时间、经过的高速路段、采集信息的监控点、车辆行驶的方向.ArcGIS Engine通过返回的监控点数据信息，调用点图层，绘制出车行驶轨迹.3.3 车辆轨迹回放轨迹数据是对车辆空间和时间位置序列变化的采集，而车辆行驶轨迹实际上是车辆在一段时间内行走通过的数据所形成的一条曲线，曲线上的每个点都是道路图层上的监控点.在ArcMap中显示的车辆行驶轨迹就是这些监控点所连接成的一条曲线，而每个监控点的位置就是车辆所经过时刻数据采集卡口的车辆位置，将这条曲线描出显示在电子地图上就是车辆的行驶轨迹.输入车牌号码“浙AA5E76”，输入车辆的行驶日期“20150521”，如图7所示，点击查询按钮，在datagridview控件中显示查询返回的结果.通过读取datagridview中监控点的信息，在图层遍历出这些监控点，按照顺序将监控点两两之间查询出空间最短路径，并调用PathPolyLine 函数进行轨迹描绘，得到的曲线集就是车辆行驶的完整轨迹路线.在ArcMap图中，设置ESRI(environmental systems research institute)Arc GIS符号库里的符号来标志车辆行驶的起点和终点，可更方便直观地显示车辆行驶的路线，如图8所示.由图8可以详细地知道车辆行驶路段、行驶方向，同时结合实际的道路状况，在某些监控卡口的采集信息丢失从而导致车辆线路中断的情况下，仍旧能够描绘出车辆的行驶轨迹，保证了数据查询的可靠性、有效性，同时方便管理人员更有力地监控车辆的行踪.本文运用ArcGIS Engine技术，在VS 2012平台上成功开发了车辆轨迹查询与回放系统，该系统有机地结合车辆监控采集系统，动态获取监控点的信息，通过绘制监控点的集合路线，实时监控追踪车辆的行驶路线及方向，为营运管理提供更加有效的管理手段.通过结合高速公路的监控系统的实际项目进行了测试，表明该系统实现方法简单、效率高，能满足用户在实际应用中对车辆监控的需求.【相关文献】[1] 吴建华.基于Arc GIS Engine 的车辆监控GIS 系统开发[J].地球信息科学学报，2011，13(1)：8894.[2] 宋明月，贾远信，王文华，等.基于Arc GIS Engine 的车辆轨迹回放系统的实现[J]. 哈尔滨师范大学自然科学学报，2011，27(3)：5558.[3] 苏子林，韩晓玲.基于GIS/GPS/GSM 的车辆监控系统的设计与实现[J].计算机工程与应用, 2003,39(19):206226.[4] 何超，彭慧，尚文利.利用ArcGIS Silverlight 实现的车辆监控技术[J].自动化仪表，2013，34(7):5457.[5] 张磊.基于GIS和GPS的车辆实时监控系统的设计与实现[D].苏州：苏州大学计算机学院，2013.[6] 李春立，曾致远，徐学军.基于 ArcGIS Engine 的车辆监控系统[J].计算机工程，2006，32(24)：257259.。

adas数据回灌方案ADAS（Advanced Driver Assistance Systems）是指先进驾驶辅助系统，它使用各种传感器和智能算法来增强驾驶员的安全和舒适性。

对于ADAS系统的开发和测试，数据回灌是一个非常重要的环节。

本文将介绍ADAS数据回灌的方案。

一、数据回灌的意义ADAS系统的开发与测试需要大量的数据支持，这些数据包括传感器数据、车辆状态数据、环境数据等。

传统的数据采集方法往往存在成本高、难以复现特定场景、数据量有限等问题。

而数据回灌则可以解决这些问题，它可以将实际场景中采集到的数据通过回放的方式再次输入到测试系统中，从而实现对特定场景的模拟和测试。

二、数据回灌方案1. 数据采集与存储数据回灌的第一步是进行数据采集和存储。

这里需要使用各种传感器来采集车辆行驶过程中的各种数据，比如摄像头、雷达、激光雷达等。

同时，还需要采集车辆状态数据和环境数据。

采集到的数据可以通过存储设备（如硬盘、固态硬盘等）进行存储，也可以通过云存储等方式进行远程存储。

2. 数据处理与标注采集到的原始数据通常需要进行处理和标注，以便后续的数据回灌使用。

数据处理包括数据清洗、数据分割、数据格式转换等。

数据标注则是为数据添加标签和注释，比如车辆位置、车道线、交通标志等。

数据处理和标注的目的是为了提高数据的质量和可用性。

3. 数据回放与仿真数据回放是数据回灌的核心环节。

通过将采集到的数据再次输入到测试系统中，可以模拟实际场景并进行各种测试和验证。

数据回放可以通过硬件设备来实现，比如使用专门的数据采集卡和信号发生器。

另外，还可以使用仿真软件来进行虚拟回放，这种方式可以满足大部分的测试需求。

4. 数据评估与优化数据回灌之后，需要对测试结果进行评估和优化。

评估主要是通过与实际场景进行对比，分析测试结果的准确性和可靠性。

如果测试结果不理想，就需要对数据进行优化，比如增加数据量、调整数据标注等。

三、数据回灌的应用ADAS数据回灌可以广泛应用于ADAS系统的开发和测试过程中。

汇报人：日期:CATALOGUE目录•系统概述•监控功能实现•系统集成与数据分析•系统优势与展望系统概述0102它通过对服务区、公路等区域进行实时监测，提升高速公路的安全性和通行效率，降低交通事故的发生率。

高速服务区公路监控系统是一款集成了视频监控、交通流量检测、应急管理等功能的综合性系统。

安全监控交通疏导应急管理数据分析01020304确保高速公路服务区的安全，减少偷盗、破坏等行为。

通过实时监测交通流量，有效疏导车辆，减少交通拥堵。

在突发事件发生时，能够快速响应，提高应急处理能力。

对监测数据进行统计分析，为高速公路管理提供决策支持。

感知层：包括摄像头、交通流量传感器等设备，用于实时数据采集。

传输层：利用高速网络，将感知层的数据传输至处理层。

处理层：对传输过来的数据进行处理分析，包括图像识别、交通流量统计等。

应用层：将处理后的数据呈现给用户，包括实时监控画面、交通流量报表等。

存储层：用于存储历史数据，以便后续查询和分析。

通过以上架构，高速服务区公路监控系统能够实现对高速公路服务区的全方位监测和管理，提升公路运营的安全性和效率。

监控功能实现多角度监控为确保全方位监控，摄像机应部署在多个角度，包括入口、出口、交汇处、停车区等，确保无死角监控。

视频捕捉与传输通过在服务区公路关键位置部署高清摄像机，实时捕捉公路上的视频画面，并通过稳定可靠的网络传输技术，将视频数据实时传输至监控中心。

视频存储与回放对传输至监控中心的视频数据进行存储，以便后续回放和查证。

实时视频监控通过地感线圈、微波检测器等交通流量检测设备，实时收集服务区公路的交通流量数据，并进行实时分析。

数据采集与分析当交通流量超过一定阈值时，系统应自动发出拥堵预警，提醒管理人员及时采取疏导措施。

拥堵预警将收集到的交通流量数据进行可视化展示，直观呈现服务区公路的交通状况。

流量数据可视化交通流量监测报警与通知一旦发现异常事件，系统应立即触发报警机制，通知相关人员进行处理，同时通过可变情报板等设备向公众发布安全提示。

高速公路监控系统方案一、引言二、系统概述（一）系统目标高速公路监控系统的主要目标是实时监测高速公路的交通状况、路况信息、车辆行驶情况等，及时发现异常事件，如交通事故、拥堵、恶劣天气等，并采取相应的措施，保障道路的安全畅通，提高交通运输效率。

（二）系统功能1、交通流量监测通过安装在道路上的车辆检测器，实时采集车辆的数量、速度、车型等信息，为交通管理部门提供准确的交通流量数据，以便进行交通规划和调控。

2、路况监测利用视频监控设备、气象传感器等，对道路的路面状况、能见度、温度、湿度等进行监测，及时发现道路损坏、积水、结冰等情况，为道路维护和交通安全提供保障。

3、事件监测与报警通过视频分析技术、传感器等手段，自动检测交通事故、车辆故障、违法停车、逆行等异常事件，并及时发出报警信号，通知相关部门进行处理。

4、信息发布将监测到的交通信息通过可变情报板、广播、互联网等渠道向驾驶员发布，引导车辆合理行驶，缓解交通拥堵。

三、系统组成（一）前端采集设备1、摄像机在高速公路沿线、收费站、服务区等重要位置安装高清摄像机，实现对道路的实时视频监控。

摄像机应具备日夜转换、自动聚焦、远程控制等功能。

2、车辆检测器采用环形线圈检测器、微波检测器、视频检测器等设备，检测车辆的通过时间、速度、车型等信息。

3、气象传感器安装温度传感器、湿度传感器、风速传感器、能见度传感器等，实时监测道路的气象状况。

（二）传输网络1、有线传输利用高速公路沿线的通信光缆，构建专用的传输网络，将前端采集设备的数据传输至监控中心。

2、无线传输对于一些偏远地区或临时监测点，可以采用无线通信技术，如4G/5G 网络、卫星通信等，实现数据的传输。

（三）监控中心1、服务器安装数据库服务器、应用服务器等，负责存储和处理采集到的数据。

2、监控终端配备大屏幕显示系统、操作控制台等设备，供监控人员实时查看道路状况、处理报警事件、发布信息等。

3、存储设备采用磁盘阵列等存储设备，对视频数据、交通数据等进行长期保存，以便后续查询和分析。

1 引言随着海量数据传输存储系统的应用越来越广泛,对传输总线带宽的要求越来越高。

高速串行总线以其优越的性能在数据传输系统中得到了广泛的应用。

这当中最具代表性的莫过于PCI Express总线。

同时,伴随着FPGA技术的大规模的应用,越来越多的大型系统采用PCI Express总线连接FPGA处理板和PC以实现数据的交互。

尽管很多FPGA公司推出了基于PCI Express协议相关的IP硬核,但是掌握这些硬核的使用需要对PCI Express 协议具有一定的了解,而且直接使用硬核,带宽很小,开发难度大,移植性差等缺点这些都是造成目前PCI Express接口设计的瓶颈。

为了降低开发难度,提高带宽和移植性,许多现有的方案是在PCI Express硬核中加入高速DMA控制器单元,以此来达到设计需求。

本文提出了一种基于Xilinx FPGA的PCI Express 3.0接口的新型DMA控制器架构,以提高数据传输效率,通道带宽,灵活性和可靠性。

硬件方面,我们基于 X i l i n x 公司的 F P G A 芯片XC7VX690T-2FFG1761C,实现了PCI Express 3.0 的硬件接口;软件方面,基于Windows驱动内核,设计了支持scatter/gather、MSI中断等机制的上位机驱动。

整个系统参照PCI Express 3.0协议规范,最终实现了以DMA方式进行高速数据传输的验证平台,实现了数据从板卡到PC端、由PC端到板卡的高速通信。

2 PCI Express总线简介PCI Express总线技术是取代PCI的第三代I/O技术。

PCI Express总线是为计算机和通讯平台定义的一种高性能、通用I/O互联总线。

至今已经发布了3个正式版本:PCI Express 1.0、PCI Express 2.0、PCI Express 3.0。

单向单通道带宽分别为:250MB/s, 500MB/s, 1GB/s。