如何使实时数据采集处理系统保持数据的高速传输
1 引言
当前，越来越多的设计应用领域要求具有高精度的A／D转换和实时处理功能。在实时数据采集处理系统设计中，一般需要考虑数据采集以及对采集数据的处理。而对于大数据量的实时数据采集处理系统来说，保持数据高速传输也是该系统性能的关键因素。
采用TMS320VC5402和转换器ADuC841构成双CPU处理器平台，充分利用TMS320VC5402的对大容量数据和复杂算法的处理能力，ADuC841接口的控制能力以及各自拥有的DMA控制器构建实时数据采集处理系统。双CPU通过DMA方式实现数据交换，将数据传输和系统控制分开，提高了数据传输速度，降低了处理器负担，提高系统运行效率。采用此解决方案。大大提高了系统的信号采集和处理能力。
2系统硬件设计
2.1 ADuC841简介
ADuC841是ADI公司ADuC84X系列中性能最完善的一款微转换器，它具有单周期指令，20 MI／s的8052内核；内置一个8通道、高速420 Ks／s、高精度自校正、12位逐次逼近的ADC，具有DMA控制：2通道12位DAC；2通道PWM方式∑-△型DAC；片上15 ppm／℃高稳定电压基准；片上温度传感器；62 KB片内Flash／EE程序存储器；4 KB 的片内Flash／EE数据存储器。还包括看门狗定时器和电源.、ADC与数据存储器之间的DMA方式、存储保护功能、通用异步串行收发器(UART)、SPI和I2C总线接口等功能模块。
ADuC841片内的ADC的转换速率为2.38μs／次(420 kHz的采样率)。当A／D转换时，ADuC841必须在2μs内读取A／D转换结果并将其传输且存储到外部存储器中以便后续处理，否则将导致下一个转换结果出现后丢失前一个转换结果。由于中断服务子程序中存储转换结果和微转换器跳转到ADC的中断服务子程序都需要时间，因此很多应用无法响应高的中断速率。采用ADC的DMA方式传输数据能够解决上述问题，通过设置特殊功能寄存器ADCCON2中的中断响应位即可使能ADC的DMA方式。这种方式下，无需CPU
信息采集系统解决方案
信息采集系统解决方案 1系统概述 信息采集是信息服务的基础，为信息处理和发布工作提供数据来源支持。信息数据来源的丰富性、准确性、实时性、覆盖度等指标是信息服务的关键一环，对信息服务质量的影响至关重要。针对交通流信息数据，包括流量、速度、密度等，目前主要是基于微波、视频、地磁等固定车辆检测器以及浮动车等移动式车辆检测器进行采集，各种采集方式都存在响应的利弊。针对车驾管以及出入境数据，包括车辆信息、驾驶人信息、出入境办证进度信息等，主要是通过和公安相关的数据库进行对接，此类信息将在信息分析处理系统进行详细介绍。 针对目前交通信息来源的多样性以及今后服务质量水平发展对信息来源种类扩展要求，需要建设一套统一的，具备良好兼容性和前瞻性的交通信息统一接入接口。一方面，本期项目的各种交通信息来源可以使用该接口进行数据接入，另一方面，当新的或第三方的交通信息来源需要加入到本系统中来时，可以使用该接口进行数据接入，不需要再次投入资源进行额外开发。 统一接入接口建成后，根据各种数据来源系统的网络环境、系统技术特性和交通流信息数据特点，开发相应的交通信息数据对接程序，逐一完成微波采集系统、浮动车分析系统、人工采集等来源的交通信息数据采集接入。 2系统架构及功能介绍 2.1统一接入接口 统一接入接口的建设的关键任务包括接口技术规范制定、路网路段编码规则约定及交通信息数据结构约定等多个方面。
2.1.1接口技术规范 一方面由于本系统接入的交通信息数据来源多样，开发语言和系统运行的环境均存在差异，不具备统一的技术特性；另一方面，考虑到以后可能需要接入更多新的或第三方的信息系统作为数据来源，应当选择较成熟和通用的接口实现技术作为本项目的交通流信息采集统一接入接口实现技术。 根据目前信息系统建设的行业现状，选择Web Service和TCP/UDP Socket 作为数据传输接口的实现技术是较优的选择。Web Service和TCP/UDP Socket 具有实时性强、通用性强、应用广泛、技术支持资源丰富等优势，可以实现跨硬件平台、跨操作系统、跨开发语言的数据传输和信息交换。 项目实施时需要根据现有的信息采集系统的技术特点来具体分析，以选定采用Web Service或TCP/UDP Socket作为接口实现技术，必要时可以两种方式并举，提供高兼容度的接口形式。 为了保护接入接口及其数据传输的安全性，避免恶意攻击访问，避免恶意数据窃取，可以使用身份认证、加密传输等技术来加以保证。 统一数据采集接口的工作流程可以如下进行：
实时计算，流数据处理系统简介与简单分析 发表于2014-06-12 14:19| 4350次阅读| 来源CSDN博客| 8条评论| 作者va_key 大数据实时计算流计算 摘要：实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。 编者按：互联网领域的实时计算一般都是针对海量数据进行的，除了像非实时计算的需求（如计算结果准确）以外，实时计算最重要的一个需求是能够实时响应计算结果，一般要求为秒级。实时计算的今天，业界都没有一个准确的定义，什么叫实时计算？什么不是？今天这篇文章详细介绍了实时计算，流数据处理系统简介与简单分析。 以下为作者原文： 一．实时计算的概念 实时计算一般都是针对海量数据进行的，一般要求为秒级。实时计算主要分为两块:数据的实时入库、数据的实时计算。 主要应用的场景： 1) 数据源是实时的不间断的，要求用户的响应时间也是实时的（比如对于大型网站的流式数据：网站的访问PV/UV、用户访问了什么内容、搜索了什么内容等，实时的数据计算和分析可以动态实时地刷新用户访问数据，展示网站实时流量的变化情况，分析每天各小时的流量和用户分布情况） 2) 数据量大且无法或没必要预算，但要求对用户的响应时间是实时的。比如说： 昨天来自每个省份不同性别的访问量分布，昨天来自每个省份不同性别不同年龄不同职业不同名族的访问量分布。 二．实时计算的相关技术 主要分为三个阶段（大多是日志流）: 数据的产生与收集阶段、传输与分析处理阶段、存储对对外提供服务阶段
下面具体针对上面三个阶段详细介绍下 1）数据实时采集： 需求：功能上保证可以完整的收集到所有日志数据，为实时应用提供实时数据；响应时间上要保证实时性、低延迟在1秒左右；配置简单，部署容易；系统稳定可靠等。 目前的产品：Facebook的Scribe、LinkedIn的Kafka、Cloudera的Flume，淘宝开源的TimeTunnel、Hadoop的Chukwa等，均可以满足每秒数百MB的日志数据采集和传输需求。他们都是开源项目。 2）数据实时计算 在流数据不断变化的运动过程中实时地进行分析，捕捉到可能对用户有用的信息，并把结果发送出去。 实时计算目前的主流产品：
激光雷达高速数据采集系统解决方案 0、引言 1、 当雷达探测到目标后, 可从回波中提取有关信息，如实现对目标的距离和空间角度定位,并由其距离和角度随时间变化的规律中得到目标位置的变化率，由此对目标实现跟踪; 雷达的测量如果能在一维或多维上有足够的分辨力, 则可得到目标尺寸和形状的信息; 采用不同的极化方法，可测量目标形状的对称性。雷达还可测定目标的表面粗糙度及介电特性等。接下来坤驰科技将为您具体介绍一下激光雷达在数据采集方面的研究。 1、雷达原理 目标标记： 目标在空间、陆地或海面上的位置, 可以用多种坐标系来表示。在雷达应用中, 测定目标坐标常采用极(球)坐标系统, 如图1.1所示。图中, 空间任一目标P所在位置可用下列三个坐标确定: 1、目标的斜距R； 2、方位角α；仰角β。 如需要知道目标的高度和水平距离, 那么利用圆柱坐标系统就比较方便。在这种系统中, 目标的位置由以下三个坐标来确定: 水平距离D，方位角α，高度H。 图1.1 用极(球)坐标系统表示目标位置
系统原理： 由雷达发射机产生的电磁能, 经收发开关后传输给天线, 再由天线将此电磁能定向辐射于大气中。电磁能在大气中以光速传播, 如果目标恰好位于定向天线的波束内, 则它将要截取一部分电磁能。目标将被截取的电磁能向各方向散射, 其中部分散射的能量朝向雷达接收方向。雷达天线搜集到这部分散射的电磁波后, 就经传输线和收发开关馈给接收机。接收机将这微弱信号放大并经信号处理后即可获取所需信息, 并将结果送至终端显示。 图1.2 雷达系统原理图 测量方法 1）.目标斜距的测量 雷达工作时, 发射机经天线向空间发射一串重复周期一定的高频脉冲。如果在电磁波传播的途径上有目标存在, 那么雷达就可以接收到由目标反射回来的回波。由于回波信号往返于雷达与目标之间, 它将滞后于发射脉冲一个时间tr, 如图1.3所示。 我们知道电磁波的能量是以光速传播的, 设目标的距离为 R, 则传播的距离等于光速乘上时间间隔, 即2R=ct r 或 2 r ct R
数据库实时同步技术解决方案 一、前言 随着企业的不断发展，企业信息化的不断深入，企业内部存在着各种各样的异构软、硬件平台，形成了分布式异构数据源。当企业各应用系统间需要进行数据交流时，其效率及准确性、及时性必然受到影响。为了便于信息资源的统一管理及综合利用，保障各业务部门的业务需求及协调工作，常常涉及到相关数据库数据实时同步处理。基于数据库的各类应用系统层出不穷，可能涉及到包括ACCESS、SQLSERVER、ORACLE、DB2、MYSQL等数据库。目前国内外几家大型的数据库厂商提出的异构数据库复制方案主要有：Oracle的透明网关技术，IBM的CCD表（一致变化数据表）方案，微软公司的出版者/订阅等方案。但由于上述系统致力于解决异构数据库间复杂的交互操作，过于大而全而且费用较高，并不符合一些中小企业的实际需求。 本文结合企业的实际应用实践经验，根据不同的应用类型，给出了相应的数据库实时同步应用的具体解决方案，主要包括： (1) SQLSERVER 到SQLSERVER 同步方案 (2) ORACLE 到SQLSERVER 同步方案 (3) ACCESS 到SQLSERVER/ORACLE 同步方案
二、异构数据库 异构数据库系统是相关的多个数据库系统的集合，可以实现数据的共享和透明访问，每个数据库系统在加入异构数据库系统之前本身就已经存在，拥有自己的DMBS。异构数据库的各个组成部分具有自身的自治性，实现数据共享的同时，每个数据库系统仍保有自己的应用特性、完整性控制和安全性控制。异构数据库的异构性主要体现在以下几个方面： 1、计算机体系结构的异构 各数据库可以分别运行在大型机、小型机、工作站、PC嵌入式系统中。 2、基础操作系统的异构 各个数据库系统的基础操作系统可以是Unix、Windows NT、Linux等。 3、DMBS本身的异构 可以是同为关系型数据库系统的Oracle、SQL Server等，也可以是不同数据模型的数据库，如关系、模式、层次、网络、面向对象，函数型数据库共同组成一个异构数据库系统。 三、数据库同步技术
工业实时数据库KingHistorian功能及案例 北京亚控科技发展有限公司
目录 一．工业库KingHistorian主要特性 (3) 1. 性能参数及对比 (3) 2. 变量数值与时间戳的高分辨率 (4) 3. 更加丰富的数据类型 (4) 4. 高效的数据压缩算法 (4) 5. 强大的计算引擎 (4) 6. 事务、复制、DML命令和版本跟踪 (4) 7. 功能强大可视化的管理和数据分析工具 (5) 8. 支持多个节点同时运行各种接口类型的数据源 (5) 9. 开放的数据访问接口 (5) 10. 开放的变成借口和开发工具包 (6) 11. 全面的本地化（国际化）语言支持和时区 (6) 12. 良好的安全性，提供严格的用户认证、权限管理和审计手段 (6) 13. 高可用性、高容错性（健壮性）和高可靠性，支持双机冗余配置 (6) 14. 良好的集成能力、伸缩性和可扩展性 (6) 15. 分布式客户机/服务器体系结构，跨越所有支持TCP/IP的网络 (6) 二．案例介绍 (6) 1. 煤矿企业综合自动化系统 (7) 2. 台湾中港泵站监控系统 (10) 3. 上海白龙港污水处理长污水处理系统 (14) 4. 奉贤排水运营中心远程监控系统 (15) 5. 三一重工实时数据库项目 (18) 6. 浙江盾安人工环境客户服务系统 (20) 7. 上海青草沙水原地工程5号沟部分 (23)
工业库KingHistorian主要特性 1)性能参数及对比?： 存储速度：每秒可存储（插入）超过300,000个输入值； 检索速度：单点检索每秒查询多达100,000条记录；并发检索每秒查询多达20,000条记录； 数据点数：单台服务器可最多存储1，000,000个数据点的历史数据； 数据容量：可以保存长达数月甚至数年的历史数据保存和归档，最长保存10年历史数据，数据文件占有的磁盘空间可高达几十TB； 并发客户：支持最多256个并发客户同时存储和检索实时及历史数据； 三一集团测试项目：测试数据60万点，数据量240亿条记录（客户半年的真实数据3万多点，207万条关系记录进行数据迁移，复制20份）。 ?数据迁移过程迅速、稳定，迁移数据完全正确，单采集器平均插入速度为158,736条/s，，工业 库平均插入速度为3,046,220条/s。 ?测试数据查询5万条记录，2秒以内完成；30万条记录，5秒以内完成；200万条记录，14秒 完成，1900万条记录，240秒完成。 ?并发测试300-500客户端，测试插入、查询，性能稳定。 与PI性能的对比： 2)变量数值与时间戳的高分辨率?： 时间戳分辨率：毫秒 整型变量：64位 模拟变量：双精度（64位） 3)更加丰富的数据类型?：
实时数据采集系统项目解决方案
目录 1、背景 (2) 1. 1、引言 (2) 1．2、项目目标 (2) 2、应用系统体系结构 (3) 2.1、实时数据采集系统的原理构架 (3) 3、实时数据采集系统的主要功能….. .............................................................. .3 4、实时数据采集系统主要技术特征 (4) 4.1、数据传输方面 (5) 4.2、数据存储方面 (5) 4.3、历史数据 (5) 4.4、图形仿真技术 (5) 5、实时数据采集系统性能特征 (5) 5.1、数据具有实时性 (6) 5.2、数据具有稳定性 (6) 5.3、数据具有准确性 (6) 5.4、数据具有开放性 (6) 6、DCS及实时数据采集机连接说明 (6) 7、系统运行环境说明 (7) 7.1系统网络环境说明 (8) 7.2硬件环境说明 (8)
1、背景 1. 1、引言 随着国家大力推进走新型工业化道路，以信息化带动工业化，以工业化促进信息化。电力企业面临着日趋激烈的竞争。降低成本，提高生产效率，快速响应市场，是电力企业不断追求的目标。要实现上述目标，必须把企业经营生产中的各个环节，包括市场分析、经营决策、计划调度、过程监控、销售服务、资源管理等全部生产经营活动综合为一个有机的整体，实现综合信息集成，使企业在经营过程中保持柔性，因此，建立全厂统一的生产实时数据平台，就成了流程企业今后生产信息化的关键。 1．2、项目目标 “实时数据采集系统”是为生产过程进行实时综合优化服务信息系统提供数据基础。 企业信息化建设的关键问题是集成，即在获取生产流程所需全部信息的基础上，将分散的控制系统、生产调度系统和管理决策系统有机地 集成起来，不同业务和系统间能够实时的交换和共享数据。 ?建立统一的企业数据模型。 ?解决分期建设的不同应用系统、不同电厂之间彼此隔离、互不匹配、 互不共享的“信息孤岛”问题。 ?保证数据来源一致性，提高数据经过层层抽取之后的可信度。 ?汇总、分析和展示企业历史的业务数据。 ?企业管理层能够直接根据各个电厂的真实数据进行统计数据、分析 逐步钻取直到数据根源。 ?透明底层的数据，监督统计分析数据的准确性。
毕业设计（论文） 题 目： 语音播报实时数据处理系统的设计与实现 学生姓名： 学 号： 所在学院： 专业班级： 届 别： 指导教师：
本科毕业设计（论文）创作诚信承诺书 1.本人郑重承诺：所提交的毕业设计（论文），题目《基于单片机的实验室环境检测》是本人在指导教师指导下独立完成的，没有弄虚作假，没有抄袭、剽窃别人的内容； 2.毕业设计（论文）所使用的相关资料、数据、观点等均真实可靠，文中所有引用的他人观点、材料、数据、图表均已标注说明来源； 3. 毕业设计（论文）中无抄袭、剽窃或不正当引用他人学术观点、思想和学术成果，伪造、篡改数据的情况； 4.本人已被告知并清楚：学校对毕业设计（论文）中的抄袭、业设计（论文）成绩不合格，无法正常毕业、取消学士学位资格或注销并追回已发放的毕业证书、学士学位证书等严重后果； 5.若在省教育厅、学校组织的毕业设计（论文）检查、评比中，被发现有抄袭、剽窃、弄虚作假等违反学术规范的行为，本人愿意接受学校按有关规定给予的处理，并承担相应责任。 学生（签名）： 日期：年月日 目录
1绪论 (2) 2系统设计 (3) 2.1设计需求 (3) 2.2系统原理 (3) 3系统硬件设计 (4) 3.1电源模块 (4) 3.2微控制器模块 (5) 3.3非特定人声语音模块 (5) 3.4 DHT11数字温\湿度传感器 (7) 3.5 ENC28J60以太网模块 (9) 4系统软件设计 (10) 4.1整体流程 (10) 4.2以太网模块软件方案 (12) 4.3语音模块软件方案 (13) 5 系统调试 (14) 5.1硬件电路故障及解决方法 (15) 5.2硬件调试方法 (15) 6结束语 (15) 参考文献: (17)
实时数据采集系统方案
实时数据采集系统《项目解决方案》 实时数据采集系统 项目解决方案 0 实时数据采集系统《项目解决方案》 目录 1、背 景 ..................................................................... .................................... 2 1. 1、引 言 ..................................................................... ..................... 2 1(2、项目目 标 ..................................................................... ............. 2 2、应用系统体系结 构 ..................................................................... .............. 3 2.1、实时数据采集系统的原理构架…………………………………..3 、实时 数据采集系统的主要功 能….. ........................................................... .3 3 4、实时数据采集系统主要技术特 征 .............................................................. 4
4.1、数据传输方面……………………………………………………..5 4.2、数据存储方面……………………………………………………..5 4.3、历史数据…………………………………………………………...5 4.4、图形仿真技术……………………………………………………..5 5、实时 数据采集系统性能特 征 ...................................................................... 5 5.1、数据具有实时性…………………………………………………..6 5.2、数据具有稳定性…………………………………………………..6 5.3、 数据具有准确性…………………………………………………6 5.4、数据具有开放性…………………………………………………..6 6、DCS 及实时数据采集机连接说 明 ............................................................. 6 7、系 统运行环境说 明 ..................................................................... ................ 7 7.1 系统网络环境说明………………….……………………………....8 7.2 硬件环境说明……………………………………………………….8 1 实时数据采集系统《项目解决方案》 1、背景 1. 1、引言 随着国家大力推进走新型工业化道路，以信息化带动工业化，以工业化促进信 息化。电力企业面临着日趋激烈的竞争。降低成本，提高生产效率，快速响应市
数据采集系统的历史与发展 数据采集系统起始于20设计50年代，1956年美国首先研究了用在军事上的测试系统，目标是测试中不依靠相关的测试文件，由非熟练人员进行操作，并且测试任务是由测试设备高速自动控制完成的。由于该种数据采集测试系统具有高速性和一定的 灵活性可以满足众多传统方法不能完成的数据采集和测试任务，因而得到了初步的认可。大约在60年代后期，国外就有成套的数据采集设备产品进入市场，此阶段的数据采集设备和系统多属于专业的系统。 20世纪70年代中后期，随着微型的发展，诞生了采集器，仪表同计算机溶于一 体的数据采集系统。由于这种数据采集系统的性能优良，超过了传统的自是这一类的 典型代表。这种接口系统采用积木式结构，把相应的接口卡装在专用的机箱内，然后 由一台计算机控制。第二类系统在工业现场应用较多。这两种系统中，如果采集测试 任务改变，只需将新的仪用电缆接入系统，或将新卡在添加的专业的机箱里即可完成 硬件平台中建，如果采集测试任务改变，只需将新的仪用电缆接入系统，或将新卡再 添加到专用的机箱即可完成硬件平台重建，显然，这种系统比专用系统灵活得多。20 世纪80年代后期，数据采集系统发生了极大的变化，工业计算机，单片机和大规模集成电路的组合，用软件管理，使系统的成本降低，体积减小，功能成倍增加，数据处 理能力大大加强。 20世纪90年代至今，在国际上技术先进的国家，数据采集技术已经在军事，航 空电子设备及宇航技术，工业等领域被广泛应用。由于集成电路制造技术的不断提高，出现了高性能，高可靠性的单片数据采集系统（DAS）。目前有的DAS产品精度已达16位，采集速度每秒达到几十万次以上。数据采集技术已经成为一种专门的技术，在工业领域得到了广泛的应用。该阶段数据采集系统采用更先进的模块式结构，根据不 同的应用要求，通过简单的增加和更改模块，并结合系统编程，就可扩展或修改系统，迅速地组成一个新的系统。该阶段并行总线数据采集系统高速，模块化和即插即用方 向发展，典型系统有VXI总线系统，PCI,PXI总线系统等，数据位以达到32位总线宽度，采用频率可以达到100MSps。由于采用了高密度，屏蔽型，针孔式的连接器和卡 式模块，可以充分保证其隐定性急可靠性，但其昂贵的价格是阻碍它在自动化领域取 得了成功的应用。 串行总线数据采集系统向分布式系统结构和智能化方向发展，可靠性不断提高。 数据采集系统物理层通信，由于采用RS485双绞线，电力载波，无线和光纤，所以其技术得到了不断发展和完善。其在工业现场数据采集和控制等众多领域得到了广泛的 应用。由于目前局域网技术的发展，一个工厂管理层局域网，车间层的局域网和底层 的设备网已经可以有效地连接在一起，可以有效地把多台数据采集设备联在一起，以 实现生产环节的在线实时数据采集与监控。
移动数据采集解决方案 由于移动终端的携带方便，信号覆盖广，操作便捷等优势，使得移动终端已经成为生活必带随身用品，人们对其给予了越来越高的关注与期望。 企业和政府依托移动终端，采用无线数据传输技术、定位技术、通过事件分类编码体系、地理编码体系，形成科学的数据采集和更新机制，完成对流程、管理问题的表单、图像、声音和位置信息实时传递，实现精确、快捷、高效、可视化、全时段、全方位覆盖的管理模式，实现应用与管理方式的多样化。 一、移动终端应用分析 传统的数据采集方式的问题： 依赖于纸质表格和手工填报，之后输入至相关的计算机系统。这样的操作方式存在很多问题，如手段单一、数据传递不及时、无法确认数据采集的地理位置、时间等。 数据质量难以保证。 数据采集的过程无法监控。 大量繁杂的事后录入工作，不但增加了工作量，录入错误的几率也很高。
传统数据获取方式的问题： 要求复杂的数据交互，同时兼顾现场数据查询和数据录入。 需要固定场所、固定布局的企业和政府信息化建设。 人们需要在企业、政府的内网完成数据查询与阅览。而随时随地的获取所需信息至关重要。人们不可能将海量数据带在身边，尤其是当这些数据存储在内网的数据库中的时候。 二、数据采集解决方案 移动数据采集系统以移动终端为载体，结合2G/3G等移动通信网络，建立起一套可移动化的信息系统，通过将企业、政府的内部办公、业务系统扩展到移动终端的方式，帮助用户摆脱时间和空间的限制，使用户随时随地关联内网系统，获取所需任务与信息，按照标准化的工作流程，快速执行采集任务的填报工作，完成对文字、表单、图像、声音和位置信息的采集和实时传递，保证采集任务的快速构建和及时传输、摆脱地域性和网络资源设备的限制，实现精确、快捷、高效、可视化的数据采集模式。 通过整合移动数据采集、信息查询、第三方系统等，形成一套完备的移动应用平台，终端应用可完成数据录入、查询展示等功能，后台管理系统用于接收终端上报的采集数据、管理任务分类和派发、查看任务进展、信息反馈、数据统计、分析和展示以及工作监督等相关工作。
实时数据库之数据采集及全球DCS索引 实时数据库（RTDB－Real Time DataBase）是数据库系统发展的一个分支，是数据库技术结合实时处理技术产生的。实时数据库系统是开发实时控制系统、数据采集系统、CIMS 系统等的支撑软件。在流程行业中，大量使用实时数据库系统进行控制系统监控，系统先进控制和优化控制，并为企业的生产管理和调度、数据分析、决策支持及远程在线浏览提供实时数据服务和多种数据管理功能。实时数据库已经成为企业信息化的基础数据平台。 实时数据库的一个重要特性就是实时性，包括数据实时性和事务实时性。数据实时性是现场IO数据的更新周期，作为实时数据库，不能不考虑数据实时性。一般数据的实时性主要受现场设备的制约，特别是对于一些比较老的系统而言，情况更是这样。事务实时性是指数据库对其事务处理的速度。它可以是事件触发方式或定时触发方式。事件触发是该事件一旦发生可以立刻获得调度，这类事件可以得到立即处理，但是比较消耗系统资源；而定时触发是在一定时间范围内获得调度权。作为一个完整的实时数据库，从系统的稳定性和实时性而言，必须同时提供两种调度方式。 针对不同行业不同类型的企业，实时数据库的数据来源方式也各不相同。总的来说数据的主要来源有DCS控制系统、由组态软件＋PLC建立的控制系统、数据采集系统（SCADA）、关系数据库系统、直接连接硬件设备和通过人机界面人工录入的数据。根据采集的方式方法可以分为：支持OPC协议的标准OPC方式、支持DDE协议的标准DDE通讯方式、支持MODBUS 协议的标准MODBUS通信方式、通过ODBC协议的ODBC通信方式、通过API编写的专有通信方式、通过编写设备的专有协议驱动方式等等。 由于实时数据库主要是为大型企业服务的，大部分情况是采集DCS系统的数据，到目前为止全球主要的DCS系统列表如下： 序号 DCS类型生产厂家 1 S9000 HONEYWELL 2 TDC3000 - CM50 HONEYWELL US HONEYWELL 3 TDC3000 – 4 TDC3000X - UxS HONEYWELL 5 TDC3000X - AxM HONEYWELL 6 TDC2000 HONEYWELL 7 R150 HONEYWELL 8 PlantScape HONEYWELL 9 TPS - GUS HONEYWELL APP HONEYWELL - 10 TPS 11 UMC800 HONEYWELL Hc900 HONEYWELL 12 Plant Vista 13 PKS HONEYWELL 14 STARDOM横河（YOKOGAWA） 15 CENTUM B 横河（YOKOGAWA） V 横河（YOKOGAWA） 16 CENTUM 17 CENTUM uXL 横河（YOKOGAWA） XL 横河（YOKOGAWA） 18 CENTUM
龙源期刊网 https://www.doczj.com/doc/5c15127618.html, 流式大数据实时处理技术、平台及应用研究作者：余谦 来源：《现代信息科技》2019年第01期 摘; 要：流式大数据实时处理技术的应用能够实现对客户的实时反馈，所以相比于批量大数据受到了更多的关注与研究。基于此，本文设计了一种基于流式大数据实时处理技术的平台系统，对流式大数据实时处理技术进行了解析，对该平台系统的设计、优势以及性能测试进行了说明，分析了基于流式大数据实时处理技术平台系统的应用。 关键词：流式大数据;实时处理;平台设计 中图分类号：TP311.13; ; ; 文献标识码：A 文章编号：2096-4706（2019）01-0086-03 Streaming Big Data Real-time Processing Technology，Platform and Application Research YU Qian （Wuhan Polytechnic University，School of Mathematics and Computer Science，Wuhan; 430023，China） Abstract：The application of streaming big data real-time processing technology can realize real-time feedback to customers，so it has received more attention and research compared with large batch data. Based on this，this paper designs a platform system based on streaming big data real-time processing technology，analyzes the real-time processing technology of streaming big data，explains the design，advantages and performance testing of the platform system，the application of real-time processing technology platform system based on streaming large data is analyzed. Keywords：streaming big data;real-time processing;platform design 0; 引; 言 现阶段，随着互联网技术的发展和普及性使用，社会产生的数据量显著提升，这使得人们对于大数据技术的关注与引入程度显著提升。对于大数据技术来说，通过引入大数据技术，就能够实现多个行业的技术进步、促进经济效益的显著增长。依照数据处理的时效性，能够将基于大数据技术的数据处理系统分成流式大数据（实时大数据）处理以及批量大数据（历史大数据）处理两种。其中，流式大数据实时处理技术的应用能够实现对客户的实时反馈，所以受到了更多的关注与研究。本文对流式大数实时处理技术及其平台进行分析，对该平台的应用进行研究，为相关工作人员提供参考。
生产现场实时数据采集解决方案 摘要：对于大部分制造企业，生产现场的不良品信息及相关的产量数据的实时数据采集是当前企业面临的一大难题，如何实现高效率、简洁、实时的数据采集，是当前制造业急需解决的问题。 现场数据采集仪产生背景 对于大部分制造业企业，测量仪器的自动数据采集一直是个令人烦恼的事情，即使仪器已经具有RS232/485等接口，但仍然在使用一边测量，一边手工记录到纸张，最后再输入到PC中处理的方式，不但工作繁重，同时也无法保证数据的准确性，常常管理人员得到的数据已经是滞后了一两天的数据；而对于现场的不良产品信息及相关的产量数据，如何实现高效率、简洁、实时的数据采集更是一大难题。 太友科技作为国内领先的精益生产解决方案供应商，针对生产现场的数据采集，正式推出国内首创的现场数据采集领先解决方案，从软、硬件方面帮助客户快速建立车间现场数据采集网络，实时获取车间现场的数据信息，为生产及决策提供实时的数据依据。 生产现场数据采集仪的主要功能 ?实时采集来自生产线的产量数据或是不良品的数量、或是生产线的故障类型（如停线、缺料、品质），并传输到数据库系统中； ?接收来自数据库的信息：如生产计划信息、物料信息等； ?传输检查工位的不良品名称及数量信息； ?连接检测仪器，实现检测仪器数字化，数据采集仪自动从测量仪器中获取测量数据，进行记录，分析计算，形成相应的各类图形，对测量结果进行自动判断，如在机械加工零部件的跳动测量，拉力计拉力曲线的绘制等；
数据采集仪的主要特点 ?配备RS232、RS485串口，可连接多个检测仪器实现自动数据采集； ?配备USB接口，方便数据的输出； ?配备RJ45接口，可通过网线接入网络； ?配备VGA视频输出及音频输出接口； ?内置WIFI模块，可通过无线方式接入，方便现场组网； ?最大支持32G数据存储空间； ?配备4.3英寸触摸屏，方便操作； ?用户可在网络中的任一PC通过接口获取数据，方便进行二次开发； ?配备4.3英寸触摸屏，方便操作； ?可移动测量，即时传输数据，也可测试完成后，通过网络上传数据； ?电源连续工作时间6小时，待机时间长达10天； 生产现场数据采集在品质过程中的非常重要的一个环节，好的数据采集方案可把品质管理人员从处理数据的繁重工作中解放出来，有更多的时间去解决实际的品质问题，同时即时的数据采集也使系统真正地实现实时监控，尽早发现问题，避免更大的损失。 另：现场自动数据采集软件
流式大数据实时处理系统需攻克的技术难题批处理大数据系统和流处理大数据系统是两大大数据处理系统，两者各有优缺点，如批处理系统，虽然可对完整大数据集实现高效的即时查询，但无法查询到最新的实时数据，存在数据迟滞高等问题；流处理大数据系统可以对最新实时数据实现高效预设分析处理模型的查询，数据迟滞低，然而受限于内存容量，系统需丢弃原始历史数据，无法在完整大数据集上支持Ad-Hoc查询分析处理，因此，研发具有快速、高效、智能且自主可控特点的流式大数据实时处理技术与平台是当务之急。 研发具有快速、高效、智能且自主可控特点的流式大数据实时处理系统需要攻克以下技术难题： （1）复杂指标的增量计算 尽管计数、求和、平均等指标能够依靠查询结果合并实现，然而方差、标准差等大部分复杂指标无法依靠简单合并完成查询结果的融合；当查询涉及热点数据维度及长周期时间窗口的复杂指标时，多次重新计算会带来巨大的计算开销。 （2）基于分布式内存的并行计算 采用粗放的调度策略会造成内存资源的极大浪费，需研究实现一种细粒度的基于进度实时感知的融合存储策略，以极大地优化和提升融合系统的内存使用效率。 （3）多尺度时间窗口漂移的动态数据处理 来自业务系统的数据查询请求会涉及多种尺度的时间窗口，每次查询请求都重新计算结果会对系统性能造成极大的影响，需研究实现一种支持多种时间窗口
尺度、多种窗口漂移方式的动态数据实时处理方法，以快速响应来自业务系统的即时查询请求。 （4）高可用、高可扩展的内存计算 基于内存介质能够大大提升数据分析及处理能力，由于其易挥发的特性，一般需要采用多副本的方式来实现基于内存的高可用方案，这使得“如何确保不同副本的一致性”成为一个待解决的问题。此外，在集群内存不足或者部分节点失效时，“如何让集群在不间断提供服务的同时重新平衡”同样是一个待解决的技术难题，需研究分布式多副本一致性协议以及自平衡的智能分区算法，以进一步提升流处理集群的可用性以及可扩展性。 以上研发具有快速、高效、智能且自主可控特点的流式大数据实时处理系统需要攻克的技术难题，也是未来大数据处理系统的发展方向，相信在不久的未来，人类的聪明智慧，一定可以攻克这些难题！
数据采集一体化解决方案 第一章项目 1.1项目概况 近年来随着互联网信息化发展，大部分传统企业的信息化发展是相当迅速，对信息化监管更是需求很多，其中以商混行业较为突出。信息化监管不仅仅是企业本身的需要，也是诸如政府监管、民间自发组织商混协会监督、集团公司旗下多个商混站监控等的迫切需要。 1.2项目目标 结合市场情况及客户的实际需要，加强客户监管力度，提高质量水平，做到实时监控生产，满足客户监管要求，达到一体化监管目标。 1.3需求分析 由于客户多站点，管理比较粗放，信息化水平较低，监管困难，任务分配不均，导致资源浪费即有生产公司忙不过来，无生产公司空闲的资源浪费浪费，合理的分配也是一个重大需求。总结以上主要有以下两点需求 （1）实时监控生产状况并对各个企业进行数据分析（达到以单生产线为基础单元的目标） （2）通过平台监管合理分配生产：通过各企业生产情况进行多维度分析，进而合理分配任务 第二章数据采集一体化信息服务平台 该平台是以微软Microsoft SQLserver数据库为基础，B/S架构模式
进行部署，客户使用以浏览器为媒介查看采集数据，内部数据传输以服务端与采集端两个模块，属分布式系统 2.2数据采集一体化信息服务平台结构简介 通信协议采用TCP数据通信，Webservice对外统一接口等技术，实时的将各个节点的信息采集到平台端。 2.3采集客户端及服务端 本系统数据采集主要以混凝土拌合站生产数据信息采集及服务器端接收数据 采用TCP数据通信，使用计算机网络进行数据传输。客户端将采集到的数据实时发送到服务器端，已达到数据采集的目的。 只需要在客户机上部署采集模块实现采集上传，服务器端部署采集客户端接收采集端的数据 2.4技术要求 服务器端： 建议使用固定IP，无固定IP需申请域名，至少20M宽带，不建议移动网络，推荐电信，联通，服务器硬件依据客户商混站数量适当提高要求，建议增加UPS，增加硬件防火墙，安装杀毒软件采集端：采集端电脑能够连接Internet网络至少4M宽带 第三章平台后期维护 3.1 平台维护
万方数据
基于单片机的实时数据采集系统设计 作者：刘松文 作者单位：株洲职业技术学院,湖南株洲,412001 刊名： 科技风 英文刊名：TECHNOLOGY TREND 年，卷(期)：2009，(1) 引用次数：0次 参考文献(2条) 1.段晨东.王俭.张文革智能化住宅小区监控系统设计[期刊论文]-电气自动化 2001(4) 2.虞鹤松.武自芳微机控制技术 2008 相似文献(10条) 1.期刊论文刘传宝.申立中.雷基林.徐淑亮.LIU Chuanbao.SHEN Lizhong.LEI Jilin.XU Shuliang单片机 C167CS的 I/O口模拟串口与PC机通信进行数据采集实现方法的研究-现代电子技术2007,30(3) 在做柴油机电控系统开发的过程中,为解决单片机C167CS与PC机通信问题,利用C167CS的I/O 口模拟串口与PC机进行通信,通过这种方法可以实现多个串口,而且串口通讯高效、可靠、标准统一.系统包括目标机采集子程序、目标机数据发送子程序、上位机接收子程序等,并给出了硬件原理图. 2.期刊论文丁国庆成广1kW电视发射机串口数据采集的实现-西部广播电视2007,1(1) 本文主要阐述了串口所用的各个协议,及计算机串口编程的相关方面. 3.期刊论文田会方.吴兴强.Tian.Huifang.Wu.Xingqiang基于LabVIEW与凌阳SPCE061A实现串口数据采集-微计算机信息2006,22(17) 介绍利用凌阳SPCE061A单片机采集数据,Labview作为开发调试平台,二者之间通过串口实现数据通讯的数据采集系统,详细介绍了软硬件实现方案. 4.期刊论文吴方余.周勇.WU Fang-yu.ZHOU Yong一种基于数据库的串口数据采集保存方案-计算机与现代化2005(10) 介绍了利用ADO技术存储串口采集数据的实现方法.详细讲述了系统通信和数据存储部分的实现过程,同时给出系统的软件硬件的组成结构. 5.期刊论文梁国伟.陈方泉.林祖伟基于LabVIEW的串口数据采集的实现及应用-现代机械2009(5) 本文概述了开发软件LabVIEW的特点,介绍了利用LabVIEW实现串口数据采集的方法;采用该方法实现了真空度的实时监测系统的设计,即利用LabVIEW的VISA读取真空计的串口数据并进行处理和显示,完成了基于LabVIEW的串口真空度实时采集. 6.学位论文杨致伟基于主动发送/串口监听的实时数据通信方案2006 目前，数据采集系统作为一种重要的现代化工具，其应用范围在日益扩大，并不断显示出它的重要性。实现数据采集方案主要有两种：采用PCI接口的A/D转换卡和使用普通智能传感器。基于PCI接口的A/D转换卡的方案不适合远程数据采集；智能传感器具有高精度、自适应、可靠、稳定、可维护和可扩展等优点，且适合远程数据采集，但是常规智能传感器使用串口接收数据时，实时性较差。 针对当前实时数据采集存在的问题，本文提出了基于主动发送/串口监听模式的数据采集方案，即建立智能设备主动向串口发送数据，应用计算机多线程技术建立串口监听线程的采集方案。该方案改变了传统的握手、数据传输、断开连接的传输流程模式，改善了串口实时数据采集的实时性。本文阐述了主动发送/串口监听数据采集方案的原理、系统的详细设计和实现方法，最后通过一套仿真系统模拟了该方案进行数据采集的过程。与传统的采集方案相比，该方案特点如下： 利用了RS-485总线作为传输线路，既可进行远程数据采集，而且易实现多点互连，便于多器件的连接，实现系统冗余配置，提高设备的可靠性、健壮性。通过中间的智能设备进行采集，提高系统的可维护性、可扩充性、可移植性。采用对不同串口建立不同的缓冲区，可通过扩展计算机串口，同时采集几到几十路数据，实现单机对较复杂的工业现场的集中控制。 自适应性强，智能传感器具有判断、分析与处理功能，它能根据系统工作情况决策各部分的处理，使系统工作在最佳状态。对于短数据帧的采集效率和速率明显高于普通智能传感器方案。 7.期刊论文华泽玺.王长林.尹忠科.章冲基于主动发送/串口监听模式的实时数据采集-西南交通大学学报2005,40(1) 针对数据采集中的实时性问题,提出了一种新的数据采集方案.该方案建立智能设备主动向串口发送数据,应用计算机多线程技术建立串口监听线程.去掉了传统数据采集方案串口通信中握手和断开连接的过程,同时也保证了数据传输的可靠性.实验结果表明,每次传输20字节时,传输时间可以缩短到原来的约20%.该方案方案已经得到了实际应用. 8.学位论文苗雄峰GPS数据采集及网络共享系统设计2005 为了把GPS串口数据和GPS中频采集器输出的高速数据在网络中共享，本文设计并研制了基于DSP的GPS数据采集与共享系统。系统包括GPS接收机、GPS中频数据采集器、DSP网络通信配器及计算机四部分。重点研究了DSP的软硬件接口设计和计算机端的网络编程。 对于GPS低速串口数据，直接用计算机串口接收，用VC编程实现了串口接收和网络转发。对于GPS中频数据采集器输出的高速同步多路串口数据，则利用DSP的高速多通道同步接收 ，然后用DSP的网络接口转发到计算机上的网卡。基于DSP开发板，作者完成了DSP的多通道缓冲串口（McBSP）接收GPS中频接收机输出信号的硬件调试，并解决了多通道同步串口数据的接收缓冲、数据合并、UDP数据报装帧及网络接口驱动等软件编程。在PC端，通过MFC的网络应用开发类CAsyncSocket实现UDP报的实时接收、数据解帧译码、高速存贮，利用Windows消息机制开发了应用程序友好界面。 9.期刊论文谢程刚.刘泓滨用PowerBuilder设计串口数据采集程序-昆明理工大学学报(理工版)2003,28(6) 在计算机应用过程中,往往涉及到计算机同外部设备进行信息交换等问题,串口通讯技术正是其中运用比较广泛的一种.文章探讨了串口通讯技术在工业中的应用,详细介绍了串口通讯中涉及的属性设置、配置文件调用及用PowerBuilder8.0完成数据采集的方法.为如何用计算机实现串口数据采集提供了一个指导性框架. 10.期刊论文邓洪声.舒大文用Visual Basic 6.0 设计四通道串口数据采集-昆明理工大学学报(理工版) 2004,29(2)