大数据平台-基础平台产品

一体化数据管理平台DATRIX产品介绍因“虚”而实，数据管理创新需求篇IDC数字宇宙研究《从混沌中提取价值》指出，全球的数据量每18个月就要翻一番，目前每年产生的数据量已经高达40EB（1EB=10000PB），未来十年全球的大数据将增加50倍。

数据飞速的甚至是爆炸式的增长方式，每个信息用户都深有体会，从上世纪早期数据容量大多以MB为单位，到上世纪末过渡到以GB为单位，再到当前TB已是标准单位，甚至PB级别的数据量在很多系统中也不再是一个偶然现象，种种迹象表明，大数据的时代已真正到来。

大数据这个词汇越来越多地被提及，从大数据的定义来说，大数据具备三个V的显著特性：1、Volume：数据量巨大，起码是TB级别以上的数据量才称之为大数据，对于大数据来说，数据量的巨大导致访问、处理、传输各个方面开销显著增加，也就有必要使用更好的处理方式来应对。

2、Variety：数据类型繁多，结构化数据、非结构化数据和半结构化数据各自均包含多种数据类型。

结构化数据中主要为数据库数据（ORACLE、DB2、SQL等）；非结构化数据类型更为丰富（办公文档、文本、图片、XML、HTML、各类报表、视频、音频等）；半结构化数据是一种新型的定义方式，相对于结构化数据的先有结构再有数据，半结构化数据则是先有数据再有结构。

多种数据类型并存导致整个数据处理难度加大，无法用统一的手段来解决全数据问题。

3、Velocity：数据增长非常快速，这种增长速度之前是难以想象的，随着更多的业务发展（社交媒体、云计算、物联网等），各种先进数据格式的出现（高清、3D、富媒体等），导致了数据是爆炸式的增长速度。

这种爆炸式的数据增长主要是由数据的属性所多样化带来的，数据首先具备时间属性，历史数据、当前数据和未来数据均需要保持和考虑，需要保留多个历史副本；其次数据具备多格式的特性，一份数据会因应用系统的不同而带来不同格式的访问需求；最后数据还要有多位置的属性，在个人、家庭、单位及云环境下会有多个副本，用于多个场景。

对阿里云大数据的理解
阿里云大数据是一款由阿里云开发的大数据计算、存储、开发和数据应用类的基础产品。

它涵盖了大数据计算服务 MaxCompute、数据工场 DataWorks、数据可视化工具 QuickBI、机器学习平台 PAI 等多个产品和服务，旨在帮助用户快速构建、部署和管理大数据处理和分析应用，提高数据处理效率和质量，降低数据处理成本。

阿里云大数据的优势在于它提供的产品和服务非常全面，涵盖了大数据计算、存储、开发和数据应用等多个方面，能够满足不同用户的需求。

此外，阿里云大数据还支持多种编程语言和开发框架，包括 Java、Python、Scala、Go 等，用户可以根据自己的需求选择最适合自己的开发工具。

阿里云大数据的另一个重要特点是其强大的数据分析和挖掘能力。

它支持多种数据分析和挖掘算法，包括聚类、分类、关联规则挖掘、文本挖掘等，用户可以通过这些算法对自己手中的数据进行分析和挖掘，从而发现数据中隐藏的规律和趋势。

总的来说，阿里云大数据是一款功能强大、全面、易用的大数据计算和存储产品，能够帮助用户快速构建和部署大数据处理和分析应用，提高数据处理效率和质量，降低数据处理成本，是大数据处理和分析的理想选择。

一份全面的企业数据产品选型对比（含数仓、报表、BI、中台、数据治理）编辑导语：在如今这个数据化时代，数据对于个人和企业来说，其重要性都不可小觑。

因此，有不少企业强化了数据工作，加强企业数据建设。

接下来，本文作者整理了一份超全面的企业数据产品的选型对比，希望对大家有所帮助。

前言：这个从上至下都在强调数字化转型的时代，越来越多公司重视数据，也越来越多的企业有数据建设的需求。

企业无论做任何数据工作，必然要有一定的信息化基础，也要有数据化建设的基础，少不了数据平台、数据应用工具，数据管理工具等。

关于企业数据建设这块，本人从事了近7年，从技术到项目管理，做过乙方也做过甲方，也有多年和各乙方厂商打交道的经验，遂来分享选型“内幕”。

涉及到的产品有：数仓、大数据平台、报表、BI、数据中台、数据治理等。

数据仓库算是一个解决方案，视企业需求有不同架构（传统数仓、数据集市、大数据平台等），架构下有很多分层和组件，比起工具更需要架构师能力，具体原理就不讲了。

关于数仓的选型主要涉及：数据存储方案、ETL、还有前端应用。

底层的数据仓库服务器通常是一个关系数据库系统，常用的方案有Oracle、db2、还有greenplum、teredata等数据仓库专业解决方案。

传统的关系型数据库有：oracle、mysql、DB2。

大规模并行处理数据库：Vertica、Teradata(商业)、Greenplum (开源)。

Teradata老江湖了，银行业使用较多，但成本也是真的贵，目前我们做项目较多的是用Greenplum，算是业界最快和最高性价比的高端数据仓库解决方案，Greenplum是基于PostgreSQL的，于2022年开源。

我知道的国内四大行有3家在用，5大物流公司有4家在用，不少公司在从Teradata迁移到GP。

大数据平台主流的是：Hadoop+Hive。

这套方案有多通用不用多说了，后面说到的大数据平台厂商也大多基于这个来设计平台产品。

数据库、数据仓库、大数据平台、数据中台、数据湖对比分析一、概况层出不穷的新技术、新概念、新应用往往会对初学者造成很大的困扰，有时候很难理清楚它们之间的区别与联系。

本文将以数据研发相关领域为例，对比分析我们工作中高频出现的几个名词，主要包括以下几个方面：•数据▪什么是大数据▪数据分析与数据挖掘的区别是什么•数据库▪什么是数据库▪数据库中的分布式事务理论•数据仓库▪什么是数据仓库▪什么是数据集市▪数据库与数据仓库的区别是什么•大数据平台▪什么是大数据平台▪什么是大数据开发平台•数据中台▪什么是数据中台▪数据仓库与数据中台的区别与联系•数据湖▪什么是数据湖▪数据仓库与数据湖有什么区别与联系希望本文对你有所帮助，烦请读者诸君分享、点赞、转发。

二、数据什么是大数据？麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

我们再往深处思考一下，为什么会有大数据(大数据技术)？其实大数据就是在这个数据爆炸增长的时代，业务需求增长促进技术迭代，技术满足需求后又形成闭环促进业务持续增长，从而形成一个闭环。

数据分析与数据挖掘的区别是什么？数据分析可以分为广义的数据分析和狭义的数据分析。

广义的数据分析就包括狭义的数据分析和数据挖掘。

我们在工作中经常常说的数据分析指的是狭义的数据分析。

三、数据库据库什么是数据库？数据库是按照数据结构来组织、存储和管理数据的仓库。

是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。

一般而言，我们所说的数据库指的是数据库管理系统，并不单指一个数据库实例。

根据数据存储的方式不同，可以将数据库分为三类：分别为行存储、列存储、行列混合存储，其中行存储的数据库代表产品有Oracle、MySQL、PostgresSQL等；列存储的数据代表产品有Greenplum、HBASE、Teradata等；行列混合存储的数据库代表产品有TiDB，ADB for Mysql等。

基础平台运营方案一、前言平台运营是指对特定平台进行规划、执行和控制，以实现平台的可持续运营和发展。

基础平台是指为其他应用或服务提供支持和基础设施的平台，如云计算平台、物联网平台、大数据平台等。

对于基础平台运营来说，其目标是提供稳定可靠的服务，满足用户需求，实现成本控制和效率提升。

本文将对基础平台运营方案进行详细讨论，包括平台规划、运营管理、安全保障等内容，以帮助平台运营团队更好地组织和管理基础平台。

二、平台规划1. 定位和目标首先需要明确基础平台的定位和目标。

基础平台的建设是为了支持其他应用或服务的运行，因此其定位应该是高可用、高性能、高可扩展性的平台。

同时，需要根据市场需求和技术趋势，明确基础平台的发展目标，如提供更多的云服务种类、提升数据处理能力等。

2. 架构设计基础平台的架构设计是一个非常重要的环节。

它需要综合考虑硬件、软件、网络、存储等方面的因素，设计出满足性能和可靠性要求的平台架构。

此外，考虑到未来的扩展性需求，还需要在架构设计阶段就考虑好平台的可扩展性和灵活性。

3. 服务规划在基础平台服务规划方面，需要明确不同服务的功能、性能、接口等方面的要求。

同时，还需要根据用户需求和市场需求，规划出未来可能需要增加的新服务类型，并为其设计相应的支持和配套措施。

4. 成本控制基础平台的成本控制是一个长期的工作，需要在规划阶段就考虑好成本的来源和去向，以及成本控制的策略和手段。

同时，需要制定出合理的定价策略，以保证平台的可持续发展。

三、运营管理1. 组织架构基础平台运营需要有一个合理的组织架构，包括运维团队、技术支持团队、产品规划团队等。

这些团队需要有清晰的职责分工和合作机制，以确保平台的正常运行和持续改进。

2. 运维管理基础平台的运维管理是平台运营工作中最核心的一个环节。

这包括对硬件设施、软件系统、网络设备等方面的日常维护和监控，以保证平台的稳定运行。

运维团队需要制定出相应的运维策略和规范，建立好监控和故障处理体系。

1。

技术实现框架1.1大数据平台架构1.1.1大数据库是未来提升业务能力的关键要素以“大数据”为主导的新一波信息化浪潮正席卷全球，成为全球范围内加速企业技术创新、推动政府职能转变、引领社会管理变革的利器。

目前，大数据技术已经从技术研究步入落地实施阶段，数据资源成为未来业务的关键因素。

通过采集和分析数据，我们可以获知事物背后的原因，优化生产/生活方式，预知未来的发展动态。

经过多年的信息化建设，省地税已经积累了丰富的数据资源,为下一步的优化业务、提升管理水平,奠定了坚实的基础.未来的数据和业务应用趋势，大数据才能解决这些问题。

《1.巨杉软件SequoiaDB产品和案例介绍v2》P12 “银行的大数据资产和应用“,说明税务数据和业务分析，需要用大数据解决。

《1。

巨杉软件SequoiaDB产品和案例介绍v2》P14 “大数据与传统数据处理"，说明处理模式的差异。

1.1.2大数据平台总体框架大数据平台总体技术框架分为数据源层、数据接口层、平台架构层、分析工具层和业务应用层.如下图所示：（此图要修改，北明）数据源层:包括各业务系统、服务系统以及社会其它单位的结构化数据和非结构化数据；数据接口层：是原始数据进入大数据库的入口，针对不同类型的数据，需要有针对性地开发接口，进行数据的缓冲、预处理等操作；平台架构层：基于大数据系统存储各类数据，进行处理？;分析工具层：提供各种数据分析工具，例如：建模工具、报表开发、数据分析、数据挖掘、可视化展现等工具；业务应用层：根据应用领域和业务需求，建立分析模型，使用分析工具，发现获知事物背后的原因，预知未来的发展趋势,提出优化业务的方法。

例如，寻找服务资源的最佳配置方案、发现业务流程中的短板进行优化等。

1.1.3大数据平台产品选型针对业务需求,我们选择巨杉数据库作为大数据基础平台.1.1.3.1传统数据库与大数据库的差异（丰富一下内容，说明应该选择大数据平台）传统的关系型数据库，只能存储结构化数据，在当前互联网快速发展的时代，僵硬的数据模型已经无法适应快速开发、快速迭代的互联网思维。

全国十大大数据分析平台靠谱的大数据分析平台有哪些什么是大数据？大数据是大量、高速、多变的信息，它需要新型的处理方式去促成更强的决策能力、洞察力与最佳化处理。

借助大数据工具及相关技术，可针对不同行为特征的客户进行针对性营销，甚至能从“将一个产品推荐给一些合适的客户”到“将一些合适的产品推荐给一个客户”，得以更聚焦客户，进行个性化精准营销。

那么，在人人都讲大数据的互联网时代，国内到底有哪些靠谱的大数据分析平台呢？鹿豹座平台小编对比了数十家，最终选出以下十家权威的大数据分析平台。

阿里巴巴数据，是阿里巴巴集团的核心资产，阿里生态中的各项业务，都是宝贵的用户数据来源地。

阿里巴巴拥有交易数据和信用数据,更多是在搭建数据的流通、收集和分享的底层架构。

数据已融入阿里的生态，正以最新的形式，最具创意的应用，迸发出强劲的生命力。

百度百度的优势体现在海量的数据、沉淀十多年的用户行为数据、自然语言处理能力和深度学习领域的前沿研究。

近来百度正式发布大数据引擎，将在政府、医疗、金融、零售、教育等传统领域率先开展对外合作。

腾讯腾讯拥有用户关系数据和基于此产生的社交数据，腾讯的思路主要是用数据改进产品，注重QZONE、微信、电商等产品的后端数据打通。

鹿豹座大数据研究院鹿豹座大数据研究院系鹿豹座平台与中国互联网大数据研究院（ICIBD）2017年联合创办。

中国互联网大数据研究院(ICIBD)是中国领先的互联网大数据研究机构，也是国内架构完整、体系权威的专业互联网大数据研究机构，非营利性的社会组织。

专注于中国互联网大数据收集、分析、整合，产出专业、权威、独立的行业大数据报告，提供大数据解决方案，解读大数据应用案例。

高德开放平台高德开放平台是国内技术领先的LBS服务提供商，拥有先进的数据融合技术和海量的数据处理能力。

服务超过三十万款移动应用，日均处理定位请求及路径规划数百亿次。

高德开放平台向广大开发者提供覆盖移动端和Web端的开发工具，开发者通过调用开发包或接口即可在应用或网页中实现地图显示、标注、位置检索等功能。

大数据基础平台在当今数字化的时代，数据已经成为了企业和组织最宝贵的资产之一。

而要有效地管理和利用这些海量的数据，就需要一个强大的大数据基础平台。

大数据基础平台就像是一个数据的“超级工厂”，能够对数据进行采集、存储、处理、分析和展示，为企业的决策提供有力的支持。

大数据基础平台的核心组成部分包括数据采集层、数据存储层、数据处理层和数据分析与可视化层。

数据采集层是大数据基础平台的“入口”，负责从各种数据源获取数据。

这些数据源可能包括企业内部的业务系统、网站日志、传感器数据、社交媒体等等。

数据采集的方式多种多样，比如通过数据库的同步工具、网络爬虫、文件传输协议等。

为了确保数据的准确性和完整性，在采集过程中还需要进行数据清洗和校验的工作，去除重复、错误和不完整的数据。

数据存储层是大数据基础平台的“仓库”，用于存储采集到的海量数据。

常见的数据存储技术包括关系型数据库、NoSQL 数据库和分布式文件系统等。

关系型数据库适用于结构化数据的存储和管理，具有较高的事务处理能力和数据一致性保证。

但对于大规模的非结构化和半结构化数据，NoSQL 数据库如 MongoDB、Cassandra 等则更加适合，它们能够提供更高的扩展性和灵活性。

分布式文件系统如 Hadoop 的HDFS 则可以存储海量的大文件，为数据处理提供了基础。

数据处理层是大数据基础平台的“加工厂”，负责对存储的数据进行加工和处理。

这包括数据的转换、清洗、聚合、计算等操作。

在这个层面，常用的技术有 MapReduce、Spark 等。

MapReduce 是一种分布式计算框架，它将大规模的数据处理任务分解为多个小的任务，并在多个节点上并行执行，从而提高数据处理的效率。

Spark 则是一种基于内存计算的大数据处理框架，它比 MapReduce 具有更快的处理速度和更丰富的功能，能够支持实时数据处理和机器学习等应用。

数据分析与可视化层是大数据基础平台的“展示窗口”，通过数据分析算法和工具，从处理后的数据中挖掘出有价值的信息和知识，并以直观的图表、报表等形式展示给用户。

华为CIS大数据安全分析平台解决方案产品形态介绍1客户应用场景2产品主要特性3产品优势4CIS 典型产品形态（硬件+软件）CIS单机版1一台X86服务器上集成了可视化、大数据基础平台、流探针以及采集器等必须组件。

1共4台X86服务器：•1台X86服务器上集成了可视化、流探针、采集器•3台X86服务器上部署大数据基础平台可视化+大数据基础平台+流探针+采集器可视化+流探针+采集器3大数据基础平台CIS 小型化1根据不同的性能要求，组成CIS 高级版集群，共N 台X86服务器（N=1+A+B+C ）：•1台X86服务器部署可视化•A 台X86服务器部署流探针•B 台X86服务器部署采集器•C 台X86服务器部署大数据基础平台可视化C大数据基础平台CIS 高级版A 流探针B 采集器1台4台11台+客户应用场景2产品形态介绍1产品主要特性3产品优势4方案价值⏹未知、高级威胁检测•基于流量检测未知攻击，识别未知感染主机、未知僵尸主机•基于文件检测未知恶意文件，识别未知恶意文件传输•基于文件和流量，检测APT 渗透、隐蔽通道⏹信息泄露防护•APT 全攻击链检测，及时发现信息泄露风险•C&C 抓取，文件外发统计分析，关键资产的保护⏹攻击溯源/调查取证•大数据平台，存储协议元数据，辅助调查分析高级威胁•可疑流量PCAP 抓包，辅助事件确认调查分析⏹全网安全态势感知•全网感知安全态势，发现C&C 、高级威胁攻击、内网感染主机、异常文件外发等⏹安全联动防护•联动安全设备执行防护动作，如清除感染终端恶意程序，阻断C&C外联，阻断隐蔽通道外发等行为。

核心层汇聚层接入层访客区域研发区域财务区域园区网市场区域internet远程办公TC EDC流探针沙箱沙箱流探针CIS流探针流探针vSwitchVM1VM2全球威胁智能中心APT 高级威胁检测云服务网络执行设备金融/大企业APT 信息安全方案小型企业/分部方案（CIS 单机版）FireHunter 沙箱NGFWNGFWCIS 单机版采集器（内置）流探针（内置）还原文件检测日志镜像流量企业网络集成度高单节点上集成了可视化、大数据基础平台、流探针、采集器等必须组件功能齐全主要功能和CIS 高级版完全一致部署简便一台服务器提供所有CIS 功能，免去组网、连线等繁琐步骤方案价值及关键信息本地信誉共享Internet华为防火墙（内置探针）+CIS 方案FireHunter 沙箱NGFWNGFW采集器还原文件检测日志metadata企业网络低成本无需部署独立流探针，充分利用华为防火墙内置流探针功能提取流量信息一墙多能华为防火墙内置流探针功能，可提取metadata 和netflow ，还可完成文件提取部署简便一台华为防火墙集成流探针功能，免去独立流探针组网、连线、引流等繁琐步骤方案价值及关键信息CISnetflow归一化日志Internet本地信誉共享8华为交换机+防火墙（内置诱捕）+CIS 方案引蛇出洞利用华为交换机完成诱骗，不间断捕捉对主机的扫描行为，按需引流应用协议愿者上钩华为防火墙内置蜜罐功能，回应不存在端口，模拟应用协议交互，引诱黑客攻击无处不在的诱饵充分利用华为交换机、防火墙，诱饵触角深入到网络每个角落，让攻击者无从下手方案价值及关键信息核心交换机AP数据中心办公区A办公区B安全运维区FireHunter 沙箱采集器CIS诱捕日志还原文件回应不存在IP欺骗端口交互回应不存在IP欺骗端口交互回应不存在IP 回应不存在IP诱捕日志还原文件产品主要特性3产品形态介绍1客户应用场景2产品优势4FireHunterLog CollectorFlow ProbeIPS NGFWCISInternetvNGFWsVMVM VM VM边界防御•NGFW/NGIPS:实现对已知威胁的防御•VNGFW:防御虚拟机之间威胁•内网检测•CIS: 全网部署探针采集信息进行分析•FireHunter:检测全网传输文件•回溯调查•攻击路径溯源、提供已知和高级威胁调查•态势感知•识别关键威胁排行、预警可能的攻击方案组件及关键信息全攻击链检测的APT防御解决方案APT 全攻击链检测——锁定每个环节数据外发系统破坏渗透驻点内部扩散•基于机器学习恶意文件检测•黑客远控C&C 检测AI自适应基线检测•隐蔽通道（DNS 、ping)威胁情报APT 全攻击链检测——异常行为分析与关联异常行为检测行为严重性可信度事件Http 外发数据高80%可疑活动不常见http 流量低NA 可疑域名中60%传输多参数高80%基线异常检测Mail 异常检测WEB 异常检测C&C 异常检测终端异常检测机器学习1多维度分析行为评价提取可疑样本辨别黑白样本权重次数……异常文件关联IPIP 关联URLURL 关联DNSDNS 关联攻击源通过多因素关联，挖掘基于攻击链的APT 攻击活动，完整展现APT 攻击路径234流量基线异常检测将自学习和用户自定义的流量基线加载到内存中，并对流量数据进行在线统计和分析，一旦网络行为与流量基线存在偏差，即可能存在异常事件。

大数据平台在系统结构上包括数据采集系统、数据库管理系统、数据融合系统、资源服务管理系统、平台管理系统、任务调度管理系统、数据分析系统、数据可视化系统，如图所示:图：大数据平台系统结构1.1.1.1数据采集系统1）系统概述数据采集子系统通过多种方式和途径，把政府和企业各个部门的数据、物联网的数据、互联网的数据汇聚到大数据中心。

基于大容量、消息和事件的数据导入，面向不同格式的结构化、非结构化和流形式的城市数据，提供易于运营的多种数据源管理和格式转换以及原始数据的临时存储。

2）系统结构数据采集子系统通过丰富多样可供选择的采集方式，包括系统直采填写、数据导入、数据交换、网络抓取、API接口调用、感知设备对接等多种方式把政府和企业各个部门的数据汇聚到数据服务中心。

数据格式包括传统的结构化数据，或视频、录音、图片、文本等非结构化的数据，并可实现采集自动归类和预处理。

其基本原理如下图所示：图：数据采集总体架构数据采集子系统通过不同数据节点，通过数据的推拉，将政府和企业各部门的数据汇聚到数据服务中心，形成数据服务中心的基础数据资源库。

3)系统功能数据采集系统的功能包括数据源管理、指标项管理、集群管理、流程管理、流程日志、服务日志、插件管理。

(1)数据源管理：数据源管理主要解决政府各个部门、互联网爬取站点和物联网设备的数据源注册和管理，目前系统支持数据源包括：MySQL数据库、Oracle数据库、Hbase、Hive、NoSQL数据、云数据库、大文件系统、小文件系统等各种关系性数据库和非关系数据库。

数据源中存储了所有建立数据库连接的信息，就象通过指定文件名可以在文件系统中找到文件一样，通过提供正确的数据源名称，用户可以找到相应的数据库连接；能够实现多类型数据源的注册、查询和管理等功能。

(2)指标项注册：包括采集指标项注册，下发指标项注册，对需要做共享交换的数据进行登记，配置好交换数据的源和目标，这个功能就是对所有指标项做统一的管理。

运用大数据平台推动产品质量管理水平提升张宝玉摘要：本文结合唐钢近两年来信息化及智能制造建设的经历，详细介绍了大数据平台的项目实施背景、建设思路和过程、实时数据库与关系数据库复合应用、多元异构数据的集成挖掘及产品关键工艺参数对应钢卷具体位置匹配等关键性技术、创新点和取得的效果。

阐述了钢铁企业如何运用大数据平台推动产品质量管理水平提升的相关经验及体会，对工业企业如何运用大数据技术推动产品质量管理水平具有较高的参考价值。

关键词：大数据；信息化；质量管理；数据挖掘：D261.41 ：A ：1671-2064（2018）23-0023-02在世界经济的大数据时代，数据已成为最重要的企业资源。

有效利用和开发大数据潜在的价值，是钢铁企业走出同质化竞争迷局、摆脱亏损困境的重要途径。

本文结合唐钢近两年来信息化建设经历，简要阐述了钢铁企业如何运用大数据平台推动产品质量管理水平提升相关的经验和体会。

1 研究的背景和意义在大多数制造业企业中，质量管理受制于信息化总体架构、基础自动化普及程度、质量管理理念等多种因素，往往只能按工序关注产品最终的质量结果，这种质量管理下产品质量过程无法控制，废品率高，也无法满足客户越来越关注产品质量过程和质量可追溯的需求。

通过建立大数据平台，运用信息化和自动化技术手段将全流程的工艺数据、质量数据、生产数据结合在一起，构成了全工序、全流程的质量追溯数据源，可用于质量分析、决策、研发，此项目在国内外均属于大数据集成应用于工业生产的成功案例。

本项目旨在公司多年信息化建设取得成果的基础之上搭建公司全工序、全流程质量管理大数据应用平台，使过程数据参与质量判定，实现产品全流程质量跟踪，并通过数据挖掘技术最终生成产品综合质量分析报告，帮助质量管理人员准确把握产品质量，快速定位质量失控工序及失控原因，不断优化质量控制工艺参数，最终达到全面提升公司产品质量的目的。

2 研究内容和过程2.1 总体思路第一步：通过搭建和不断完善公司大数据平台，将公司从炼钢、连铸、热轧、冷轧各工序与产品质量相关的生产实时数据、质量数据、工艺数据采集存储到公司大数据平台数据库中。