当前位置：文档之家 › 【CN109840253A】企业级大数据平台架构【专利】

【CN109840253A】企业级大数据平台架构【专利】

  • 格式：pdf
  • 大小：701.43 KB
  • 文档页数：13

下载文档原格式

  / 13

合集下载

【CN109874284A】一种大数据中心服务器用设备【专利】

【CN109874284A】一种大数据中心服务器用设备【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910314450.0(22)申请日 2019.04.18(71)申请人 吴克足地址 325800 浙江省温州市苍南县灵溪镇横阳一街21号(72)发明人 吴克足　(51)Int.Cl.H05K 7/20(2006.01)(54)发明名称一种大数据中心服务器用设备(57)摘要本发明提供一种大数据中心服务器用设备该大数据中心服务器用设备，包括柜体，所述柜体的四周开设有通风槽，所述柜体内部的底端固定安装有放置架，所述放置架的形状为圆柱形，所述横向的隔板将放置架分为三层，所述竖向的隔板将放置架分为四个均匀的不同区域，所述放置架上固定安装有隔板，所述隔板上放置有数据服务器，所述放置架的两端固定安装有风冷装置，所述柜体的顶端固定安装有鼓风框。

该大数据中心服务器用设备，使风机能够更加充分的将数据服务器运行时产生的热量带走，且能够具有选择性的将机房内的冷空气吹向产热较高的区域，使降温更加具有针对性，更加高效。

权利要求书1页 说明书4页 附图3页CN 109874284 A 2019.06.11C N 109874284A1.一种大数据中心服务器用设备，包括柜体(1)，其特征在于：所述柜体(1)的四周开设有通风槽(2)，所述柜体(1)内部的底端固定安装有放置架(3)，所述放置架(3)上固定安装有隔板(4)，所述隔板(4)上放置有数据服务器(5)，所述放置架(3)的两端固定安装有风冷装置(6)，所述柜体(1)的顶端固定安装有鼓风框(7)，所述鼓风框(7)的内部固定安装有电机(8)，所述电机(8)的转轴上固定安装有第二扇叶(9)，所述鼓风框(7)与柜体(1)内部之间开设有通风孔(10)，所述放置架(3)的内部设置有圆柱孔(11)。

2.根据权利要求1所述的一种大数据中心服务器用设备，其特征在于：所述通风槽(2)从内向外的方向为斜向下的，且所述通风槽(2)在柜体(1)外侧的顶部固定安装有挡板。

基于云计算的大数据分析系统专利范本

基于云计算的大数据分析系统专利范本

基于云计算的大数据分析系统专利范本近年来，随着云计算和大数据技术的快速发展，大数据分析成为企业决策和市场竞争中不可或缺的重要环节。

为了更好地满足企业对大数据分析的需求，一种基于云计算的大数据分析系统应运而生。

本文将介绍一个专利范本，该专利范本主要涉及云计算、数据存储、数据处理以及结果可视化等领域，力求为大数据分析系统的研发和应用提供参考。

一、背景技术本专利范本的首部分主要介绍了背景技术，包括云计算、大数据分析以及已有的相关技术。

云计算作为一种将计算能力和资源以服务的方式提供给用户的模式，已经成为企业优化IT资源和降低成本的重要手段。

而大数据分析则依托于云计算的高性能计算和强大存储能力，通过对海量数据的挖掘和分析，帮助企业发现商机和潜在风险。

在背景技术中，需要明确区分本专利的创新点和现有技术之间的差异，突出本专利的价值。

二、发明内容专利范本的第二部分为发明内容，即基于云计算的大数据分析系统。

该系统主要包括数据采集、数据存储、数据处理和结果可视化等功能模块。

数据采集模块是整个系统的基础，通过接入各种数据源，如传感器、物联网设备等，实时、批量地获取数据，并进行初步清洗和预处理。

数据存储模块通过云计算平台提供的分布式存储技术，将数据安全地存储在云端，保证了海量数据的可靠性和可扩展性。

数据处理模块则是系统的核心，通过使用并行计算和分布式处理技术，对大规模数据进行高效的分析和挖掘，包括数据预测、关联规则挖掘等。

最后，结果可视化模块将分析结果以图表、报表等形式展示给用户，使用户能够直观地理解和使用分析结果。

三、技术优势在专利范本的第三部分，需要重点介绍该大数据分析系统相对于现有技术的技术优势。

首先，该系统利用云计算平台提供的弹性计算能力，不仅可以灵活扩展系统的计算资源，还能根据实际需求按需分配资源，提高系统的运行效率和成本效益。

其次，该系统采用先进的并行计算和分布式处理技术，能够实现对海量数据的快速处理和分析，大幅度缩短数据分析的时间成本。

企业级大数据平台产品解决方案

企业级大数据平台产品解决方案

2020.4企业级大数据平台解决方案1大数据解决方案概述采集存储处理分析应用大数据产品架构2产品定位随着大数据时代的不断发展，各大企业、政府纷纷建立大数据中心，数据分析、应用的脚步越来越快，在此过程中，异构数据源的使用、关联分析的需求越发旺盛，如何快速、便捷地采集异构数据至大数据平台，成为数据采集汇聚的关键。

我司提供的数据汇聚产品主要功能是将各种存储方式的数据源接入到大数据平台或者其他数据仓库。

通过提供可视化界面，帮助用户轻松完成采集任务创建、运行，并实时提供任务监控，使用户随时了解自己的采集任务状态。

采用主流的流式计算引擎作为产品的主要采集框架，提供离线采集、实时采集两种方式，满足用户不同的采集需求。

产品特色01快捷易用全流程可视化操作，拖拽式编辑工作流，配置采集信息，采集任务轻松灵活完成02组件灵活提供多种基础数据源组件，处理组件，目标组件，也可根据用户需求，任意拼装该些组件部署，更可为用户提供定制化组件的开发03实时监控工具提供实时监控功能，用户可随时查看采集任务状态，及时干预，避免数据漏采，少采服务完善专业的技术团队随时为用户提供技术支持工作，提供7*24小时专业服务保障04数据采集产品——定位及特色2数据采集产品——技术架构2☐数据源类型：➢数据采集汇聚支持多种类型数据源的采集，如下表：☐采集框架：➢通过Kakfa 消息队列、Storm 流式处理以及Spark-Streaming 实时计算方式，实现实时数据采集；➢通过Flume 实现批量数据采集；☐数据存储：➢提供主流关系型数据库以及HDFS 分布式多冗余存储，支持动态扩缩容☐可视化：➢提供可配置数据源组件，处理组件，终端组件，用户可自定义工作流，实现采集任务➢提供任务监控供用户查看工作流执行情况，提供资源监控供管理员对系统资源进行整体把控数据源FTP/SFTPHDFS Kafka关系型数据库Nosql 本地文件HTTP数据采集FlumeFlumeFlume……Storm 流式处理Spark-Streaming 实时计算数据存储关系型数据库Kafka可视化自定义工作流任务调度任务监控资源监控HDFS ……文本类关系型数据库其他本地文件Oracle 消息队列FTP SQLServer Nosql 数据库SFTPMySQL协议类……数据采集产品——使用场景2数据源处理组件目标组件➢FTP➢本地文件➢HDFS➢kafkaV8➢关系型数据库（oracle、mysql、sqlserver、南大通用、武汉达梦等）➢hbase ➢Flume➢Storm➢Spark➢Flink➢FTP➢本地文件➢HDFS➢kafka➢关系型数据库（oracle、mysql、sqlserver、南大通用、武汉达梦等）➢Hbase➢Hive➢ES数据采集产品——配置化采集2STEP1.选择组件STEP2.配置信息STEP3.执行工作流STEP4.查看工作流平台提供数据源组件，处理组件，终端组件选择，用户可通过拖拽将需要的组件拖入工作流画布中连线后完成工作流组件之间关联好后，对各类组件进行信息配置，例如：处理组件进行添加节点，配置节点信息实现数据采集任务的统一调度功能，包括作业发布管理，作业审核管理，作业运行管理，作业进程管理等查看工作流各个环节的状况，通过界面查询，用户能直观的知道整个作业的执行情况，异常发生等采集存储处理分析应用大数据产品架构2复杂任务简单化对于业务算法要求每天定时执行，或者在每天晚上凌晨空闲时执行，产品提供各类型定时功能，更可用户自定义，满足多种业务场景任务定时产品提供多渠道通知功能，包括邮件，短信等。

一种大数据平台及其应用[发明专利]

一种大数据平台及其应用[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010826303.4(22)申请日 2020.08.17(71)申请人 深圳市联恒星科技有限公司地址 518000 广东省深圳市南山区粤海街道科技园北区清华信息港科研楼107H3(72)发明人 青鹏　关永　贺海涛　罗书琴　(74)专利代理机构 北京市诚辉律师事务所11430代理人 范盈(51)Int.Cl.G06F 16/25(2019.01)G06F 16/26(2019.01)G06F 16/2458(2019.01)G06F 16/22(2019.01)(54)发明名称一种大数据平台及其应用(57)摘要本申请属于数据分析技术领域，特别是涉及一种大数据平台及其应用。

在石油行业对于多相流的细分方向还没有相对应的数据分析平台。

本申请提供了一种大数据平台，所述平台包括界面子平台、业务模式子平台、集群子平台和数据层子平台；界面子平台，用于利用大数据平台显示各个不同的维度数据并进行对比；业务模式子平台，用于将数据层子平台计算结果实时的反馈给外界；集群子平台，用于利用已有的大数据分析平台实时和离线处理来自不同企业的数据，对数据进行不同的机器学习算法，根据需要调用外部训练好的模型来处理数据；数据层子平台，用于对实时数据和历史数据分别存储，并对部分数据进行清洗。

针对于数据特点在平台层面设计合理的存储方式。

权利要求书2页 说明书7页 附图4页CN 111914014 A 2020.11.10C N 111914014A1.一种大数据平台，其特征在于：所述平台包括界面子平台、业务模式子平台、集群子平台和数据层子平台；所述界面子平台，用于利用大数据平台显示各个不同的维度数据并进行对比；所述业务模式子平台，用于将数据层子平台计算结果实时的反馈给外界；所述集群子平台，用于利用已有的大数据分析平台实时和离线处理来自不同企业的数据，对数据进行不同的机器学习算法，根据需要调用外部训练好的模型来处理数据；所述数据层子平台，用于对实时数据和历史数据分别存储，并对部分数据进行清洗。

【CN109871378A】大数据平台的数据采集和处理方法及系统【专利】

【CN109871378A】大数据平台的数据采集和处理方法及系统【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910131122.7(22)申请日 2019.02.21(71)申请人 杭州市商务委员会（杭州市粮食局）地址 310000 浙江省杭州市江干区解放东路18号市民中心A座申请人 城云科技（中国）有限公司(72)发明人 陈卫菁　韩伟　沈屹峰　丁玲玲　张兵兵　(74)专利代理机构 杭州裕阳联合专利代理有限公司 33289代理人 姚宇吉(51)Int.Cl.G06F 16/215(2019.01)G06F 16/22(2019.01)G06F 16/23(2019.01)G06F 16/25(2019.01)(54)发明名称大数据平台的数据采集和处理方法及系统(57)摘要本发明提供了一种大数据平台的数据采集和处理方法和系统，其中，方法包括以下步骤：根据配置信息，通过数据交换工具对不同数据源的原始表数据进行读取；对读取到的原始表数据进行处理，在数据上增加日期字段和增删改字段生成历史表数据，同时存储至大数据平台的基础库中；在全量表数据进行增量更新时，将所有的经过处理后的原始表数据插入历史表中，并从历史表中抽取最新数据生成新的全量表。

本发明通过增加时间字段和增删改字段对采集的数据进行处理，并通过将处理后的所有数据插入历史表中，从中筛选最新数据生成全量表，解决现有通过全量更新的方式对表数据进行更新，减少系统维护成本。

权利要求书2页 说明书5页 附图2页CN 109871378 A 2019.06.11C N 109871378A权　利　要　求　书1/2页CN 109871378 A1.一种大数据平台的数据采集和处理方法，其特征在于，包括以下步骤：根据配置信息，通过数据交换工具对不同数据源的原始表数据进行读取；对读取到的原始表数据进行处理，在数据上增加日期字段和增删改字段生成历史表数据，同时存储至大数据平台的基础库中；在全量表数据进行增量更新时，将所有的经过处理后的原始表数据插入历史表中，并从历史表中抽取最新数据生成新的全量表。

一种企业级区块链基础平台[发明专利]

一种企业级区块链基础平台[发明专利]

专利名称：一种企业级区块链基础平台专利类型：发明专利
发明人：王剑,张辉
申请号：CN201911326555.4
申请日：20191220
公开号：CN111163141A
公开日：
20200515
专利内容由知识产权出版社提供
摘要：本发明提供一种企业级区块链基础平台，产品区块链RBC包括RBC底层服务、RBC扩展服务、RBC管理应用、RBC SDK和业务场景；RBC底层服务包括成员服务单元、区块链单元和智能合约单元，RBC扩展服务包括安全服务单元，安全服务单元包括私钥存储模块、U‑KEY模块和解密中心模块；RBC管理应用包括节点监控模块、账本浏览模块、智能合约管理模块、仲裁审批模块；RBC SDK 包括接口管理模块；业务场景包括互联网政务、电子证照、普惠金融、冠字号管理、智慧医疗、商品溯源、异业营销、物流金融和知识产权交易；大大提高多边合作的效率和安全性。

申请人：江苏荣泽信息科技股份有限公司
地址：210000 江苏省南京市浦口区江淼路88号腾飞大厦B座17层
国籍：CN
代理机构：南京常青藤知识产权代理有限公司
代理人：黄胡生
更多信息请下载全文后查看。

联想大数据分析平台(LEAP)产品说明书

联想大数据企业级分析平台介绍联想大数据企业级分析平台（LEAP）L enovo E nterprise A nalytics P latform产品说明书联想大数据事业部2016年10目录1背景 (4)1.1背景概述 (4)1.2平台价值 (4)1.3联想承建优势 (5)1.3.1大数据产品优势 (6)1.3.2大数据研发优势 (6)1.3.3业务咨询优势 (7)1.3.4服务支持优势 (7)1.3.5全球部署优势 (7)2LEAP总体架构 (9)2.1LEAP定位 (9)2.2LEAP全景图 (9)2.3功能架构 (10)2.4技术架构 (11)2.5采用产品情况概述 (13)3大数据软件说明 (15)3.1数据采集 (15)3.1.1数据采集 (15)3.1.2数据采集管理 (16)3.1.3分布式架构支持 (19)3.2数据计算与存储 (20)3.2.1统一资源调度管理 (21)3.2.2海量数据集中存储 (21)3.2.3高效数据处理 (22)3.2.4平台高可用性 (26)3.3数据能力开放 (28)3.3.1标准服务调用接口管理 (28)3.3.2数据在线挖掘工具 (28)3.3.3多租户管理 (28)3.4数据分析应用套件 (30)3.4.1可视化查询分析 (30)3.4.2数据快速查询 (31)3.5数据资产管理 (31)3.5.1元数据管理 (32)3.5.2数据模型管理 (34)3.5.3数据标准与质量管理 (35)3.5.4数据生命周期管理 (37)3.6系统运维管控 (41)3.6.1集群管理 (42)3.6.2监控告警 (44)3.6.3用户管理 (47)4网络部署及系统兼容性 (50)4.1网络部署 (50)4.2大数据平台兼容能力 (50)4.3硬件环境要求 (51)4.4软件环境要求 (51)1 背景1.1 背景概述全球范围内，运用大数据技术推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势，相关发达国家相继制定实施大数据战略性文件，大力推动大数据发展和应用。

【CN109862080A】一种基于云计算的大数据应用平台【专利】

8 .根据权利要求7所述的一种基于云计算的大数据应用平台，其特征在于：所述数据转 化中心单元 (6) 包括平台入驻端口 (61) 、数据信息提取模块 (62) 、链接转化模块 (63) 、数据 下载模块 (64) 和数据转移模块 (65) ，所述平台入驻端口 (61) 与数据信息提取模块 (62)实现 双向连接。
3 .根据权利要求2所述的一种基于云计算的大数据应用平台，其特征在于：所述平台选 择模块(54)的输出端与跨平台数据传输模块(55)的输入端连接，所述账户注册模块(56)和 账户登录模块(58)的输出端均与会员充值模块(57)的输入端连接。
4 .根据权利要求1所述的一种基于云计算的大数据应用平台，其特征在于：所述企业端 (4) 包括客 户信息保 密协议 (41) 、商务合 作单元 (42) 、经济管理 模块 (43) 、产品更新模块 (44)、产品后台优化(45)和反馈意见处理模块(46) ，所述经济管理模块(43)的输出端与商 务合作单元(42)的输入端连接。
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910020783 .2
(22)申请日 2019 .01 .09
(71)申请人 上海孚盟软件有限公司 地址 201100 上海市闵行区光华路2118号B 幢218室－E
(72)发明人 万辉邦 郭彦荣 余浩箐
(74)专利代理机构 上海科律专利代理事务所 (特殊普通合伙) 31290
2
CN 109862080 A
说 明 书
1/5 页
一种基于云计算的大数据应用平台
技术领域 [0001] 本发明涉及应用平台技术领域，具体为一种基于云计算的大数据应用平台。
背景技术 [0002] 转向云计算是业界将要面临的一个重大改变。各种云平台的出现是该转变的最重 要环节之一。顾名思义，这种平台允许开发者们或是将写好的程序放在“云”里运行，或是使 用“云”里提供的 服务 ，或二者皆 是。至于这 种平台的 名称 ，现在我 们可以 听 到不止一 种称 呼 ，比 如按需平台 、平台即服务等等。但无论称呼 它什 么，这种新的支持应 用的方式有着巨 大的潜力。应用平台是如何被使用的。开发团队在创建一个户内应用(即在机构内运行的应 用)时 ，该应 用所需的许多基础都已 经事先存在了 ：操作系统为执行应 用和访问存储等提供 了基础支持 ；机构里的 其他计算机提供了诸如远程存储之类的 服务。倘若每创建一个 户内 应用都得首先构建所有这些基础的话，那么恐怕我们今天看到的应用会少很多。 [0003] 现有的网盘类云平台有很多种类，便于使用者储存文件，但每个平台都只能在本 平台内进行文件的下载和上传 ，若使 用者想将一个平台内的 文件储存到 另一个平台中 ，只 能先将文件下载下来 ，然后在上传至 另一个平台 ，较为麻 烦 ，还会受下载速度等因素的 影 响，为使用者造成了诸多不便。

【CN109829005A】一种大数据处理方法及装置【专利】

所述SPARK统计模块获取所述源数 据在所述HADOO P中的 存放路径 ；根据业务需求 确定 数据获取维度；根据所述维度从所述HADOOP中抽取第二源数据。
7 .根据权利要求1-6任一项所述的大数据处理方法，其特征在于，所述方法还包括： 显示模块显示所述各个模块的任务执行状态，以及显示所述关系数据库中的第二源数 据。 8 .一种大数据处理装置，其特征在于，所述装置包括： 采集模块，用于从源主机采集源数据；以及 向调度模块发送调度消息，所述调度消息用于指示所述调度模块对所述大数据处理装 置的调度文件加载HDFS模块进行调度；其中，所述采集模块包括若干个分布式主机； 调度模块 ，用于根据所述采集模块发送的 调度消息 调度文件 加载HDFS模块 ，以 及调度 所述大数据处理装置的其他各个模块； 文件加载HDFS模块，用于根据调度模块的指示将所述采集模块采集的所述源数据加载 到分布式文件系统HADOOP中； SPARK统计模块 ，用于根据调度模块的 指示 和业务需求从所述HADOOP中 抽取 第二源数 据，以及将所述第二源数据发送至关系数据库； 关系数据库，用于存储所述第二源数据； 监控模块 ，用于在所述大数据处理装置各个模块工作过程中 ，监控所述 调度模块发送 的各个模块的任务执行状态消息； 其中 ，所述调度模块通过消息中间件与所述采集模块、监控模块、文件加载HDFS模块和 SPARK统计模块进行通信。 9 .根据权利要求8所述的大数据处理装置，其特征在于，所述采集模块从源主机采集源 数据，包括： 所述采集模块获取所述源数 据的 数 据信息 ，所述数 据信息包括 ：源数 据存储位置 和源 数据对应文件名； 所述采集模块根据数据源分组通过分布式锁分配不同的序列号标记不同分组的数据 源； 所述若干个分布式主机根据所述序列号采用多线程方法采集所述不同分组的数据源。 10 .根据权利要求9所述的大数据处理装置，其特征在于，所述调度模块还用于， 获取所述文件加载HDFS模块和SPARK统计模块的任务执行状态结果； 根据所述向所述监控模块发 送任务执行状态消息；以及 根据所述监控模块发送的指示消息进行模块调度； 所述监控模块还用于，根据所述任务执行状态消息向所述调度模块发送指示消息。 11 .根据权利要求10所述的大数据处理装置，其特征在于，所述调度模块还用于，

一种企业微信处理管理大数据平台构架[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010807843.8(22)申请日 2020.08.12(71)申请人 深圳市宗泰电机有限公司地址 518000 广东省深圳市龙岗区南湾街道布澜路21号联创科技园1号厂房B区4楼403(72)发明人 于辉　肖虹　于洁云　易红宝　(74)专利代理机构 深圳市金信启明知识产权代理有限公司 44484代理人 陈棠(51)Int.Cl.H04L 9/14(2006.01)H04L 9/32(2006.01)H04L 12/24(2006.01)H04L 29/06(2006.01)(54)发明名称一种企业微信处理管理大数据平台构架(57)摘要本发明公开了一种企业微信处理管理大数据平台构架，涉及到企业互联网大数据处理信息技术领域，包括数据前台、中台和后台。

所述数据通过中台将后台的的ERP、CRM、MES、SPC、HR、OA、PDM模块和PLM模块数据库信息与前台用户建立起关系，能够将企业的一整套需求都包括在里面，企业无需购买各种各样的软硬件来完成不同的功能，整体性好，价格不贵，系统兼容性强，性能稳定，维护起来比较简单，数据安全性比较高，具有很好的实用性，和企业的实际情况比较贴合，数据变化灵活，可自定义调整的地方比较多，对各种企业需求都可以获得满足，数据集中存储有利于数据保护和整理分析，对企业无论是在本地还是外地都可以发送信息完成，具有一定的便利性。

权利要求书1页 说明书4页 附图1页CN 111970113 A 2020.11.20C N 111970113A1.一种企业微信处理管理大数据平台构架，其特征在于：包括数据中台，所述数据中台的连接端分别电连接ERP、CRM、MES、SPC、HR、OA、PDM模块和PLM模块的连接端；客户端，所述客户端通过API接口与数据中台连接，所述客户端需要通过用户登录；所述数据中台的连接端分别连接互联网的连接端和云服务器的连接端。

  1. 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
低成本提升企业在实际生产中对大数据处理、提 取、存储、数据挖掘的规范性和效率。大数据平台 基于Hadoop、Spark、Hive、Hbase等Apache开源项 目 ，可以运行在可拓展的普通硬件上，构建了一 个完整的 大数 据数 据技术体 系 ，包括数 据存贮 、 离线计算、实时计算和机器学习平台。可以满足 多种复杂条件下的企业计算任务。该平台还包括 一套完整的matedata存储、数据质量监督、ETL流 程标准等数据处理规范以及核心数据保护、数据 权限控制等策略方案以保证数据质量规范性和 数据数据资产的安全。
代理人 刘萍
(51)Int .Cl . G06F 16/24(2019 .01) G06F 16/27(2019 .01)
(10)申请公布号 CN 109840253 A (43)申请公布日 2019.06.04
( 54 )发明 名称 企业级大数据平台架构
( 57 )摘要 本发明涉及企业级大数据平台架构，旨在以
4 .根据权利要求1所述的 平台 ，其特征在于 ：在使 用Kerberos协议认证的集群中 ， Client和Server通过一个独立服务来进行相互之间的认证，同时Kerberos还能将服务之间 的全部通信进行加密；Kerberos也支持LDAP的用户认证，方便的进行用户权限的管理。
5 .根据权利要求1所述的平台，其特征在于：用FreeIPA来部署以上所有服务，形成了一 个以LDAP为数据存储后段，Kerberos为验证前段，Bind为主机识别，同时还提供了统一的命 令行管理工具和Web洁面的集成信息系统。
2
CN 109840253 A
权 利 要 求 书
Байду номын сангаас
2/2 页
了唯一的代理入口 ，Knox本质充当集群认证网关的 角色 ，隐匿部署细节 ，统一接管所有HTTP 请求；Knox通过内置的过滤器来处理URL，支持LADAP进行用户身份认证，HDFS、Yarn、Spark、 Hue的web ui都以新建Service的形式加入Knox网关。
权利要求书2页 说明书6页 附图4页
CN 109840253 A
CN 109840253 A
权 利 要 求 书
1/2 页
1 .企业级大数据平台架构，其特征在于： 在整体的技术选型中是以Hadoop作为基础的 ； 通过js埋点来记录日志； 结构化的数据即存储在RDBMS中的数据用Sqoop来传输 ，Sqoop被设计 用于在一个 Hadoop生态系统与关系型数据库管理系统RDBMS中的结构化数据存储之间传输数据；作为 Hadoop生态系统不可或缺的一部分，Sqoop启用了一个MapReduce作业来执行任务； 非结构化的 数据和半结构化的 数据 用Flume ，Flume的 使 用不只限 于日 志数据 ，还被 用 来传输事件数据；而kafka作为一个消息订阅系统，配合Flume作为实时数据处理的数据源； 数 据的 存储以 HDF S为主 ，一个HDF S集群是由 一个Namenod e 和一定数目的 Da ta nod e组 成，Namenode是一个中心服务器，负责管理文件命名空间和的寻址路径；Datanode是实际存 储数据的节点，数据以Block的形式存储在上面，通过Zookeeper实现多个Namenode作为热 备，在Namenode挂掉后通过选举产生新的Namenode实现高可用；通过Sqoop和Flume从数据 源传递过来的数据都会存储在HDFS上； Hbase也是Master/Slave的架构，Master节点负责维护表和数据的位置，存储数据的节 点叫RegionServer，保存的表的数据直接存储在HDFS上，每次客户端通过Zookeeper获得需 要数据所在的RegionServer然后直接和其通讯进行查询； GreenPlum作为数据仓库的同时，也作为支持实时查询的数据库； 数据处理分为离线处理平台、实时处理平台和机器学习平台； 大数据平台应该以 Ya rn作为 调度基础 ，计算的 原始数据和计算结果存储在HDFS上 ；大 数 据平台 支持多 种计算工具 ，以 hue进行统一的 调度管理 和任务监控 ，构成了离线计算 引 擎； 以Flume+Kafka作为实时计算的数据提供，Flume+kafka架构会实时同步新的数据到实 时计算引擎；而实时计算引擎的技术框架则采用Storm+SparkStreaming+Flink来实现， 大数据平台必须加入机器学习算法平台；其架构如下： 基础架构层 ，提供了计算资源调度和数据资源服务两个主要功能 ，基础架构层能同时 支持不同 硬件资源调度 ；借助虚拟化技术 ，机器学 习平台 将同 一个硬件设备在不同的 任务 中进行资源共享； 任务调度层 ，将不同的 机器学 习算法工具连接起来 ，通过DAG 调度的 形式 ，帮助 用户完 成复杂的模型运算，减少开发难度； 算法 层 ，通过开源算法框架 ，根据企业自 身业务需求 ，实现各 种算法定 制化 、模块化封 装 ；每一个模块都采用了统一的数据接口 ，同时提供了灵活的参数供 用户进行调整 ； API层，为算法调度提供统一的入口 ，对外提供统一的数据接口 ；数据接口应该遵循 Restful的风格 ，整齐划一 ；同时提供支持DSL查询接口 ，支持以 SQL的方式来拉取数据 ；同时 数据接口还应当开放数据平台任务调度 ，任务提交的功能 ；数据查询的接口 用Flask+ SQLalchemy来实现，或者SpringBoot+Mybatis，数据平台任务提交用Spark自带的livy服务 来实现； 数据平台上增加安全认证，安全认证架构采用Kerberos+LDAP服务+Knox网关。 2 .根据权利要求1所述的平台，其特征在于：采用LDAP提供检索。 3 .根据权利要求1所述的平台，其特征在于：Apache Knox Gateway为Hadoop集群提供
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910021944 .X
(22)申请日 2019 .01 .10
(71)申请人 北京工业大学 地址 100124 北京市朝阳区平乐园100号
(72)发明人 王劲松 张建
(74)专利代理机构 北京思海天达知识产权代理 有限公司 11203