银联海量数据分析平台

  • 格式:docx
  • 大小:626.09 KB
  • 文档页数:2

中国银联海量数据分析平台
1. 用户需求
➢ 为了创新业务的需求,更好地服务银行业,中国银联积极探索新的技术,进军大数据
领域
➢ 作为首期应用示范,需要用hadoop构建字段合规性分析系统,商户推荐系统,数据
规模是,数据导入性能每小时80GB,全年数据30TB左右,每条记录模式是刷卡交易
信息,每条大小200~500字节不等

2. 解决方案

曙光公司给上海银联提供的整个方案采用14台曙光高性能A620服务器构建Hadoop
海量数据分析平台,交换环境千兆以太网,整个集群平均导入速度为10W/s,随机单条记
录查询时间少于3s。完全达到首期平台建设要求。

银联Hadoop二期建设规划:Hadoop集群一共150台服务器,目前正在实施当中,二
期建设规划如下图所示。三期Hadoop建设规划集群数据预计提升至400台。