大数据对征信工作的启示与思考
- 格式:pdf
- 大小:1.08 MB
- 文档页数:11
/冖'马r・南.磁
屁
亩η
妈冫勺(ψ
・
1亠
・、°
大数据对征信工作的启示与思考
——关于中国大数据技术大会情况的报告
中国计算机学会于2014年12月13日-14日在北京新云南
皇冠假日酒店,举办了2014中国大数据技术大会,邀请了国内
外大数据技术和前沿的实践专家,包括电信运营商、制造业、互
联网公司等参会。增值部庄传礼、马艺桂、丁卉、张珏瑜参加了该论坛。现将峰会情况报告
如
下
:
一、大数据技术专家观点汇总与分析
(一)经
过分析的大数据才有价值
技术成熟度周期模型rHype cycleJ,是由著名的咨询公司顾
能(Gartner)对众多行业发展周期的预测与判断,该模型显示:
大数据处于预期高峰,一方面不知道大数据意味着什么
,一
方面
极度狂热。与会专家提出经过分析的大数据才是有价值的,数据不等于知识价值,这
是由
大数据的
4Ⅴ特性
,即
数据量大
【
Volume)、数据类型多lvariety)、要求处
理
速度快
lVel。
citD、巨大的商
业价值lValue)所决定的。面对海量的数据
,只
有经过分析
,针
对高维进行降维,提
炼大量低密度信息中的价值
,才
能发挥作用
。
面对大数据的分析,要快速、规模化,如果需要投入很大资源找
出价值,那么可能就是烫手山芋。百度研究院副院长、深度学习实验室主任、图片搜索部高级总监余
凯
,德拉瓦大学
⑴
niversity
of Delaware,电子与计算机工程系教授高光荣秉持该观点
。
(二)
传统的统计学方法有利于保证大数据挖掘的数据质
量大数据下采用数据挖掘,偏计算机学科,关注的是关联关系
,
不同于传统统计上寻找的因果关系,即关注“是什么”,而不是
“为什么”。数据挖掘不一定要有精确的理论支撑
,只要是有用
的,能够解决问题的方式,都可以用来处理数据。而统计学所沿用的模型一定要强调有理论依据,数学原理或经济学理论
。
大数
据所使用的聚类、神经网络、随机森林等挖掘技术,其算法未必极致,但通过吸收数据量的剧增,可以减少抽样等数据误差,从而提高分析的准确性,这是对于统计学的直接影响之一。但并非
不再考虑传统统计的假设前提理论背景,正如德拉瓦大学高光荣
教授所说,创新不是发明,而是积累起的知识不被忘记。在大数
据挖掘的过程中对于数据的清洗的去噪处
理、寻找数据间的管理
关系、模型优化及调整参数等问题,都需要严密的数理统计推导
。
二、
大数据技术大数据的数据挖掘技术主要集中于数据库和机器深度学习两个方面。首先能拥抱大数据的是拥有大数据的机构,像百度
、
腾讯等互联网公司、中国移动等电信运营商。大数据平台的建设周期较长,谷歌Google,从2002年开始到2010年第一个里程碑
交互式数据分析系统(Dremel)的发布用时
8年;脸
谱
(Facebook)30个人花费了4年时间建立大数据平台;全球最大
职业社交网站邻客音Ginkedinl大数据部门建立花费了
6年
时
间。经历了独立应用、架构调整、数据整合、数据平台等几个阶
段。下面就会上讨论到的大数据相关的数据处理存储技术进行汇总:
(一)数
据库技术
中国移动为大数据应用提供的数据库架构包括:数据采集和处理、数据挖掘及可视化、运营管理三个层次。数据采集和处理的资源层,包括有成熟的分布式数据库、大数据仓库、大数据平台(BC-Hadoopl三个模块,还有新增的内存数据库、图计算、图数据库模块;数据挖掘及可视化的平台层,包括成熟的搜索引擎、数据挖掘产品等模块,还有新增的深度学习平台、机器翻译服务平台、自然语言处理平台三个模块;运营管理层采用的是系统和
运营管理、数据安全管理、元数据管理三
个新增的模块产品。
(二)机
器学习技术
人工智能是科技创新的主战场。利用大数据技术,美国国际商用机器公司研发的超级电脑沃森(IBM watsonl以超过第二名两倍多分数的绝对优势
,在美国智力问答节目《危险》中击败两
名人类对手。目前,沃森技术已转向商用,被
国外大银行用于大
规模金融信息处理。沃森与花旗银行合作进行信贷评级分析,帮助信贷员收集和处理客户资料,根据客户资料及行为习惯
,分析
得出客户的信用风险等级,供信贷员参考。美国国际商用机器公司(IBM)还进一步将沃森应用到商业银行的组合风险管理。美国
国际商用机器公司(IBM)与摩根大通合作,对社交网络上海量数据进行分析,将客户信息和内部相关信息进行融合
,获
得更详细
的顾客背景描述,更有效地进行市场营销和风险管理。机器不断
学习的能力,是智能的本质。沃森通过不断的进行大量非结构化
数据的处理,模拟人脑进行学习。因而百度、美国国际商用机器公司(IBM)、脸谱(Fa∞book)都成立了深度学习实验室
。
通过
超机技术、并行大数据技术处理技术,由机器的不断(end-toˉend)
学习,模拟人脑行为,从而实现一些复杂问题的解决。(三)依
托移动云平台提供服务
中国移动介绍了移动云平台,主要服务对象是中小
企业
,这
部分群体自身拥有大量数据却没有足够的能力对信息进行分析。移动云平台通过托管用户数据,提供数据处理
工
具,从而为其提
供相关服务。在此过程中,移动公司不掌握数据
,数
据安全风险
较低。定价模式是按照云计算模式收费
。
(四)硬
件设施的云海数据库与传统数据库的对比
浪潮集团介绍了其云海数据库与传统数据库的对比情况,云海大数据在适用场景、可用性、性能、可扩展性、访问接口、性
价比方面都有很大的提升。传统关系型数据库主要处理的数据规模在TB以下,结构化数据的存储和处理,物理磁盘阵列αAI⑴
技术进行数据冗余高端存储各份方案,节点扩展线性度差存储输入输出(I⑴
瓶颈难以
解决,只能升级硬件提升系统存储、计算性
能不能有效保护用户原有投资,结构化查询语言
6QL)访
问接
口
,
高昂的软硬件成本专属封闭架构。而云海大数据的数据规模
TB-EB规模、结构化、非结构化混合存储和处理,分布式多副本
数据保护高效数据同步,大规模并行运算,数据本地化,移
除输
入输出(I⑴瓶颈,增加节点数提升系统存储、计算性能支持线性
升级,可达数千节点级别,采
用标准文件访问接口,兼容
sQL92`
Rest2、Thrift3访问接口,低廉的软硬件成本完全开放架构
。
(五) 数据资产管理是大数据时代企业布局竞争的核心
亚信科技阐述了以“数据资产管
理
-大数据时代的掘金术
”
,
阐述了数据资产管理是大数据时代企业布局竞争的核
心的观点
,
认为以更为可信、可靠、可用的数据资产为基
础
,可降低IT成
本,才能有效使用数据资产并使数据资产的价值得以实现。
首先,要进行数据资产治理
(数
据质量管理),必须确保数
据资产准确、可靠,意味着得掌握所有数据的分布情况、处理过
程、服务对象、使用场景
,再
从海量数据的复杂处理过程中
,准
1是结构化查询语言的语法规范。
2当前互联网超媒体分布式系统架构。
3是一个软件框架,用来进行可扩展且跨语言的服务的开发。