美团数据库运维平台介绍ppt
- 格式:ppt
- 大小:2.40 MB
- 文档页数:7
美团点评运营数据产品化实战背景美团点评作为全球最大的生活服务平台,承接超过千万的POI,服务于数量庞大的活跃用户。
在海量数据的前提下,定位运营业务、准确找到需要数据的位置,并快速提供正确、一致、易读的数据就变得异常困难,这些困难主要体现在以下方面:•取数门槛高,找不到切合的数据,口径复杂不易计算,对运营人员有一定的技能要求,人力成本增大;•数据处理非常耗时,缺少底层离线数仓模型建设和预计算支撑,Ad-hoc平台查询缓慢;•数据不一致,不同渠道口径不一致,缺少对杂乱指标的统一管理;•数据反馈形式不友好,缺少数据可视化的形式,无法呈现趋势,继而影响业务人员对多维、降维、对比等情况的进一步分析操作。
因此团队提出将运营专题数据产品化,首先分析面临的一些问题和挑战。
挑战① 服务业务能力数据模式是需求驱动导向,这就导致数据最初只支持了少数团队,而更多有个性化需求的业务团队就无法被支持。
② 存储、计算、研发成本没有统一的规范标准管理,造成了重复计算的资源浪费;数据的层次和粒度不清晰,使得重复存储严重;同时,工程师需要了解研发流程的整个细节,对研发的时间和精力成本造成浪费。
③ 数据标准不统一业务指标繁杂,即使同样的命名,但定义口径也会不一致。
例如,支付用户数就有多种定义,由此带来的问题是,都是支付用户数,应该用哪个?为什么数据都不一样?④ 业务分析响应能力即使拥有健壮的数仓模型支撑,但最终能否快速响应多维计算,进行对比分析,同时做到数据可读,都是对产品交互和服务能力的一种挑战。
针对以上的问题和挑战,开始制定建设方案。
方案首先,构建了一个针对境内旅游运营侧全域的公共底层数据,将不同平台促销系统的数据按业务整合到一起,同时划分不同活动主题,按事件再向上聚合,做专题的数据支撑,统一数据出口。
然后通过多维预计算引擎对事实数据进行预计算,构建数仓与应用的管道,从而节省计算成本,并且提升了数据互通和消费的效率,最后建设统一的数据服务中台,搭配不同端的Web应用。