PAI阿里云人工智能产品家族概述

收稿日期：2020-09-13基金项目：福州职业技术学院校级科研项目（FZYKJJJB201901）.作者简介：林峰，福建漳州人，福州职业技术学院工程师；刘永志，福州职业技术学院教授（福建福州350108）.阿里云机器学习PAI 平台在驾驶行为识别上的应用林峰，刘永志摘要：随着具有车内外双拍摄功能行车记录仪的普及，如何通过分析车内驾驶人员实时影像，识别驾驶者状态，对分心驾驶、疲劳驾驶等危险行为进行及时预警已成为近年来研究的热点问题之一.该文基于阿里云机器学习PAI 平台，利用Auto Learning 自动学习模块，对1100张含10种驾驶状态的车内影像数据构建了线上深度学习模型，模型训练耗时约11分钟，识别准确率可达99.08%，并通过与传统本地线下模型训练方式的对比，验证了基于PAI 平台方案的可行性，为基于图像识别的驾驶行为检测提供了一种新的参考方法.关键词：PAI 平台；Auto Learning ；驾驶行为；机器学习中图分类号：TP181文献标志码：A文章编号：1008-7974（2021）04-0085-05DOI ：10.13877/22-1284.2021.04.0142020年4月，中国社会福利基金会等机构发布了《道路交通安全调研报告——2019年度：不良驾驶行为》.报告指出分心驾驶、疲劳驾驶等不良驾驶行为是造成2019年度中国道路交通事故的最主要原因.因此如何有效识别车辆司机驾驶状态，对分心驾驶、疲劳驾驶等危险行为进行及时预警，对减少车辆交通事故的发生具有重大意义［1］.近年来，随着行车记录仪的普及，通过对驾驶人员实时影像检测，快速识别不良行为并告警已逐渐成为解决不良驾驶行为的主流方案［2-3］.在该方案中，基于深度学习的图像识别技术被广泛使用，并已在实践中被证实具有较高的性能和准确性［4］.但是传统的深度学习图像识别技术存在以下不足：一是需要开发人员掌握深度学习相关理论知识，能够熟练使用Keras 、TensorFlow 等第三方代码库，并具备手工搭建多层人工神经网络模型的能力；二是深度学习模型训练的过程往往需要消耗大量的计算资源，若开发人员硬件资源受限，将无法进行大规模图像识别模型的构建；三是图像识别模型一旦训练完成后，缺2021年第4期第42卷总第313期学报2021年第4期学报乏便捷的手段将其快速部署，实用性不强［5-8］.机器学习PAI 平台是阿里云计算有限公司开发的一款在线机器学习平台.基于阿里云自身丰富的技术积累和强大的云计算资源，开发者只需准备训练数据集，PAI 平台可提供数据预处理、数据分析、数据可视化、模型评估、模型发布等一站式服务.Auto Learning 自动学习模块是机器学习PAI 平台中的重要组件之一.在图像识别问题上，只要训练集数据质量得到保证，Auto Learning 自动学习模块就能快速训练足够精确的模型，并提供一键发布模型的服务［9］.鉴于此，本文利用阿里云机器学习PAI 平台，结合Auto Learning 自动学习模块，构建了线上驾驶行为识别模型，并进行了相关验证和发布试验.1机器学习PAI 平台机器学习PAI 平台（Platform of Artificial In⁃telligence ）是一款阿里云人工智能平台，提供了一站式的机器学习解决方案.PAI 平台起初仅服务于阿里巴巴集团内部业务，致力于让阿里巴巴集团内部开发者能够高效、简洁、标准地使用人工智能技术.随着平台技术的不断积累，2018年机器学习PAI 平台正式商业化，目前已积累了数万企业客户和个人开发者，是国内领先的线上机器学习平台之一.机器学习PAI 平台具有如下优点：①支持一站式机器学习，使用者只需要准备好训练数据（注意：数据通常存放在阿里云OSS 或MaxCom⁃pute 系统中），数据上传、数据预处理、特征工程、模型训练、模型评估及模型部署等环节均可在阿里云PAI 平台中操作实现.②对接阿里云DataWorks 大数据平台，支持SQL 、UDF 、UDAF 、MR 等多种数据处理方式，灵活性较高.③生成模型的实验流程支持DataWorks 平台周期性调度，且调度任务可区分生产环境和开发环境，确保数据安全性.机器学习PAI 平台主要提供了可视化建模PAI-Studio 、交互式AI 研发PAI-DSW ，以及自动化建模Auto Learning 三种使用模式.其中Auto Learning 模式提供了自动机器学习服务，支持在线标注、自动模型训练、超参优化及模型评估等常见机器学习操作.使用者只需准备少量标注数据，设置训练时长，就可以得到深度优化的人工智能算法模型.2基于机器学习PAI 平台的驾驶行为识别2.1数据准备本文实验数据来源于大数据算法竞赛平台Kaggle （赛题：State Farm Distracted Driver De⁃tection ），涉及26位司机、10种驾驶行为，合计22424张图片.每张图片尺寸均为640×480，约占40KB 存储空间.原始数据集体量较大，为方便实验，抽选了具有代表性的两名司机（司机编号：p021、p022）的样本数据，并随机拆分为训练集（图片数量：1100）和测试集（图片数量：220）.其中图片示例如图1所示，数据集分布见表1.图1训练样本示例林峰，等：阿里云机器学习PAI平台在驾驶行为识别上的应用表1数据集分布类别代码c0 c1 c2 c3 c4 c5 c6 c7 c8 c9合计驾驶行为说明normal drivingtexting-righttalking on the phone-righttexting-lefttalking on the phone-left operating the radiodrinkingreaching behindhair and make uptalking to passenger训练集2001001001001001001001001001001100测试集40202020202020202020220合计2401201201201201201201201201201320阿里云PAI平台中图像识别模型依赖的训练数据需存储于OSS平台中.OSS（Object Storage Service，对象存储服务）平台提供面向海量数据规模的分布式存储服务，具有稳定、可靠、安全、低成本的特点.在OSS平台中创建存储空间（亦称之为Bucket），新建目录，并通过专用客户端工具oss-browser，将1100张训练集图片进行上传.值得注意的是，需要创建相应的RAM角色（角色名：AutoLearningRole），并赋予AliyunOSSFullAccess权限，阿里云PAI 平台才能访问OSS平台图像数据用于模型训练.具体角色创建及赋权操作可见阿里云相关帮助文档，此处不作赘述.2.2创建Auto Learning实例进入阿里云机器学习PAI平台，在“自动学习（Auto Learning）”栏目中，创建实例.其中在“创建实例”对话框中，选择实例类型为“图片分类”，并设置标注配置文件OSS路径.标注配置文件为CSV文本文件，需手工生成，用于指定训练集中各图片所属类别.文件内容包含样本ID、图片文件OSS路径，以及类别标注等信息，内容格式如下所示：0，{"tfspath"："oss：/// distracted_driver_detection/train/img_58285.jpg"}，{"option"："c0"}2.3模型训练及评估在Auto Learning自动学习页面中，通过随机抽查，确认训练图片标注无误后，即可进入模型训练及评估阶段.点击页面下方“完成标注”按钮，弹出“开始训练”对话框.配置最大训练时长为60分钟后，点击“开始训练”按钮.截止本文撰写时，阿里云PAI平台Auto Learn⁃ing自动学习模块仍处于公测阶段，配置参数“最大训练时长”不能超过60分钟，对训练模型所消耗的阿里云计算资源无需付费.经过约11分钟时长的训练，驾驶行为识别模型指标数据已达到预期：准确率99.08%，模型训练结束.2.4模型部署和测试使用模型训练完毕后，可进行EAS部署.阿里云EAS（Elastic Algorithm Service，弹性算法服务）支持将所训练的模型发布为在线预测服务，通过RESTful API形式供第三方系统或平台使用.本文以流行的Python编程语言作为实例，本地测试客户端通过阿里云提供的eas-prediction库，进行模型在线接口调用，核心代码如下所示.#引入模块from eas_prediction import PredictClientfrom eas_prediction import StringRequest#初始化客户端client=PredictClient（"接口公网URL地址"）client.set_token（"接口TOKEN码"）client.init（）#构造请求参数request=StringRequest（'{"image"："待预测图片base64编码"}'）#预测response=client.predict（）print（response.response_data.decode（））在线预测服务返回的结果为JSON字符串，提供了上传图片所属各类别的概率，形如：{"class_probs"：{"c9"：2.4398683962090217e-08，"c8"：2021年第4期学报1.7996175074586063e-06，……}，"success"：true ，"request_id"："ff281367-4d25-435b-8cca-69b653ed5e48"，"class_name"："c6"，"probs"：［3.242876633891001e-09，5.356615773166595e-08，……］，"predictions"：3，"class"：3}通过使用PAI 平台在线预测服务，结合上述核心Python 代码，对含220张驾驶图片的测试集进行了预测分析，比对真实情况，220张图片驾驶行为均被准确识别，准确率为100%.同时经过测试，平均每张图片预测耗时1160毫秒，不超过1.5秒，满足驾驶行为检测性能要求.3传统本地线下模式比对为与机器学习PAI 平台方式进行对比分析，本文使用Python 编程语言，依托深度学习开源库Keras （版本号：2.2.5）、TensorFlow （版本号：1.15.3），开发了CNN 卷积神经网络模型.所设计的本地模型包含了卷积层、池化层、全连接层等结构，合计参数12946890个.使用上述与机器学习PAI 平台方式相同的1100张图片进行模型训练，在个人计算机中（CPU ：1.8GHz 、4核，内存：10GB 、DDR3）耗时约222分钟（3.7小时），模型准确度及损失函数（cate⁃gorical_crossentropy ）逐渐收敛，如图2所示.图2线下模型准确度、损失函数收敛曲线通过对含220张图片的测试集进行测试，成功预测193张图片所属驾驶行为，准确率为87.73%，此外平均每张图片预测耗时43毫秒.结合模型训练耗时、测试集准确率、平均每帧图片预测耗时及费用等因素，将本地开发模式与在线PAI 平台模式进行对比，具体情况见表2.基于PAI 平台Auto Learning 模式的方法表2两种模型训练模式对比项目训练耗时/min 训练集准确率/%测试集准确率/%每帧识别耗时/ms模型发布主要工作内容费用机器学习PAI 平台模式1199.081001160支持一键自动发布数据准备①OSS 存储（标准型）：0.12元/GB/月；②Auto Learning 训练：公测阶段免费；③EAS 服务（1CPU 核心+4GB 内存）：0.4元/小时.传统本地线下模式22298.7387.7343需要代码开发支持数据准备、代码开发、模型评估等基于第三方开源平台，免费使用林峰，等：阿里云机器学习PAI平台在驾驶行为识别上的应用具有如下特点：①操作人员不需要掌握额外的编程方法和深度学习技术，能够将主要精力集中于训练数据的采集和标注上.②依托阿里云IT技术积累，图像分类模型准确率较高.③可弹性提供模型训练依赖的计算资源.④易于将模型发布为线上服务，方便其他系统或平台使用.⑤资费合理，使用者无需承担过高的费用，即可享受机器学习模型的训练、测试、发布等一站式服务.4结语本文基于阿里云机器学习PAI平台，结合Auto Learning自动学习模块，利用1100张含10种驾驶状态的车内影像数据，构建了一个高性能的线上驾驶行为识别模型.该方案解决了传统本地线下模型训练方式深度依赖开发能力和计算资源的缺陷，后续计划将进一步丰富数据集，提升模型在多场景、多尺度情况下驾驶行为识别准确率.参考文献：［1］崔健，赵建有.驾驶分心对隧道段行车安全影响分析［J］.安全与环境学报，2016，16（6）：174-178.［2］陈军，陆娇蓝，刘尧，等.基于云计算的多特征疲劳驾驶检测系统研究与设计［J］.计算机测量与控制，2015，23（10）：3341-3343.［3］张辉，钱大琳，邵春福，等.驾驶人分心状态判别支持向量机模型优化算法［J］.交通运输系统工程与信息，2018，18（1）：127-132.［4］RAO X，LIN F，CHEN Z，et al.Distracted driv⁃ing recognition method based on deep convolutional neural network［J］.J Amb Intel Hum Comp，2019（8）：193-200.［5］郑远攀，李广阳，李晔.深度学习在图像识别中的应用研究综述［J］.计算机工程与应用，2019，55（12）：20-36.［6］周飞燕，金林鹏，董军.卷积神经网络研究综述［J］.计算机学报，2017（6）：1-23.［7］李林，张盛兵，吴鹃.基于深度学习的实时图像目标检测系统设计［J］.计算机测量与控制，2019（7）：15-19.［8］邢艳芳，段红秀，何光威.TensorFlow在图像识别系统中的应用［J］.计算机技术与发展，2019，29（5）：192-196.［9］焦嘉烽，李云.大数据下的典型机器学习平台综述［J］.计算机应用，2017，37（11）：3039-3047，3052.（责任编辑：王前）Application of Aliyun PAI Platform in Driving Behavior RecognitionLIN Feng，LIU Yong-zhi（Fuzhou Polytechnic，Fuzhou350108，China）Abstract：With the popularization of driving recorders with dual camera function，how to analyze the real-time images of the driver in the car to identify the driver's state and provide timely warning of dangerous behaviors such as distracted driving and fatigue driving has become a hot research topic in recent years. Based on the PAI platform，this article uses the Auto Learning module to construct an online deep learn⁃ing model on1100in-car image data containing10driving states.The model training takes about11 min，and the recognition accuracy is up to99.08%.In addition，this paper verifies the feasibility of the PAI platform solution based on the comparison with the traditional local offline model training method，and provides a new reference method for driving behavior detection based on image recognition. Keywords：PAI platform；Auto Learning；driving behavior；machine learning。

机器学习PAI⽤⼾指南·法律声明法律声明阿⾥云提醒您在阅读或使⽤本⽂档之前仔细阅读、充分理解本法律声明各条款的内容。

如果您阅读或使⽤本⽂档，您的阅读或使⽤⾏为将被视为对本声明全部内容的认可。

1. 您应当通过阿⾥云⽹站或阿⾥云提供的其他授权通道下载、获取本⽂档，且仅能⽤于⾃⾝的合法合规的业务活动。

本⽂档的内容视为阿⾥云的保密信息，您应当严格遵守保密义务；未经阿⾥云事先书⾯同意，您不得向任何第三⽅披露本⼿册内容或提供给任何第三⽅使⽤。

2. 未经阿⾥云事先书⾯许可，任何单位、公司或个⼈不得擅⾃摘抄、翻译、复制本⽂档内容的部分或全部，不得以任何⽅式或途径进⾏传播和宣传。

3. 由于产品版本升级、调整或其他原因，本⽂档内容有可能变更。

阿⾥云保留在没有任何通知或者提⽰下对本⽂档的内容进⾏修改的权利，并在阿⾥云授权通道中不时发布更新后的⽤⼾⽂档。

您应当实时关注⽤⼾⽂档的版本变更并通过阿⾥云授权渠道下载、获取最新版的⽤⼾⽂档。

4. 本⽂档仅作为⽤⼾使⽤阿⾥云产品及服务的参考性指引，阿⾥云以产品及服务的“现状”、“有缺陷”和“当前功能”的状态提供本⽂档。

阿⾥云在现有技术的基础上尽最⼤努⼒提供相应的介绍及操作指引，但阿⾥云在此明确声明对本⽂档内容的准确性、完整性、适⽤性、可靠性等不作任何明⽰或暗⽰的保证。

任何单位、公司或个⼈因为下载、使⽤或信赖本⽂档⽽发⽣任何差错或经济损失的，阿⾥云不承担任何法律责任。

在任何情况下，阿⾥云均不对任何间接性、后果性、惩戒性、偶然性、特殊性或刑罚性的损害，包括⽤⼾使⽤或信赖本⽂档⽽遭受的利润损失，承担责任（即使阿⾥云已被告知该等损失的可能性）。

5. 阿⾥云⽹站上所有内容，包括但不限于著作、产品、图⽚、档案、资讯、资料、⽹站架构、⽹站画⾯的安排、⽹⻚设计，均由阿⾥云和/或其关联公司依法拥有其知识产权，包括但不限于商标权、专利权、著作权、商业秘密等。

⾮经阿⾥云和/或其关联公司书⾯同意，任何⼈不得擅⾃使⽤、修改、复制、公开传播、改变、散布、发⾏或公开发表阿⾥云⽹站、产品程序或内容。

阿里云与华为云的技术比较与优劣分析随着云计算市场不断发展，阿里云和华为云成为了中国云计算领域内的两大巨头。

阿里巴巴旗下的阿里云在成立十年间，已经成为世界五大云计算厂商之一，拥有多项技术专利，并为数百万企业提供了云计算服务。

而华为云则以其高效稳定的技术方案和长远的发展目标吸引了不少客户。

那么，阿里云和华为云之间有什么区别？它们的技术优劣如何呢？本文将对其进行比较分析。

1. 技术方案阿里云的技术方案主要包括容器服务、虚拟机、云数据库（RDS）、大数据和人工智能等。

其中，容器服务具有高可靠、弹性扩容等特点，是阿里云的核心产品之一。

而云数据库（RDS）则为用户提供了高效、稳定的数据库技术解决方案。

此外，阿里云还推出了人工智能平台PAI，为广大用户提供了便捷的人工智能应用工具。

而华为云的技术方案则主要包括云服务器、云存储、云数据库、弹性伸缩和云安全等。

与阿里云相比，华为云注重于提供稳定、高效的技术方案。

其云服务器采用全系Intel平台技术，具有高可靠、高性能等特点。

云存储则支持分布式存储、弹性扩缩、高可用等特性，可以为用户提供更加优质的服务体验。

2. 性能与稳定性对于云计算企业来说，性能和稳定性无疑是核心竞争力所在。

阿里云在云计算领域中的优势主要表现在稳定性、高可用性和性能方面。

阿里云的云服务器使用高性能的存储系统，可以实现98%以上的数据可靠性。

此外，阿里云还拥有全球超过1500个CDN节点资源，可以为企业提供更加优质的服务体验。

而华为云则注重于提供高效稳定的技术方案，保持着高品质的服务水平。

华为云的云服务器采用全系列Intel处理器技术，有效提高了服务器的性能和稳定性。

同时，华为云也提供了多种安全措施，例如DDoS防御方案、安全防火墙等，确保云计算平台的安全性。

3. 整体服务水平综合服务水平也是用户选择云计算企业的另一重要考虑因素。

阿里云的服务优势在于其完善的技术支持、灵活的付费模式和贴近企业业务需求的技术方案以及高效、稳定的性能表现。

阿里云人工智能ACA认证考试大纲涵盖了多个方面，以下是主要内容：
1. 人工智能概述：包括人工智能的定义、发展历程、应用领域等。

2. 深度学习神经网络基础：包括神经网络的基本原理、结构和功能、训练方法等。

3. TensorFlow基础：包括TensorFlow的基本概念、模型构建和训练、优化算法等。

4. 阿里云机器学习与深度学习开发平台PAI基础：包括PAI的功能、使用场景、使用方法等。

5. 阿里云人工智能API：包括阿里云提供的各种人工智能API的使用方法、接口文档、常见问题等。

6. 数据处理与分析：包括数据预处理、数据存储和管理、数据分析和挖掘等。

7. 自然语言处理：包括自然语言理解、文本生成、情感分析等。

8. 计算机视觉：包括图像识别、目标检测、人脸识别等。

9. 语音技术：包括语音合成、语音识别、语音转换等。

10. 机器学习实战项目：包括实际项目案例、数据集、工具和框架等。

以上是阿里云人工智能ACA认证考试大纲的主要内容，考生需要掌握相关知识和技能，以便在考试中取得好成绩。

ai产品介绍模板
AI产品介绍
一、产品概述
人工智能（AI）已成为当今世界最热门的话题之一。

作为一家领先的AI技
术公司，我们很高兴向您介绍我们的最新AI产品——[产品名称]。

[产品名称]是基于深度学习技术，结合大数据分析，为用户提供智能化的解决方案。

二、产品特点
1. 高效性：[产品名称]通过高效的算法和强大的计算能力，能够快速处理大量数据，为用户提供即时服务。

2. 智能化：[产品名称]具备自主学习和自我优化的能力，能够根据用户需求和环境变化进行智能调整，提高服务质量。

3. 安全性：[产品名称]采用了先进的加密技术和安全防护措施，确保用户数据的安全性。

4. 易用性：[产品名称]提供了友好的用户界面和操作指南，让用户轻松上手。

三、应用场景
[产品名称]适用于各种场景，如智能客服、智能家居、智能安防等。

通过与各行各业的结合，[产品名称]能够为用户提供更加智能化、高效化的服务体验。

四、总结
[产品名称]作为一款先进的AI产品，具备高效性、智能化、安全性和易用性等特点，能够为用户带来全新的服务体验。

我们相信，[产品名称]将成为您智能化生活的得力助手。

阿里云机器学习平台PAI产品与技术——P latform of A rtificial I ntelligence高级产品专家刘吉哲AI机器学习深度学习123机器学习应用场景阿里云机器学习PAI技术框架解析淘宝、天猫商品个性化推荐机器学习帮助明源地产将客户转化比由10.7%提升到19.6%墨迹天气使用深度学习做短时天气预报根据雷达回波图预测区域天气使用机器学习预测阿尔兹海默症病情发展过程机器学习助力城市交通123机器学习应用场景阿里云机器学习PAI技术框架解析阿里云机器学习PAI 2.0丰富的算法异构计算资源调度拥抱新硬件：CPU+GPU混合调度✓数据/元数据统一✓基于作业特色的调度能力FPGA加速✓定制化算法✓定制化在线预测深度学习框架1TensorFlow多机多卡支持版本1.0，1.1，1.2，1.4华北-P100华东-M40 2Caffe支持版本RC33MXNet支持版本0.9.5印刷文字识别文本分析API123机器学习应用场景阿里云机器学习PAI技术框架解析电商推荐场景下大数据算法和技术挑战阿里电商推荐的业务特点✓最大场景达到百亿级别的PV/天✓亿级别用户维度和亿级别商品维度✓快速实时变化的用户兴趣和热门商品点击率预估算法和平台的挑战✓特征规模有限（10亿~100亿）难以刻画全网用户行为和商品特征点击率预估算法✓离线训练难以捕捉用户短期内兴趣模式阿里Parameter Server (鲲鹏，SIGKDD'17)支撑阿里集团最大规模的分布式算法训练服务广告、推荐、搜索等多个重要场景支撑PAI平台大规模算法✓Owlqn-LR：300亿特征，1千亿样本✓LDA：1万亿word -topic矩阵✓XFtrl、XNN：千亿特征流式学习Parameter Server 技术优化与效果 高效分布式通信✓支持1000+ Server 节点✓Sparse 、Dense 参数合并通信 由离线训练转向在线增量训练（Online Learning ）✓将训练Job Service 化✓内存数据不落盘 全局checkpoint 和failover ✓Exactly Once Failover ✓单节异步Failover 优化效果 在手淘、天猫多个大规模推荐场景上线✓单场景1天100亿+训练样本，累积2000亿+特征✓500万Sample/s 迭代性能✓持续增量在线训练超过60天✓引导点击率和客单价显著提升多租户中的深度学习分布式作业的网络隔离lightw eightvmdocker runtim e paiw orker 0netw ork isolation…RDM Alightw eightvmdocker runtim epai w orker nTC P /IPjo b -0…jopba-in…w orker 0ww oorrkkeerr00S erver-0jo b -0 w orker n…S erver-njopba-in w orker nP hysicalN etw ork多租户中的深度学习分布式作业的GPU直通H ostK ernellightw eightvmdocker runtim epai w orkerP C IE P assthrough… G PUG PU08云端 I/O 性能优化：多线性+预取技术通信性能优化： gRPC 多线程说明： 优化点：底层gRPC handler 多线程并行处理 提升：64 卡提升1倍，128卡提升3+倍； 卡数量越多，性能提升越高；Ring AllReduce说明： 基于 Rendzvous； 支持gRPC、RDMA、NCCL等原生通信协议，扩展 方便； MPI 是框架，不是库。

目录大数据产品框架数据计算平台数据加工与分析服务与应用引擎大数据应用场景记录 统计大规模计算GB计算复杂程度数据量TBPB网站独立数据 集市论坛小型电商小型EDW BI/DWMPP淘宝支付宝 CRMERPHPC语言识别影音识别图像识别关系网络图像比对 行为DNA刷脸精准广告大数仓消费预测征信搜索排序EB深度学习大数据产品框架应用加速器分析引擎 推荐引擎 兴趣画像分类预测规则引擎 标签管理ID-Mapping计算引擎数据加工和分析工具离线计算 流计算 数据开发 ETL 开发调度系统机器学习分析型数据库数据可视化工具数据采集CDP （离线）数据服务和应用引擎数据管理数据 地图数据 质量智能 监控阿里云大数据集成服务平台是阿里巴巴集团统一的大数据平台，提供一站式的大数据开发、管理、分析挖掘、共享交换解决方案，可用于构建PB 级别的数据仓库，实现超大规模数据集成，对数据进行资产化管理，通过对数据价值的深度挖掘，实现业务的数据化运营。

目录大数据产品框架数据计算平台数据加工与分析服务与应用引擎大数据离线计算服务 MaxCompute离线计算流计算分析型数据库大数据计算服务(MaxCompute ，原ODPS)是由阿里巴巴自主研发的大数据产品，支持针对海量数据（结构化、非结构化）的离线存储和计算、分布式数据流处理服务，并可以提供海量数据仓库的解决方案以及针对大数据的分析建模服务，应用于数据分析、挖掘、商业智能等领域。

存储易用安全计算●支持TB 、PB 级别数据存储 ●支持结构化、非结构化数据存储●集群规模可灵活扩展，支持同城、异地多数据中心模式●支持海量数据离线计算●支持分布式数据流式处理服务 ●支持SQL 、MR 、Graph(BSP)、StreamSQL 、MPI 编程框架 ●提供丰富的机器学习算法库●支持以RESTful API 、SDK 、CLT 等方式提供服务●不必关心文件存储格式以及分布式技术细节●经受了阿里巴巴实践检验●数据存储多份拷贝 ●所有计算在沙箱中运行MaxCompute 的优势和能力高效处理海量数据1、跨集群技术突破，集群规模可以根据需要灵活扩展，支持同城、异地多数据中心模式2、单一集群规模可以达到10000+服务器（保持80%线性扩展）3、不保证线性增长的情况下，单个集群部署可以支持100万服务器以上4、对用户数、应用数无限制，多租户支持500+部门5、100万以上作业及2万以上并发作业安全性1、所有计算在沙箱中运行2、多种权限管理方式、灵活数据访问控制策略3、数据存储多份拷贝易用性1、开箱即用2、支持SQL、MR、Graph、流计算等多种计算框架3、提供丰富的机器学习算法库4、ODPS支持完善的多租户机制，多用户可分享集群资源自主可控经过实践验证1、阿里巴巴自主研发2、整套平台经受了阿里巴巴超大规模数据应用的实践验证离线计算流计算分析型数据库离线计算流计算分析型数据库自主可控•使用Hadoop组件开发受制于开源社区，最多只能维护一个分支•开源社区组件太多，版本问题，打包问题，升级维护成本太高Hadoop核心技术架构发展缓慢•一些技术阿里要比开源社区更早实现（如分布式文件系统多master实现等）没有一个Hadoop发行版可以满足阿里巴巴的业务场景•如异地多数据中心、数据安全性等要求Hadoop社区分化严重，发展状况有隐忧当前Yahoo、Facebook等公司使用的都是自己的私有版本流计算 StreamCompute离线计算流计算分析型数据库●阿里云流计算（StreamCompute）是一个通用的流式计算平台，提供实时的流式数据分析及计算服务●整个数据处理链路是进行压缩的，链路是即时的，完全以业务为中心，数据驱动解决用户实际问题实时ETL 监控预警实时报表实时在线系统对用户行为或相关事件进行实时监测和分析，基于风控规则进行预警用户行为预警、app crash预警、服务器攻击预警数据的实时清洗、归并、结构化数仓的补充和优化实时计算相关指标反馈及时调整决策内容投放、无线智能推送、实时个性化推荐等双11、双12等活动直播大屏对外数据产品：数据魔方、生意参谋等低延时高效流数据处理，根据不同业务场景的时效性需要，从数据写入到计算出结果秒级别的延迟高可靠●底层的体系架构充分考虑了单节点失效后的故障恢复等问题，可以保证数据在处理过程中的不重不丢， Exactly-Once 语义保证●通过定期记录的checkpoint数据，自动恢复当前计算状态，保证数据计算结果的准确性可扩展计算能力和集群能力具有良好的可扩展性，用户可以通过简单的增加Worker节点数量的方式进行水平扩展，可以支持每天PB级别的数据流量开发方便●SQL支持度高：标准SQL，语义明确，门槛低，只需要关心计算逻辑，开发维护成本低●完善的元数据管理：SQL天然对元数据友好，SQL优化支持离线计算流计算分析型数据库功能特性BI分析的发展方向离线计算流计算分析型数据库分析型数据库概述离线计算流计算分析型数据库分析型数据库(Analytic DB)，是一套实时OLAP（Realtime-OLAP）系统。