下载文档原格式
亚马逊AWS基于AWS云平台上的实时数据分析最佳实践分享1.选择合适的数据处理和存储服务：AWS提供了多种数据处理和存储服务，包括AWS Lambda、Amazon Kinesis、Amazon EMR（Elastic MapReduce）等。
根据数据量和数据处理需求的不同，选择合适的服务来实现实时数据分析。
2.使用AWS Kinesis进行数据收集和流处理：AWS Kinesis是一种可扩展的实时流处理服务，可以用于收集和处理大规模实时数据。
通过使用Kinesis，可以将数据有效地收集和传输到特定的目标，同时也可以对数据进行即时处理和实时分析。
3.使用AWS Redshift进行数据仓库：AWS Redshift是一种快速、可扩展、完全托管的数据仓库服务，可以帮助用户实现高效的数据存储和查询。
在实时数据分析中，将数据存储在Redshift中，可以快速地进行复杂的分析和查询操作。
4.使用AWS Lambda进行异步数据处理：AWS Lambda是一种无服务器计算服务，可帮助用户在不管理服务器的情况下运行应用程序代码。
通过使用Lambda，可以将实时数据处理与其他服务集成，实现异步处理和实时响应。
5.使用AWS Glue进行数据转换和ETL（Extract, Transform, Load）：AWS Glue是一种可视化的数据准备和ETL工具，可以帮助用户将数据从不同的源头提取、转换和加载到目标系统中。
在实时数据分析中，使用Glue可以轻松地处理和转换数据，准备用于进一步分析的数据集。
6.使用AWS QuickSight进行数据可视化：AWS QuickSight是一种快速、互动式的商业智能工具，可以帮助用户轻松地可视化和分析数据。
通过使用QuickSight，可以实时地生成仪表板和报表，以便快速理解和解释数据。
7.使用AWS CloudWatch进行监控和警报：AWS CloudWatch是一种监控和管理服务，可以帮助用户实时地监控各种AWS资源和应用程序。
DynamoDB和MongoDB分析⽐较DynamoDB是Amazon最新发布的NoSQL产品。
本⽂在介绍DynamoDB特性的基础上，将其与SimpleDB、Cassandra和MongoDB进⾏了分析和⽐较。
DynamoDB简介在NoSQL概念⽇益⽕爆的今天，市场上⼜增加了⼀个重量级的NoSQL产品—DynamoDB，它是Amazon AWS于2012年1⽉18⽇发布的。
⼀看到这个名称，很多⼈都会想起2007年Amazon发表的Dynamo论⽂。
⼈们经常将这篇论⽂与Google的BigTable 相提并论，这在当时带来了相当⼤的影响，很多产品都借鉴了Dynamo的思想，⽐如Cassandra。
那什么是DynamoDB呢？按照AWS CTO Werner Vogels的说法：“DynamoDB是⼀个性能好、可靠⾼且具有可扩展性的NoSQL云数据库服务，DynamoDB集15年分布式⾮关系性数据库开发之精粹，⼜通过内部使⽤考验，是AWS团队精⼼打造的产品。
”本⽂将通过DynamoDB的特性、数据模型，以及API来进⾏深⼊的介绍。
从官⽅⽂档来看，DynamoDB有以下⼏个特性。
稳定的性能保证。
为了保证⾼性能，DynamoDB采⽤固态硬盘（SSD）进⾏存储，对于⼀般的请求，DynamoDB在⼗毫秒内就可以完成，⽽且处理请求的速度不会随着数据量的增加⽽减慢。
读/写流量限制预设（Provisioned Throughput）。
这个概念和我们经常接触的按带宽收费⾮常相像，⽤户必须指定对数据库的读/写带宽，Amazon会按⽤户设置的读/写带宽收费。
但与传统的带宽收费不同，⽤户可以随时通过控制台或者API更改数据库的读/写流量的限制。
⾃动扩容。
DynamoDB不会对⽤户的数据规模⼤⼩做任何限制，后台会默默地把⽤户的数据分布到各个机器上去。
强⼀致性。
⽤户可以通过参数指定要读的数据是否需要⼀致性。
这⾥需要注意的是，如果读的数据全是要求强⼀致性的话，那么在设置读流量上限时需要设置成实际读流量的两倍。
aws知识点总结AWS（Amazon Web Services）是由亚马逊公司提供的云计算服务平台，通过该平台，用户可以按需获取计算能力、存储、数据库等服务，从而节省成本，提高效率。
AWS提供了众多服务，包括计算、存储、数据库、网络、开发工具、安全和身份、分析、人工智能等，下面将对AWS的一些重要知识点进行总结。
一、计算服务1. EC2（Elastic Compute Cloud）EC2是AWS中最核心的服务之一，它提供了可扩展的虚拟服务器实例，用户可以通过EC2快速获取和启动虚拟服务器。
EC2实例可以根据需要进行弹性伸缩，用户可以根据实际需求随时调整实例的规模和性能。
2. LambdaLambda是AWS提供的无服务器计算服务，用户无需管理服务器，只需上传代码即可运行，Lambda会根据实际请求进行自动扩展。
Lambda支持多种语言，包括Node.js、Python、Java等。
3. ECS（Elastic Container Service）ECS是AWS提供的容器管理服务，用户可以在ECS上运行Docker容器，实现应用程序的快速部署和扩展。
4. EKS（Elastic Kubernetes Service）EKS是AWS提供的托管Kubernetes服务，用户可以在EKS上轻松地运行Kubernetes集群，实现容器化应用程序的部署和管理。
5. Auto ScalingAuto Scaling是AWS提供的自动扩展服务，用户可以根据实际负载情况自动调整EC2实例的规模，确保系统具有良好的稳定性和可用性。
二、存储服务1. S3（Simple Storage Service）S3是AWS提供的对象存储服务，用户可以在S3上存储和检索任意数量的数据，S3具有高可用性和高耐用性，适合存储静态文件、多媒体内容、备份数据等。
2. EBS（Elastic Block Store）EBS是AWS提供的持久化块存储服务，用户可以将EBS卷挂载到EC2实例上，用于存储应用程序数据、数据库、文件系统等。
EMR用法
Amazon EMR（Elastic MapReduce）是一种云服务，用于处理大规模的结构化和非结构化数据。
下面是一些常见的EMR用法：
1. 数据处理和分析：EMR可以处理和分析大规模的数据集，包括文本、日志、传感器数据等。
您可以使用EMR来提取、转换和加载（ETL）数据，并使用各种数据处理和分析工具（如Pig、Hive和Spark）来执行复杂的查询和分析。
2. 机器学习和人工智能：EMR支持多种机器学习和人工智能算法，包括Apache Mahout、Apache Spark MLlib和TensorFlow等。
您可以使用EMR来构建和训练机器学习模型，并使用EMR来部署和管理这些模型。
3. 数据仓库和数据湖：EMR可以作为数据仓库和数据湖的替代品，用于存储和处理大量的数据。
您可以使用EMR 来构建数据仓库和数据湖，并使用各种数据处理和分析工具来查询和分析数据。
4. 实时数据处理：EMR支持实时数据处理，可以使用Apache Kafka和Flume等工具来收集和处理实时数据。
您可以使用EMR来构建实时数据处理管道，并使用EMR来处理和分析实时数据。
5. 容器化应用程序：EMR支持使用Amazon ECS（Elastic
Container Service）和Amazon EKS（Elastic Kubernetes Service）来运行容器化应用程序。
您可以使用EMR来构建和管理容器化应用程序，并使用EMR来管理和监控这些应用程序。
总之，EMR是一种功能强大的云服务，可以用于处理和分析大规模的数据集，并支持多种数据处理和分析工具、机器学习和人工智能算法、实时数据处理和容器化应用程序。
GOOGLE云计算与AMAZON云计算对比Google云计算与Amazon云计算对比1：介绍1.1 Google云计算概述Google云计算是由谷歌公司提供的一套云计算服务，旨在帮助企业和个人进行应用程序的开发、存储和托管等操作。
Google云计算提供了丰富的计算资源、存储服务以及大数据处理等功能，是全球最大的云计算运营商之一。
1.2 Amazon云计算概述Amazon云计算是由亚马逊公司提供的云计算平台，称为亚马逊云服务（Amazon Web Services，简称AWS）。
AWS提供了一系列云计算服务，包括计算、存储、数据库、和机器学习等，为企业提供了高度可扩展的云计算基础设施。
2：云计算服务对比2.1 计算服务2.1.1 Google云计算的计算服务Google云计算提供了虚拟机实例（Google Compute Engine）和容器化应用程序托管（Google Kubernetes Engine）等计算服务。
虚拟机实例支持多种操作系统，具有灵活、可扩展的计算能力。
而容器化应用程序托管则提供了更轻量级的部署方式，能够更高效地运行应用程序。
2.1.2 Amazon云计算的计算服务Amazon云计算提供了弹性计算云（Amazon Elastic Compute Cloud，简称EC2）和Lambda无服务器计算等计算服务。
EC2提供了灵活的虚拟机实例，用户可以根据需求选择不同类型的实例。
而Lambda无服务器计算则允许用户无需管理服务器即可运行代码。
2.2 存储服务2.2.1 Google云计算的存储服务Google云计算提供了云存储服务（Google Cloud Storage），用户可以将文件以对象的形式存储在云端，提供高可靠性和高可扩展性。
此外，Google云计算还提供了云数据库（Google Cloud Spanner）和云存储桶（Google Cloud Storage Bucket）等。
Amazon EMR 迁移指南客户有责任对本文档中的信息进行独立评估。
本文档：(a) 仅供参考，(b) 代表 AWS 当前的产品服务和实践，如有变更，恕不另行通知，并且 (c) 不构成 AWS 及其附属公司、供应商或许可方的任何承诺或保证。
AWS 产品或服务均“按原样”提供，没有任何明示或暗示的担保、表态或条件。
AWS 对其客户的责任和义务受 AWS 协议约束，本文档不属于AWS 和客户之间签订的任何协议，亦不构成对任何此类协议的修订。
© 2019 Amazon Web Services, Inc. 或其附属公司。
保留所有权利。
简介 (1)开启您的旅程 (3)迁移方法 (3)原型设计 (5)选择团队 (7)迁移的一般最佳实践 (9)收集需求 (11)获取本地指标 (11)成本估算和优化 (12)优化成本 (12)存储优化 (13)计算优化 (16)成本估算概述 (18)优化基于 Apache Hadoop YARN 的应用程序 (18)Amazon EMR 集群拆分方案 (21)集群特征 (21)常见集群分拆方案 (22)拆分集群的其他注意事项 (24)保护 Amazon EMR 上的资源 (25)EMR 安全最佳实践 (25)身份验证 (25)授权 (29)加密 (34)边界安全 (35)审计 (37)软件补丁 (38)软件升级 (39)常见客户使用案例 (40)数据迁移 (44)使用 Amazon S3 作为中央数据存储库 (44)持续传输大量数据 (47)连续传输事件和流数据 (50)优化基于 Amazon S3 的中央数据存储库 (51)优化成本和性能 (54)数据目录迁移 (58)Hive metastore元存储部署模式 (58)Hive metastore 元存储迁移选项 (63)EMR 上的多租户 (66)筒仓模式 (66)共享模式 (68)在 Amazon EMR 上实施多租户的注意事项 (69)Amazon EMR 上的提取、转换、加载 (ETL) (74)Amazon EMR 上的编排 (74)迁移 Apache Spark (84)迁移 Apache Hive (87)提供Ad Hoc查询功能 (95)Presto 注意事项 (95)Amazon EMR 上的 HBase 工作负载 (97)迁移 Apache Impala (102)升级 Amazon EMR 版本 (103)卓越运营的通用最佳实践 (107)测试和验证 (108)数据质量概述 (108)检查您的提取管道 (109)整体数据质量策略 (110)评估数据质量的影响 (111)有助进行数据质量检查的工具 (112)支持您的迁移 (114)AWS 专业服务 (114)AWS 合作伙伴 (116)AWS Support (117)贡献者 (118)其他资源 (119)文档修订 (120)附录 A：需求收集调查问卷 (121)安全要求 (123)TCO 注意事项 (123)附录 B：EMR Kerberos 工作流程 (124)具有单向信任机制的 KDC 的 EMR Kerberos 集群启动流程 (124)通过 Hue 访问的 EMR Kerberos 流 (126)与 HiveServer2 直接交互的 EMR Kerberos 流 (127)EMR Kerberos 集群启动流程 (128)附录 C：LDAP 配置示例 (130)Hadoop Group Mapping的示例 LDAP 配置 (130)Hue 的 LDAP 配置示例 (131)附录 D：数据目录迁移常见问题 (133)关于本指南许多客户在迁移到 Amazon EMR 时都会遇到不少问题，涉及评估、计划、架构选择以及如何满足将 Apache Spark 和 Apache Hadoop 等分析应用程序从本地数据中心迁移到新的 AWS 云环境的诸多要求。
AWS系列之⼀亚马逊云服务概述云计算经过这⼏年的发展，已经不再是是⼀个⾼⼤上的名词，⽽是已经应⽤到寻常百姓家的技术。
每天如果你和互联⽹打交道，那么或多或少都会和云扯上关系。
gmail、github、各种⽹盘、GAE、heroku等各种服务都属于云服务的范畴。
那么云计算的定义到底是什么？这⾥有摘⾃wiki的定义。
Cloud computing in general can be defined as a computer network which includes, computing hardware machine orgroup of computing hardware machines commonly referred as a server or servers connected through acommunication network such as the Internet, an intranet, a local area network(LAN) or wide area network(WAN).从上⾯的定义可以看出，云计算可以看做⼀个计算⽹络，其由⼀组硬件主机作为服务器，然后通过通讯⽹络连接，从⽽给其他⽤户提供各种各样的服务。
以下是云计算的⼀个概念图。
从该图中可以看出，云计算提供的服务可以分为三层，第⼀层是基础设施（Infrastructure）,第⼆层是平台（Platform）,第三层是应⽤软件（Application）。
基础设置的服务包括虚拟或实体计算机、块级存储、⽹络设施（如负载均衡，内容交付⽹络，DNS解析）等，平台的服务包括对象存储、认证服务和访问服务、各种程序的运⾏时、队列服务、数据库服务等，⽽应⽤软件的服务则包括的多了，⽐如邮件服务、代码托管服务等等。
⽤户可以通过台式电脑、⼿提电脑、⼿机、平板等各种互联⽹终端设备访问和使⽤这些服务。
其实这三层就是我们常说的IaaS（Infrastructure as a Service）、PaaS（Platform as a Service）、SaaS(Software as a Service)。
