大数据技术知识体系思维导图

（3）池化操作：对于输入的图片，选择最大池化或平均池化对其进行压缩，以加 快神经网络的运算速度。在卷积神经网络中通常会在相邻的卷积层之间加入一个 池化层，池化层可以有效的缩小参数矩阵的尺寸，从而减少最后连接层的中的参 数数量。 池化的作用：对数据进行下采样，减少运算参数量；降低了图像的分辨率，加快 计算速度和防止过拟合。
创建一个等距的一维数组
numpy.logspace()
创建一个等比数列
np.random.rand(10,10)
创建10行10列的数组（范围在0-1之间）
切片
均匀分布
np.random.uniform(0,100)
创建指定范围内的一个数
生成均匀分布随机数，指定随机数取值范围和数组形状
np.random.randint(0,100)
获取到具体的每个键和值
遍历字典
单独获取键和值
字典函数
len(dict),str(dict),type(dict)
字典方法
Set 集合
set是一组key的集合 集合间的运算
总结
变量
全局变量 变量名
函数外定义的变量
要在函数内给一个全局变量赋值时，需要先用global关键字声明变量，否则编译 器会尝试新建一个同名的局部变量
有标签样本{特征，标签} 无标签样本{特征，？}
数据的特定实例x
样本
检查多个样本并尝试找出可最大限度地减少损失的模型，这一过程称为经验风险 最小化
首先对权重w和偏差b进行初始猜测
构建模型
可将样本映射到预测标签
然后反复调整这些猜测 直到获得损失可能最低的权重和偏差为止
模型训练要点
模型
不断迭代，直到总体损失不再变化或至少变化极其缓 慢为止

ETL作业详细信息。
文件格式模式定义。
源到目标的映射文档。
数据血缘文档，包括上游和下游变更影响的信 息。
程序和应用的名称和描述。
周期作业（内容更新）的调度计划和依赖。
恢复和备份规则。
数据访问的权限、组、角色。
批处理程序的作业执行日志。
抽取历史和结果。
调度异常处理。
基本概念
审计、平衡、控制度量的结果。 错误日志。
目标和原则
推换广。或强制使用技术元数据标准，以实现数据交 组织承诺
战略
企业视角
潜移默化 原则
访问
质量
审计
改进
元数据与数据
数据集、表和字段的定义和描述。
业务规则、转换规则、计算公式和推导公式。
数据模型。
数据质量规则和检核结果。
数据的更新计划。
引言
数据溯源和数据血缘。
业务元数据
数据标准。
特定的数据元素记录系统。
过程控制
元数据解决方案的文档
元数据标准和指南
元数据存储库完整性
元数据管理成熟度
专职人员配备
元数据使用情况 业务术语活动
度量指标
主数据服务数据遵从性
元数据文档质量
元数据存储库可用性
元数据治理
缺失高质量元数据影响
因容不的正知确识、导不致完错整误和判不断合。理的假设或缺乏数据内 暴业露信敏誉感和数导据致，法使律客纠户纷或。员工面临风险，影响商 如们果了了解解的数知据识的也那随些之领被域带专走家了们。离开了，那么他
集中式元数据架构
抽系取统元中数的据元时数可据进进行行转补换充、，自提定高义了或元使数用据其的他质源 量。 必须使用复杂的流程确保元数据源头中的更改能 够快速同步到存储库中。

读书笔记
对想了解大数据的小白来讲还是非常不错的，不过里面的安装步骤太多了[emm]。 快速入门，每个框架讲了怎么安装和简单的使用，对于大体了解很有帮助。 前阶段概念性的东西比较多，可以提供参考。 只能说算是知识普及和实验环境搭建，内容一般，实操的话也没多大意义。 框架搭建流程介绍的很清晰了，而且还附有配置参数相关的代码，很棒哦。 比较快速的过了一遍这本书对于大数据类的项目入门比较好，比较基础的介绍了数据中台以及上层应用层实 际技术框架的常见技术以及概念比如hadoop、flume、spark、sevlet等。 各种框架的安装和word count。 入门读物，很好理清技能树可以用来当作入门读物，能够很好的理清一些技术之间的区别与联系，之后再找 相关技术书籍深入学习。 能够帮助入门大数据常用的框架，对大数据技术有个概貌认知，也能快速入门上手，感知各组件的关系。 六个小时，大体看完，想快速入门的推荐阅读。
资源管理的本质是集群、数据中心级别资源的统一管理和分配。其中多租户、弹性伸缩、动态分配是资源管 理系统要解决的核心问题。
大数据工程师需要掌握Spark Streaming、Flink DataStream等大数据实时计算技术。
大数据工程师需要掌握MapReduce、Hive、Spark Core、Spark SQL、FlinkDataSet等大数据离线计算技术。
3.4 Hadoop分布式 集群的构建
3.5 MapReduce 分布式计算
框架
3.6本章小结
4.2搭建Kafka分布 式消息系统
4.1构建HBase分布 式实时数据库
4.3本章小结
5.1搭建Flume 1
日志采集系统
5.2使用Flume 2
采集用户行为 数据

Spark：Core、SQL、Streaming、MLib、GraphX……
大数据
Flink、ELK、Ansible……
Jenkins、JIRA、GitlabCI、TravisCI……
DevOps
JWT、SSO、ELK、秒杀……
解决方案
进阶
Java 技术栈
初级
Java 平台
发行版；面向对象；类加载、运行机制；编译、解释、JIT……
微服务
MySQL：B树、B+树、Hash表、隔离性、一致性、原子性、分布式事务、锁、 binlog、redolog、主从同步……
Redis：线程模型、缓存穿透/雪崩、集群和哨兵、分布式锁……
消息队列：RabbitMQ、Kafka、RocketMQ……
Nginx：反向代理、负载均衡…… Elasticsearch、MongoDB、图数据库……
TCP、UDP、HTTP(s)、RPC、WebSocket……
常用协议
内存分配、线程模型…… GC日志、诊断工具、问题定位、调优策略……
JVM
锁：自旋锁、偏向锁、锁粗化/锁消除、分段锁、读写锁、公平锁、非公平锁、乐 观锁、悲观锁……
同步器：CAS、AQS、自旋…… 并发模型：并行、响应式、函数式、Actor、Channel……
Redis
缓存、持久化……
算法 & 数据结构
树、堆、链表、数组…… 查找、排序、递归……
设计模式
单例、工厂、构建器、装饰器、迭代器、观察者……
开发框架
Spring MyBatis
基础：Context、IOC、AOP、Bean、MVC…… SpringBoot：自动装配、嵌入式容器……
SqlSession、Executor……