实用数据分析读书笔记
- 格式：doc
- 大小：7.09 MB
- 文档页数：2
实用数据分析读书笔记
第一章
数据分析是将原始的数据进行排序和组织的过程，是用于帮助解释和预测未来的一系列方法。数据分析不
只是只针对数字，而是关于如何设定或提出问题，演化解释，以及验证假设的过程。
1.大规模的数据的产生使计算分析变得至关重要，对编程，数据库管理，网络管理和高性能计算的需求逐
渐增加，如Python。
2.我们应用人工智能来实施那些需要推理，相似搜索或者无监督分类的智能活动。
3.机器学习一系列的算法，引导我们了解数据问题到编程化解方案的全过程。
4.统计学是对获取，分析和解读数据的方法加以发展和应用，而数据分析涵盖了一系列统计技术如模拟，
贝叶斯方法，预测，回归，时间序列以及分类。
5.数据分析引用诸多数学技术，如线性代数（向量和矩阵，因式分解以及特征值），数值法和条件概念算法。
6.涉及的方面：财务，行政管理，商务，社会化媒体，政府以及科学领域。
7.数据，信息和知识 将数据和信息转化成一组规则来辅助政策。
8.数据的本质 ：①分类型数据：可以进行分组和分类的数值和观测值
⒈定类变量 ⒉定序变量
②数值型数据是可以用来计算的数值和观测值，有离散型和连续型数据
9.数据分析的过程：①问题陈述②获取数据③清洗数据④数据标准化⑤数据转化⑥探索性统计⑦探索
性可视化⑧预测性建模⑨模型验证⑩成果的可视化和解读 和方案部署。
组合起来： 问题→数据准备→数据探索→预测建模→成果可视化
1.数据分析问题：推理性问题 预测性问题 描述性问题 探索性问题 因果问题 相关性问题
2.数据准备：关于如何获取数据，清洗数据，数据标准化并实现将数据转化为最优数据集的过程
好的数据具有完整性 一致性 无歧义 可计量 正确性 标准化 无冗余
3.数据探索：采用图形或者统计的形式来考察数据，目的在于找到数据存在的模式 关联或者关系。可
视化的方法提供数据概览，从而找到有意义的模式。
4.预测建模：采用数据分析的方法生成一个统计模型，目的在于使模型输出的可能结果成为最优预测值。
在这个过程中我们还有重要的任务就是对模型进行评估从而实现对特定的问题的解答最优化
验证方法有 交叉验证：将数据分为样本量相等的子集，然后测试预测建模的结果进而评估模型的实际
表现，判断各模型的健壮性，评估多个模型的结果以确认最优模型。
保持样本：大数据集将随机分为三组数据子集 训练集 验证集 测试集
5.结果可视化：展示 报表 二维图式 仪表盘 信息图表
部署：打印版 海报 移动设备 桌面界面或者网络。
10.定量数据和定性数据分析
定量数据：采用数字方式所进行的数值度量
定性数据：采用自然语言描述进行的分类度量
定量分析包括对数值型数据的分析，名义尺度，定序，间距，比例；
11.对可视化的目标是对数据中所暗含的新模式或关系进行揭露。可视化方法是跳进复杂数据集来描述或者
探索数据的有效方法；
探索性数据分析的目标如下：
发现数据的错误；检验假设；找到潜在的模式；适合模型的初步选择；决定定量间的相互关系；
12.大数据分析有三个主要的特点:
数据量：大规模的数据；数据形式：存在着结构化、非结构化以及多结构数据等不同的类型；
速度：需要实施快速分析；
对于大数据的一个主要挑战是如何对PB级数据进行存储、保护、备份、组织、分类。另一个挑战就是
数据模糊性的概念；
13.使用工具：Python，D3，MongoDB
Mlpy 中我们使用KRR（kernel ridge regression)来进行数值回归；
使用PCA（principal component analysis）来进行降维；
使用ＳＶＭ（support ector machineｓ）来实现分类；
通过朴素贝叶斯来文本分类；
第二章：数据准备和处理
使用ｏｐｅｎｒｅｆｉｎｅ 工具对原始数据进行获取、清洗、标准化和转化；
１．使用最多的数据源和数据及形式；
