当前位置:文档之家› 数据分析师的成长之路

数据分析师的成长之路

数据分析师的成长之路
数据分析基础
结构化:比较规整一致的“数据空间”
数据分析的本质是什么?将结构化或者非结构化的数据映射到指定格式的数据空间里面,然后进行分析——数据分析的基础就是数据空间的映射也即是数据分析的一个基础的一件事就是寻找合适的数据空间映射方案——某种程度上就是所谓你的“数据清洗”
数据分析工具
基础性统计工具:Excel,spss,sas,数据库管理数据,但他们处理的是结构化的数据
二是编程语言 包括python,r,java,ruby等 这些语言工具主要是处理数据空间映射和清洗工作,比较常用的是python,r,
高阶学习统计方式(按顺序学习)
《数据科学实战》
《计算机科学概论》
《 Python基础教程(第2版?修订版) 》
《 深入浅出统计学 》
《 MySQL必知必会 》+《 数据库系统概念 》
《 R语言编程艺术 》
最后,可以使用《 利用Python进行数据分析 》将所有知识串接起来,感受pandas以及scipy,numpy中的数据计算 是如何体现数据空间映射这个深刻概念的。
二.中阶:理论

中阶主要是理论学习以及一些比较复杂的应用操作。

1.理论基础:书籍

良好的数学基础是进一步学习的支撑条件。

以下是推荐阅读的书目:

1.概率论与数理统计:《 概率论与数理统计 》,进一步学习概率与统计;

2.高等代数:《 高等代数简明教程(上册) 》,“数据空间的映射”的思想就来自于高等代数;

3.最优化:《 最优化理论与方法 》,参考书,中阶不要细读。

4.数据挖掘:《 数据挖掘导论 》,偏数学,《 数据挖掘 》,偏结构化的数据库;

5.信息检索领域入门:《 信息检索导论 》

6.统计学习理论快速俯瞰:《 统计学习方法 》

7.实战之于python:《 集体智慧编程 》+《 机器学习实战 》

8.实战之于Mahout平台:《 Mahout实战 》

2.实战:利用数据库与数据api,实战学习

(1)淘宝上以及很多百度提供的一些 数据库 : API Store_为开发者提供最全面的API服务等,都可以下载到数据进行处理,有一些经典的研究数据库,主要是一些大学构建的,也可以用来训练模型;
2).学习写 网络爬虫 ,基于python,爬取文本数据进行分析,其中,文本数据分析可能涉及到中文的自然语言处理,比较麻烦,有一些模块可以直接使用(比如jieba),如果觉得不理想,可以尝试爬取英文页面。另:写爬虫必须首先理解网页的数据空间,建议阅读:《 Head First HTML与CSS、XHTML(中文版) 》;

(3).苦练 清洗数据 的基本功——因为大多数数据工程师的主要工作都在于此,并且在清洗的过程中,深

刻理解数据空间的映射。另,清洗数据必备技能:正则表达式。建议阅读:《 正则表达式必知必会 》;

(4). 混合编程 与 数据可视化 :可以尝试以python为主的混合编程(python+R)以及数据可视化,建议阅读《 ggplot2 》
三.高阶:回归、远行、优化与万法归宗

1.回归

总的来说,数据挖掘、机器学习相关的工作,看着很新,其实只是很久之前的理论知识的应用罢了,在实战领域,并没有多少新的东西。

所以,从技术上讲,我们需要回归到那些最内核的东西。

什么是最内核的东西,那就是: 算法与数据结构 。

知乎上有一些言论,说算法与数据结构一般情况下程序员是用不到的,这句话对于一般的写系统的程序员确实受用,但是对机器学习、数据挖掘的程序员,却恰恰相反:我们的主要工作就是在搞算法和数据结构。

比如贝叶斯网络、人工神经网络,本质上其实还是基于图的算法的应用罢了。

推荐一本书,比《算法导论》好读:《 算法(第4版) 》

2.远行

所谓远行,就是从学习的象牙塔里面走出来,走向实用或者特殊领域,比如: 金融量化分析 。

传统的投资经理,做的专业投资,本质上根根结底是什么?那就是两个字: 分散 。

所谓分散,说大白话就是“把鸡蛋放在多个篮子里面”,但至于怎么放,放多少,都是非常复杂的,传统的手段包括建立 马科维兹模型 与 指数模型 来作为分散的参考模型。

机器学习也是可以来做分散的,并且,知名的文艺复兴技术公司做的“最大熵模型”比传统的那两大模型还要好,还能够持续跑赢大盘。

如果你对机器学习、数据挖掘相关理论有深刻理解的话,你会发现一个事实: 分散本质上就是在寻找有限条件下的最大组合熵! 最大熵模型之所以有效就是因为它使用了超级大的数据量作为基准,得到了相对于传统分散模型更高的熵。

这个要讲很多,确实也比较高阶,我就点到为止,将来再细谈。

3.优化

优化主要是对python执行效率的优化——要知道,很多时候,量化分析对时间的要求非常严格,差之毫厘,损失成百上千万。

这个时候,就需要了解如何优化python。

知道吗?python是用C写出来的, 如果你优化的好,你的python可能比C还要快!

优化问题本质上是一个局部最优与全局最优权衡的问题,有空细讲。

优化的另外一个问题是 数值计算 ,包括矩阵的分块计算、并行计算,MapReduce对大量数据的处理等,这也是比较复杂的,有空细讲。

4.万法归宗:信息论

数据处理的的最高境界,其实是对信息论的深刻理解。
?算法优化,大量问题都是把指数问题

变为对数问题,其实根本原理是信息论;
?量化分析,买入卖出的博弈,每一次交易如何暴露出信息的?
?投资组合,如何在限制条件内产生最大熵?
?文本挖掘、数据压缩,隐马尔科夫链,如何用最少的信息映射原空间?
?。。。。(待补充)
推荐阅读:《 信息论基础 》





相关主题
文本预览
相关文档 最新文档