谁说菜鸟不会数据分析(工具篇)--笔记
- 格式:docx
- 大小:33.82 KB
- 文档页数:7
1.明确分析思路:首先要明确分析目的:菜鸟与数据分析师的区别就在于菜鸟做分析时目的不明确,从而导致分析过程非常盲目。
这点有比较深的体会,在公司里做过关于搜索和新手的产品数据分析,自己对分析目的没考虑太多,靠的是前人留下的上期数据分析结果,倘若让我从零开始做,估计会很盲目。
然后确定分析思路:梳理分析思路,并搭建分析框架,把分析目的分解成若干个不同的分析要点,即如何具体开展数据分析,需要从哪几个角度进行分析,采用哪些分析指标。
最后还要确保分析框架的体系化,使分析结果具有说服力:营销方面的理论模型有4P、用户使用行为、ST P理论、SWOT等;管理方面的理论模型有PEST、5W2H、时间管理、生命周期、逻辑树、金字塔、SMART等。
在上周一个汇报上使用了SWOT分析方法,对这些营销或管理的模型还都很陌生。
2.数据收集:一般数据来源于以下几种方式:数据库、公开出版物(统计年鉴或报告)、互联网、市场调查。
3.数据处理:数据处理主要包括数据清洗、数据转化、数据提取、数据计算等处理方法。
导师提过在做数据处理时,不要在原始数据上进行数据处理以防原始数据丢失,保留数据处理过程以便发现错误时查找。
4.数据分析:数据分析是指用适当的分析方法及工具,对处理过的数据进行分析,提取有价值的信息,形成有效结论的过程。
与数据挖掘的关系是数据挖掘侧重解决四类数据分析问题:分类、聚类、关联和预测,重点在寻找模式与规律。
5.数据展现:一般情况下,数据是通过表格和图形的方式来呈现的。
常用的数据图表包括饼图、柱形图、条形图、折线图、散点图、雷达图等。
进一步加工整理变成我们需要的图形,如金字塔图、矩阵图、漏斗图、帕雷托图等。
在一般情况下,能用图说明问题的就不用表格,能用表说明问题的就不用文字。
6.报告撰写:一份好的数据分析报告,首先需要有一个好的分析框架,并且图文并茂,层次明晰,能够让阅读者一目了然。
结构清晰、主次分明可以使阅读者正确理解报告内容;图文并茂,可以令数据更加生动活泼,提高视觉冲击力,有助于阅读者更形象、直观地看清楚问题和结论,从而产生思考。
谁说菜鸟不会数据分析2篇第一篇:菜鸟也能成为数据分析达人随着信息时代的到来,数据分析成为了越来越多企业必备的技能和能力,成为了一个非常有前途的职业。
也就有了一种误解,认为只有那些具备数学和计算机技能的人才能够从事数据分析。
其实,这个想法是错误的。
即使是一个菜鸟,只要打好基础,也可以成为一位出色的数据分析师。
1、学会自己动手首先,菜鸟在开始数据分析这个工作之前,需要有自学能力。
虽然在学校里或培训课程上可以学到很多,但在实践中,自学才是最实用的方法。
不断地练习和探索,不断研究文档并跟进最新研究成果,这样才能不断进步。
推荐几个学习数据分析的网站:DataCamp、Coursera、Kaggle。
2、学好数学和编程菜鸟要将数据分析这个技能掌握到位,必须学好数学和编程。
不要只是停留在基础的计算思想上,要结合实际问题进行学习。
通过逐渐深入理解各种算法,建立数学模型和计算机模型,学习编程语言等,提高自己的数据分析技能,从而把这些算法应用到实际的问题应用中。
3、学习数据可视化技能学会数据分析,只是开始,但如何把数据分析结果以清晰明了的方式呈现给别人就非常关键了。
这时候就需要菜鸟掌握数据可视化技能。
通过各种可视化工具,菜鸟可以将自己的数据分析结果转化为图表、地图、甚至是3D可视化,使数据分析结果更加直观,有力地支持决策。
推荐几个数据可视化工具: Tableau 、Plotly、D3.js。
4、多交流多接受挑战在数据分析中,多交流是非常重要的。
菜鸟可以参加各种在线活动,参加博客、社群的讨论,了解前沿内容并讨论数据分析中的挑战以及如何解决难题。
通过与其他专业人士和同行的交流,菜鸟可以发现自己在哪些方面比较薄弱和不足,并且通过交流中的互相提高,让自己变得更加专业。
通过以上这些方法,一个菜鸟也可以成为一位出色的数据分析师。
这要求需要菜鸟自己付出时间和精力,不断提升自己的能力。
当然,这一切都是基于良好的基础知识,对于一个充满激情和雄心的菜鸟来说,取得成功就不是一个梦想,而是一个可能实现的目标。
学习记录整理数据分析书和视频
书籍
真的是太好用了吧,
盘他!盘他!盘他!
界面简洁,操作简单,功能也挺齐全,
划线、写想法、书签制作…
最主要在上面读书几乎是免费的,
哈哈哈哈
读书时长,组队,翻一翻各类活动,
无限卡很容易获得的。
《SQL必知必会》
零基础入门级书目,全文穿插实例,简单易懂。
但实在是太基础
了,如果真的想提升SQL,最好还要去牛客网或其他地方多做练习。
《我的第一本算法书》
我以前一直抵触数据结构和算法,觉得太难了。
幸好遇到了这本书,书里的彩图很帮助理解。
唯一不好的就是数据挖掘涉及的算法不是很多。
《谁说菜鸟不会数据分析》
这本书主要介绍excel工具的,数据库用的是ACCESS,数据分析用的是EXECL的PowerPivot,可视化用的是EXCEL的水晶易表,最后还涉及到一点VBA。
其中,第二章的EXCEL数据分析工具库,我觉得还蛮干货的。
视频
网盘存了些数据分析的课,很不错!
1.《七周成为数据分析师》
2.《小灶商业数据分析》
3.《小灶商业数据分析LV2》
4.《统计学分析与数据分析实战》
5.《漫画统计学》
我对B站,爱的深沉,
1.《可汗学院-统计学》
2.《小甲鱼零基础入门学python》
3.《python数据分析与展示》北京理工大学
4.《数据挖掘:理论与算法》北京大学
其中,数据挖掘课尤其是数学部分,
真心听不懂...
弹幕挺搞笑,还有说老师是清华白敬亭
明天又是学习的一天呢,假笑ing
我知道你在看哟。
《谁说菜鸟不会数据分析》读后感精选10篇《谁说菜鸟不会数据分析》是一本由张文霖/刘夏璐/狄松编著著作,电子工业出版社出版的16开胶版纸图书,本书定价:59.00元,页数:306,特精心从网络上整理的一些读者的读后感,希望对大家能有帮助。
《谁说菜鸟不会数据分析》读后感(一):我觉得使用excel更合适做这本书的书名我觉得使用excel更合适做这本书的书名,书写的很浅,没有讲太多数据分析的思路,更多的是在说excel的使用。
比起这本书,我还是更推荐《headfirstdataanalysis》作为入门书籍。
《谁说菜鸟不会数据分析》读后感(二):菜鸟看完还是菜鸟本来没多些料,还要讲故事,大部分篇幅可以略过。
收获的可能就是些excel的用法了。
内文图表风格也不一致,有的比较模糊,可以简化或合并一些示例表格。
值得借来翻一遍。
《谁说菜鸟不会数据分析》读后感(三):不错的入门书介绍了一下数据分析的基本知识,外加一些excel技巧,挺适合初入职场的用户入门,尤其是方法论和方法的部分值得好好学。
虽然看标题就知道不会有高深的内容,但如果能基于某一行业或例子一以贯之或许会更好。
《谁说菜鸟不会数据分析》读后感(四):不错的入门书介绍了一下数据分析的基本知识,外加一些excel技巧,挺适合初入职场的用户入门,尤其是方法论和方法的部分值得好好学。
虽然看标题就知道不会有高深的内容,但如果能基于某一行业或例子一以贯之或许会更好。
《谁说菜鸟不会数据分析》读后感(五):只适合连excel都不会的初级者书是全彩图的,不知道是不是为了迎合女性读者。
内容真的就是excel基础,当你要是用它来学excel也根本不行,因为不系统。
大家不要被名字给蒙蔽了,真想看,去书店看一会你就基本都明白了。
不推荐购买。
我买后悔了啊。
《谁说菜鸟不会数据分析》读后感(六):在公司上班的都应该看看的这本书的东西还是写得很有趣的,对于那些在公司上班的人,都值得拥有一本,不知不觉中提升竞争力。
谁说菜鸟不会数据分析(入门篇)5.1数据分析方法数据分析作用与对应的分析方法数据分析作用 基本方法 数据分析方法现状分析 对比 对比分析平均分析综合评价分析 ……原因分析 细分 分组分析结构分析交叉分析杜邦分析漏斗图分析 矩阵关联分析 聚类分析 ……预测分析 预测 回归分析 时间分析 决策树 神经网络 ……一、定义• 对比分析法 – 将两个或两个以上的数据进行比较,分析它们的差异,从而揭示这些数据所代表的事物发展变化情况和规律。
• 对比分析法的特点:可以非常直观地看出事物某方面的变化或差距,并且可以准确、量化地表示出这种变化或差距是对少。
二、分类分为静态比较和动态比较★ 静态比较 – 在同一时间条件下对不同总体指标的比较,如不同部门、不同地区、不同国家的比较,也叫横向比较,简称横比。
★ 动态比较 – 在同一总体条件下对不同时期指标数值的比较,也叫纵向比较,简称纵比。
三、实践运用1. 与目标对比实际完成值与目标进行对比,属于横比。
例如将公司目前的业绩与全年的业绩目标进行对比,看是否完成目标。
2. 不同时期对比选择不同时期的指标数值作为对比标准,属于纵比。
例如将公司目前的业绩与自身的去年同期及上个月完成情况进行对比。
• 同比 - 与去年同期对比。
• 环比 - 与上个月完成情况对比。
3. 同级部门、单位、地区对比与同级部门、单位、地区对比属于横比。
4. 行业内对比与行业中的标杆企业、竞争对手或行业的平均水平进行对比,属于横比。
5. 活动效果对比对某项营销活动开展前后进行对比,属于纵比。
对活动的开展状况进行分组对比,属于横比。
四、注意事项1. 指标的口径范围、计算方法、计量单位必须一致,即要用同一种单位或标准取衡量。
2. 对比的对象要有可比性。
3. 对比的指标类型必须一致。
• 分组分析法 – 根据数据分析对象的特征,按照一定的标志(指标),把数据分析对象划分为不同的部分和类型来进行研究,以揭示其内在的联系和规律性。
谁说菜鸟不会数据分析(入门篇)
4.2.2缺失数据的处理
缺失值:数据集合中的某个或某些属性的值是不完全的。
在数据表里,缺失值最常见的表现形式就是空值或错误标示符。
利用定位功能查找空白单元格
“开始”→“编辑:查找和选择”→“定位条件”(Ctrl+G)→选中“空值”→“确定”
则所有空白单元格被一次性选中。
一、处理缺失值的四种方法
1. 用一个样本统计量的值代替缺失值。
最典型的做法就是用该变量的样本平均值代替缺失值。
2. 用一个统计模型计算出来的值代替缺失值。
常使用的模型有回归模型、判别模型等,不过这得用专业数据分析软件才行。
3. 将有缺失值的纪录删除,不过可能会导致样本量的减少。
4. 将有缺失值的纪录保留,仅在相应的分析中做必要的排出。
当调查的样本量比较大,缺失值的数量又不是很多,而且变量之间也不存在高度相关的情况下,采用这种方式处理缺失值比较可行。
二、用“Ctrl+Enter”键在不连续的区域一次输入同一个数据或公式
选择一个单元格或区域→按住“Ctrl”键不放,再选择其它单元格或区域,直到选中所有要输入数据的区域才松开“Ctrl”键→输入数据或公式→“Ctrl+Enter”键
三、用“查找”(Ctrl+F)和“替换”(Ctrl+H)功能
例:将“#DIV/0”替换为“0”
选中所要的数据区域→“开始”→“编辑:查找和选择”→“替换”→在“查找内容”中输入“#DIV/0”,在“替换为”中输入“0”→“替换”。
第 章数据分析那些事儿数据分析是“神马”数据分析六步曲几个常用指标或术语1>> 12谁说菜鸟不会数据分析出场人物:牛董,关键词:私企董事长、要求严格、为人苛刻;小白,关键词:应届毕业生,刚入职场的伪白骨精(白领+骨干+精英)、牛董助手、爱臆想;Mr.林,关键词:小白同事、数据分析达人、成熟男士、乐于助人、做事严谨。
话说小白过五关斩六将,通过严格的面试,最终从众多优秀毕业生中脱颖而出,成为公司的一员。
在报到的第一天,公司HR向小白介绍了她的职位——公司牛董的助理,负责文秘工作,可能需要做一些数据分析之类的活儿。
小白一听到数据分析这个词,就感觉头皮发麻,这时,她的脑子里幻想出一些穿白大褂的科研人员在实验室的计算机前不断忙碌的场景。
虽然在上大学时也使用过Excel,但是如果要做数据分析工作,她还真的有些不知如何下手。
无数个问号涌到她的脑海中:数据分析到底要做什么呢?我要怎么做数据分析?老板想要看什么样的结果呢?……唉,只好边走边干了。
HR看出小白的心事,说道:关于数据分析你不用太担心,如果遇到难题,你可以请教我们公司的Mr.林,他在这方面可是专家喔!小白一听有救星,立马兴奋起来,好像抓到救命稻草一样,想赶紧找到这位大师级人物,然后一股脑把疑问全倒出来。
HR:小白,你跟我来吧,我给你引荐下Mr.林。
小白:好的。
说着小白跟HR来到了Mr.林的办公桌旁,HR说道:Mr.林,这是我们公司新来的同事,叫小白,现担任牛董助理,她的部分工作涉及数据分析,到时候有问题还要麻烦您多多指点了。
小白紧跟着说道:Mr.林,您好,请多多指教。
Mr.林:呵呵,太客气了,有问题直接来找我就可以了。
小白趁机说道:我现在就有问题,您现在是否有时间帮我解答下?数据分析是干什么的,具体要怎么做?Mr.林听完后,笑了起来:你还真是不客气呀,好吧,你刚进公司,我就先给你做个简单的培训,带你入个门吧,以后的修行可就靠你自己努力了。
小白用力点着头,HR见这“师徒”二人颇有一见如故之感,大致交代一番后,就离开了。
谁说菜鸟不会数据分析(入门篇)4.3数据加工4.3.1数据抽取数据抽取:保留原数据表中某些字段的部分信息,组合成一个新字段。
① 截取某一字段的部分信息 – 字段分列;② 将某几个字段合并成为一个新字段 – 字段合并;③ 将原数据表没有但其它数据表中有的字段,有效地匹配过来 – 字段匹配。
二、字段合并字段合并:将文字和数字合并成一个单元格。
利用CONCATENATE函数和“&”(逻辑与)运算符。
数值格式字符(#, 0, %, E, e, 逗点和句点)(0) 数字占位符。
显示一位数字或是零。
如果表达式在格式字符串中 0 的位置上有一位数字存在,那么就显示出来;否则,就以零显示。
如果数值的位数少于格式表达式中零的位数(无论是小数点的左方或右方),那么就把前面或后面的零补足。
如果数值的小数点右方位数多于格式表达式中小数点右面零的位数,那么就四舍五入到有零的位数的最后一位。
如果数值的小数点左方位数多于格式表达式中小数点左面零的位数,那么多出的部分都要不加修饰地显示出来。
(#) 数字占位符。
显示一位数字或什么都不显示。
如果表达式在格式字符串中“#”的位置上有数字存在,那么就显示出来;否则,该位置就什么都不显示。
此符号的工作原理和“0”数字占位符大致相同,不同之处只有在当表达式中数值的位数少于“#”的位数(无论是小数点左方或右方)时,不会把前面或后面的零显示出来。
(.) 小数点占位符。
在一些国别是用逗号来当小数点的。
小数点占位符用来决定在小数点左右可显示多少位数。
如果格式表达式在此符号左边只有正负号,那么小于 1 的数字将以小数点为开头。
如想在小数前有“0”的话,那么请在小数点占位符前加上“0”这个数字占位符。
小数点占位符的实际字符在格式输出时要看系统的数字格式而定。
(%) 百分比符号占位符。
表达式乘以 100。
而百分比字符 (%) 会插入到格式字符串中出现的位置上。
(,) 千分位符号占位符。
在一些国别,是用句点来当千位符号。
1、Access
a)函数计算
i.DATADIFF
1.DATADIFF(“参数”,起始时间,结束时间)
2.
3.例句
SELECT 用户ID,注册日期,DATEDIFF(“D”,注册日期,#2011-12-31#) AS 注
册天数
FROM 用户明细;
b)数值分组
i.IIF函数法
1.与Excel中的IF函数用法及功能一样。
在Access数据库中,IIF函数最多
可进行13层嵌套
2.IFF(表达式,表达式成立时返回的值,表达式不成立时返回的值)
3.例句
a)SQL
SELECT 用户ID,年龄,
IIF(年龄<=20,”20岁及其以下”,
IIF(年龄<=30,”21-30岁”,
IIF(年龄<=40,”31-40岁”,
“40岁以上”))) AS 年龄分组
FROM 用户明细;
b)
ii.CHOOSE
1.与Excel中的CHOOSE函数用法及功能一样。
2.CHOOSE(参数,结果1,结果2,……,结果N)
3.说明:
a)参数可为表达式,如果参数或表达式返回的值为1,则函数CHOOSE
返回结果1;如果参数或表达式返回的值为2,函数CHOOSE返回结
果2,以此类推。
b)参数或表达式返回的值必须为1~254的数字,如果小于1或者大于
254,则Access数据库将返回错误值“#VALUE!”。
c)如果参数为小数,则在使用前将被截尾取整,即相当于Excel中的INT
函数效果。
4.例句
SELECT 用户ID,年龄,
CHOOSE((年龄-1)/10+1,”10岁及其以下”,”11-20岁”,”21-30岁”,”31-40岁”,”40
岁以上”) AS 年龄分组
FROM 用户明细;
5.结果
iii.SWITCH
1.SWITCH(条件1,结果1,条件2,结果2,……,条件N,结果N)
2.说明
a)如果条件1为True,SWITCH将返回结果1,如果条件2为True,SWITCH
将返回结果2,以此类推。
b)参数由成对的条件表达式和结果值组成,条件表达式按照从左到右的
顺序求值,将返回与第一个求职结果为True的表达式相对应的结果
值。
c)SWITCH函数在SQL语句中的表达式最多可以达到14个,如果多于
14个,将提示错误。
d)如果所有表达式的结果值都不为True,SWITCH将返回Null。
3.例句
SELECT 用户ID,年龄,
SWITCH(年龄<=20,”20岁及其以下”,
年龄<=30,”21-30岁”,
年龄<=40,”31-40岁”,
年龄>40,”40岁以上”) AS 年龄分组
FROM 用户明细;
4.运行结果与IIF函数分组效果相同,但SWITCH函数会让人感觉分组更清
晰些。
iv.PARTITION
1.PARTATION(数值参数,开始值,结束值,组距)
2.说明:
a)数值参数为要根据范围进行计算的整数。
b)开始值必须为整数,并且不能小于0。
c)结束值也必须为整数,该数值不能等于或小于开始值。
d)组距也必须为整数,指定在整个数值范围内(在开始值与结束值之间)
的分区大小。
e)PARTITION返回的内容为每组的“下限:上限”。
3.例句
SELECT 用户ID,年龄,
PARTITION(年龄,1,100,20) AS 年龄分组
FROM 用户明细;
4.
v.
c)日期/时间分组
i.FORMAT(日期/时间,时间/日期格式参数)
ii.例句
SELECT 订单编号,订购日期,
FORMAT(订购日期,”yyyy”) AS 年,
FORMAT(订购日期,”q”) AS 季,
FORMAT(订购日期,”m”) AS 月,
FORMAT(订购日期,”d”) AS 日,
FORMAT(订购日期,”dddd”) AS 星期,
FORMAT(订购日期,”h”) AS 小时,
FORMAT(订购日期,”n”) AS 分,
FORMAT(订购日期,”s”) AS 秒
FROM 订购明细;
iii.结果
i.Count就是计数的意思
HAVING Count(用户ID)>1
对用户ID出现2次及以上的数据进行分组ii.不重复项查询
SELECT 用户ID,Count(用户ID) AS NumberOfDups
FROM 订购明细
GROUP BY 用户ID
HAVING Count(用户ID) = 1;
iii.数据去重查询—Excel删除重复项功能
1.GROUP BY子句
SELECT 用户ID
FROM 订购明细
GROUP BY 用户ID;
2.DISTINCT
SELECT DISTINCT 用户ID
FROM 订购明细;
e)简单统计
ii.例句
SELECT
Count(订单编号) AS 订单总数
Sum(订购金额) AS 订单金额总额
Avg(订购金额) AS 平均订单金额
FROM 订购明细;
f)分组统计
i.例句1
SELECT
Count(订单编号) AS 订单总数
Sum(订购金额) AS 订单金额总额
Avg(订购金额) AS 平均订单金额
FROM 订购明细
GROUP BY 产品;
ii.例句2
SELECT FORMAT(订购日期,”h”) AS 时段
Count(订单编号) AS 订单数
FROM 订购明细
GROUP BY FORMAT(订购日期,”h”);。