1
2
3
4
5
8
10
9
6
7
本章主要内容：
? 安装IPython ? 使用IPython 的shell ? 阅读手册页 ? 安装Matplotlib
? 运行基于Web 的notebook ? 从notebook 导出脚本和数据 ? 导入脚本和数据到notebook ? 配置notebook 服务器 ? 初探SymPy 配置
1.1 引言
IPython 是一个免费、开源的项目，支持Linux 、Unix 、Mac OS X 和Windows 平台，其官方网址是https://www.doczj.com/doc/5c6701193.html,/。IPython 的作者只要求你在用到IPython 的科技著作中注明引用即可。IPython 中包括各种组件，其中的两个主要组件是：
? 基于终端方式和基于Qt 的交互式Python shell
? 支持多媒体和绘图功能的基于Web 的notebook （版本号为0.12以上的IPython 支持此功能）
与IPython 兼容的Python 版本是2.5①、2.6、2.7、3.1和3.2。
不需要本地安装，你可以在云端尝试使用IPython ，网址为https://www.doczj.com/doc/5c6701193.html,/ try-ipython/。和本地安装的IPython 相比，云端版本会稍有时延，使用体验稍逊，但已具备IPython 交互式shell 的绝大多数功能。在云端版本中还可使用vi/vim 编辑器。如果你喜欢vi ，这自然是个很棒的功能，你可以在IPython 会话过程中保存和编辑文件。只有vi 编辑器可用，对我来讲不是什——————————
① IPython 的较新版本已不支持Python 2.5。——译者注
2第1章 使用IPython
么问题，我本人对Emacs之类的其他编辑器并不感兴趣。
1.2安装IPython
IPython有许多种安装方式，这主要和使用什么操作系统有关。基于终端的shell组件依赖于readline的存在，基于Web的notebook需要用到tornado和zmq。
除了安装IPython，我们还需要安装setuptools，其中包含了easy_install命令。easy_install是Python默认的标准化的包管理器。easy_install安装好之后，继续安装pip。pip和easy_install命令的功能类似，但增加了一些选项，例如卸载。
1.2.1具体步骤
本节将介绍在Windows、Mac OS X和Linux环境中怎样安装IPython，怎样使用easy_install和pip安装IPython及其依赖文件，以及怎样直接用源文件安装。
④在Windows中安装IPython和setuptools
在IPython的官网可以下载适用于Python 2和Python 3的二进制Windows安装文件。具体安装过程请参阅https://www.doczj.com/doc/5c6701193.html,/ipython-doc/stable/install/install.html#windows。
从https://https://www.doczj.com/doc/5c6701193.html,/pypi/setuptools#files获得setuptools的安装文件并完成安装。之后继续安装pip，具体步骤为：
cd C:\Python27\scripts
python .\easy_install-27-script.py pip
④在Mac OS X中安装IPython
如有必要，请先安装苹果开发工具Xcode，可以在Mac电脑附带的OSX DVD光盘中或者苹果应用商店中找到Xcode。按照本节后面的说明，使用easy_install或pip安装IPython，或者从源文件安装。
④在Linux中安装IPython
Linux的发行版本众多，恕不能一一列举。
?Debian版本的安装命令如下：
su – aptitude install ipython python-setuptools
?Fedora版本的安装命令如下：
su – yum install ipython python-setuptools-devel
1.2 安装IPython 3
1
2
3
4
5
8
10
9
6
7
? Gentoo 版本的安装命令如下：
su – emerge ipython
? Ubuntu 版本的安装命令如下：
sudo apt-get install ipython python-setuptools
④ 使用easy_install 或pip 安装IPython
使用easy_install 安装IPython 和本章中各种攻略所需要的依赖文件，使用以下命令：
easy_install ipython pyzmq tornado readline
或者你可以先用easy_install 安装pip ，在终端界面中键入以下命令：
easy_install pip
之后使用pip 安装IPython ，命令如下：
sudo pip install ipython pyzmq tornado readline
④ 从源文件安装
如果你想使用最新的开发版本，从源文件安装是最适合的。
1. 从https://https://www.doczj.com/doc/5c6701193.html,/ipython/ipython/downloads 下载最新的压缩包。
2. 对下载的文件解压缩，获得源文件：
tar xzf ipython-
3. 如果你已经安装了Git ，也可以通过克隆Git 版本仓库的方式获得源文件：
$ git clone https://https://www.doczj.com/doc/5c6701193.html,/ipython/ipython.git
4. 进入ipython 目录：
cd ipython
5. 运行安装脚本。你可能需要使用sudo 运行此脚本，命令如下：
sudo setup.py install
1.2.2 攻略小结
本节介绍了安装IPython 的各种方法。大多数方法安装的是最新的稳定版本。如果选择从源文件安装，你安装的就是最新的开发版本。
4第1章 使用IPython
1.3使用IPython的shell
科学家和工程师习惯于做各种实验。正是一些总有实验想法的科学家编写了IPython。IPython 提供的交互式实验环境，使其具备了与Matlab、Mathematica、Maple和R类似的使用体验。
IPython的shell具有以下特性。
?代码补全
?历史记录机制
?嵌入式编辑
?使用%run调用外部Python脚本的能力
?访问系统命令
?pylab选项开关
?访问Python的调试器和性能分析器
1.3.1具体步骤
本节具体介绍怎样使用IPython的shell。
④ pylab选项开关
使用pylab选项开关可以自动引入SciPy、NumPy和Matplotlib软件包。如果不使用这个选项开关，就需要自己引入这些软件包。
我们只需要在命令行输入以下指令：
$ ipython -pylab
Type "copyright", "credits" or "license" for more information.
IPython 0.12 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.
Welcome to pylab, a matplotlib-based Python environment [backend: MacOSX].
For more information, type 'help(pylab)'.
In [1]: quit()
quit() or Ctrl + D quits the IPython shell.
④保存会话
我们也许需要回溯做过的实验。要在IPython中保存会话以供将来使用，只需输入以下命令：
1.3 使用IPython 的shell 5
1
2
3
4
5
8
10
9
6
7
In [1]: %logstart
Activating auto-logging. Current session state plus future input saved. Filename : ipython_log.py Mode : rotate Output logging : False Raw input log : False Timestamping : False State : active
关闭日志记录的命令如下：
In [9]: %logoff
Switching logging OFF
④ 执行系统shell 命令
在使用默认设置的IPython 环境中执行系统shell 命令时，要在系统命令前加!前缀。例如，以下输入将获得当前日期：
In [1]: !date
实际上，以!为前缀的任何内容都被发送到了系统shell 。命令执行后的输出结果也可以进行保存，如下所示：
In [2]: thedate = !date In [3]: thedate
④ 显示历史记录
使用%hist 命令，可以显示命令的历史记录，例如：
In [1]: a = 2 + 2
In [2]: a Out[2]: 4
In [3]: %hist a = 2 + 2 a
%hist
这是命令行接口（CLI ）环境的一个常见特性。使用-g 选项可以实现对历史记录的搜索：
In [5]: %hist -g a = 2 1: a = 2 + 2
6第1章 使用IPython
下载范例代码
访问https://www.doczj.com/doc/5c6701193.html,并登录账号，可以下载到所有已购图书中的范例代码。如果你是在其他地方购买的本书，可以访问https://www.doczj.com/doc/5c6701193.html,/
support并进行注册，相关的范例代码会直接用电子邮件发给你。
1.3.2攻略小结
我们看到了若干Magic函数（所谓的“魔法函数”）的实际运用。这些函数以%字符开始。如果Magic函数只用作单行命令，可以选择省略%。
1.4阅读手册页
进入IPython的pylab模式后，可以使用help命令查看NumPy中各种函数的手册页。不需要记住函数的完整名称，只需键入开头的几个字符，然后使用tab键自动补全函数名。作为示例，让我们看看arange函数的手册页有什么信息。
1.4.1具体步骤
浏览可获得的信息，有以下两种方法。
④调用help函数
使用help命令，键入函数名的前面几个字符，然后按tab键：
④使用问号查询
另一种方法是在函数名后面添加一个问号。你需要知道函数的完整名称，但不再需要键入help了。
In [3]: arange?
1.4.2攻略小结
代码补全功能依赖于readline，你要确信已经安装了readline。使用问号查询方式，你看到的是docstrings中的信息。
1.5 安装Matplotlib 7
1
2
3
4
5
8
10
9
6
7
1.5 安装Matplotlib
Matplotlib 是一个非常有用的绘图库，下一篇攻略就将用到它。Matplotlib 依赖于NumPy 的存在，但十有八九你已安装了NumPy 。
具体步骤
本节将介绍怎样在Windows 、Linux 和Mac 环境中安装Matplotlib ，以及怎样从源文件安装。 ④ 在Windows 环境中安装Matplotlib
可以使用Enthought 发行版进行安装，详见https://www.doczj.com/doc/5c6701193.html,/products/epd.php 。 可能需要把msvcp71.dll 文件放到C:\Windows\system32目录下。可以访问http://www.dll- https://www.doczj.com/doc/5c6701193.html,/dllindex/dll-files.shtml?msvcp71下载这个dll 文件。
④ 在Linux 环境中安装Matplotlib
让我们看看怎样在各种Linux 发行版本中安装Matplotlib 。
? Debian 和Ubuntu 版本的安装命令如下：
sudo apt-get install python-matplotlib
? Fedora/Redhat 版本的安装命令如下：
su - yum install python-matplotlib
④ 从源文件安装
从Sourceforge （https://www.doczj.com/doc/5c6701193.html,/projects/matplotlib/files/）下载最新的tar.gz 格式的源文件，或者使用如下命令直接从Git 版本仓库下载。
git clone git://https://www.doczj.com/doc/5c6701193.html,/matplotlib/matplotlib.git
下载完毕后，像往常一样使用如下命令构建和安装Matplotlib ：
cd matplotlib
python setup.py install
④ 在Mac 环境中安装Matplotlib
从https://www.doczj.com/doc/5c6701193.html,/projects/matplotlib/files/matplotlib/获取最新的DMG 文件并进行安装。
8第1章 使用IPython
1.6运行基于Web的notebook
新近的IPython版本增加了一个令人兴奋的新特性——基于Web的notebook。一个被称为notebook 服务器的程序可以通过Web方式提供notebook界面。现在我们可以启动一个notebook服务器，获得一个基于Web的IPython运行环境。notebook除了具备常规IPython环境中的大多数特性，还包括以下新特性。
?显示图像和嵌入式图表
?在文本单元格中使用HTML和Markdown
?notebook的导入和导出
1.6.1准备工作
首先要确保已经安装了所有必需的软件。notebook依赖于tornado和zmq的存在。具体请参见1.2节。
1.6.2具体步骤
运行notebook
键入如下命令，启动一个notebook。
$ ipython notebook
[NotebookApp] Using existing profile dir: u'/Users/ivanidris/.
ipython/profile_default'
[NotebookApp] The IPython Notebook is running at:
http://127.0.0.1:8888
[NotebookApp] Use Control-C to stop this server and shut down
all kernels.
如你所见，我们用的是默认配置。notebook服务器运行在本地主机的8888端口。本章后续会介绍怎么修改这些默认的设置。notebook会在本机的默认浏览器中打开，也可以配置使用其他浏览器。
1.6 运行基于Web 的notebook 9
1
2
3
4
5
8
10
9
6
7
IPython 会列出当前目录下所有的notebook 文件。上图显示，当面目录下没有notebook 文件。使用快捷键Ctrl+C 可以停止notebook 服务器的运行。
④ 用pylab 模式运行notebook
用pylab 模式运行notebook ，使用如下命令：
$ ipython notebook --pylab
这样可以自动加载SciPy 、NumPy 和Matplotlib 模块。 ④ 运行notebook 时使用嵌入式图表
使用inline 指令可以在notebook 的单元格中显示嵌入式图表，命令如下。
$ ipython notebook --pylab inline
1. 创建一个notebook 文件
点击New Notebook 按钮，创建一个新的notebook 文件。
2. 创建一个数组
使用arange 函数创建一个数组。键入如下命令并按下Shift+Enter 键。
键入如下命令并按下Shift+Enter 键，可以在Out[2]单元格中看到输出结果。
3. 绘制sinc 函数
把数组a 作为sinc 函数的参数，其结果图示如下：
10第1章 使用IPython
1.6.3 攻略小结
使用inline选项，Matplotlib绘制的图表将直接显示在输出单元格中。结合使用pylab模式，就不需要手动引入SciPy、NumPy和Matplotlib模块。
1.6.4参考阅读
1.2节“安装IPython”
1.7导出基于Web的notebook
有时你需要和朋友或同事交换notebook中的内容。基于Web的notebook提供了几种导出数据的方法。
具体步骤
notebook的导出方式有以下几种：
④打印选项
Print按钮并不是真的用来打印notebook中的内容，而是允许你以PDF或HTML文档的形式输出notebook的内容。
④下载notebook
使用Download按钮，可以下载notebook中的内容到指定位置。可以指定下载内容的保存格式为.py文件（常规的Python程序）或者.ipynb文件（JSON格式）。把前一篇攻略中创建的notebook 导出为.ipynb文件后，其内容如下所示：
1.7 导出基于Web 的notebook 11
1
2
3
4
5
8
10
9
6
7
{
"metadata": {
"name": "Untitled1" },
"nbformat": 2, "worksheets": [ {
"cells": [ {
"cell_type": "code", "collapsed": false, "input": [
"plot(sinc(a))" ],
"language": "python", "outputs": [ {
"output_type": "pyout", "prompt_number": 3, "text": [
"[<matplotlib.lines.Line2D at 0x103d9c690>]" ] }, {
"output_type": "display_data",
"png": "iVBORw0KGgoAAAANSUhEUgAAAXk AAAD9CAYAAABZVQdHAAAABHNCSVQICAgIf... mgkAAAAASUVORK5CYII=\n" } ],
"prompt_number": 3 } ] } ]
}
简明起见，上面这个文件的部分内容已被省略。该文件不是用来编辑或阅读的，但如果忽略其中表示图像的部分，还是很容易读懂的。更多有关JSON 的信息请参见https://https://www.doczj.com/doc/5c6701193.html,/wiki/JSON 。
保存notebook
使用Save 按钮，notebook 的内容将自动导出到一个JSON 格式的.ipynb 文件中。该文件会被存储到你启动IPython 的目录。
12第1章 使用IPython
1.8导入基于Web的notebook
Python脚本可以导入到基于Web的notebook中，以前导出的notebook文件显然也可以导入到当前的notebook中。
具体步骤
把Python脚本导入到notebook中的步骤如下。
1. 把Python脚本从文件资源管理器（Explorer或Finder）拖曳到notebook界面上。vectorsum.py 文件（NumPy Beginner’s Guide中的例程）被拖曳到notebook界面后的屏幕截图如下所示：
2. 点击Upload按钮导入该脚本程序。如下图所示，IPython可以很好地完成导入工作，但不幸的是所有的代码都被放置在了一个单元格中，至少在本书写作的时候还是这样的状况。
3. 给脚本添加标签，使其能显示在多个单元格中。
为了能把代码分开放置到多个单元格中，需要使用特别的标签。这些标签实际上是Python的注释，看上去有点像XML标签。需要在代码的起始位置添加如下标签：
1.8 导入基于Web 的notebook 13
1
2
3
4
5
8
10
9
6
7
#
该标签指明了notebook 标签格式的版本号①
。每个新的代码单元都用如下标签进行标记：
#
标记后的代码如下所示：
#
from datetime import datetime import numpy """
NumPy Beginner's Guide 第1章例程
本程序演示了在Python 中怎样实现向量的加法。 在命令行界面中运行如下命令：
python vectorsum.py n
n 是整数，表示向量的长度。
第1个向量中放的是0到n 的平方。 第2个向量中放的是0到n 的立方。
程序会显示加法运算结果中的最后2个向量元素和该计算过程所耗费的时间。 """
def numpysum(n):
a = numpy.arange(n) ** 2
b = numpy.arange(n) ** 3
c = a + b
return c
def pythonsum(n): a = range(n) b = range(n) c = []
for i in range(len(a)): a[i] = i ** 2 b[i] = i ** 3
c.append(a[i] + b[i])
return c
——————————
① 较新版本的notbook 使用的版本号是3，版本号为2的脚本可以被自动转换为最新版本。——译者注
14第1章 使用IPython
#
size = int(50)
#
start = datetime.now()
c = pythonsum(size)
delta = datetime.now() - start
print "The last 2 elements of the sum", c[-2:]
print "PythonSum elapsed time in microseconds", delta.microseconds
#
start = datetime.now()
c = numpysum(size)
delta = datetime.now() - start
print "The last 2 elements of the sum", c[-2:]
print "NumPySum elapsed time in microseconds", delta.microseconds
依据标签所在的位置，代码被分解到了多个单元格中，如下图所示。
1.9配置notebook服务器
需要考虑位于公共域中的notebook服务器的安全性。为此，需要设置密码和使用SSL证书来建立连接。我们需要用证书实现基于https的安全通信。更多相关信息请见 https://https://www.doczj.com/doc/5c6701193.html,/ wiki/Transport_Layer_Security。
1.9 配置notebook 服务器 15
1
2
3
4
5
8
10
9
6
7
1.9.1 具体步骤
下述步骤介绍了怎样配置安全的notebook 服务器。
1. 生成密码。可以在IPython 环境中生成一个密码。启动一个新的IPython 会话，键入如下命令：
In [1]: from IPython.lib import passwd
In [2]: passwd() Enter password: Verify password:
Out[2]: 'sha1:0e422dfccef2:84cfbcb b3ef95872fb8e23be3999c123f862d856'
输入第二行命令后，系统会提示你输入密码。你需要记住这个密码。之后会输出一个长字符串。复制该字符串，后面我们要用到它。
2. 创建SSL 证书。为了能创建SSL 证书，你需要让openssl 命令位于可访问路径中。 openssl 命令行工具的设置过程不算太复杂，但可能有一些棘手的细节。遗憾的是，这些内容超出了本书的范围，好在网上有很多教程可以为你提供帮助。
执行如下命令，生成一个文件名为mycert.pem 的证书：
$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem
Generating a 1024 bit RSA private key ......++++++
........................++++++
writing new private key to 'mycert.pem'
-----You are about to be asked to enter information that will be incorporated into your certificate request.
What you are about to enter is what is called a Distinguished Name or a DN.
There are quite a few fields but you can leave some blank For some fields there will be a default value, If you enter '.', the field will be left blank. -----Country Name (2 letter code) [AU]:
State or Province Name (full name) [Some-State]: Locality Name (eg, city) []:
Organization Name (eg, company) [Internet Widgits Pty Ltd]: Organizational Unit Name (eg, section) []: Common Name (eg, YOUR name) []: Email Address []:
openssl 会提示你在一些区域里填写内容，请参阅相关的手册页了解更多信息。
16第1章 使用IPython
3. 创建一个服务器配置。使用如下命令为服务器创建一个专用的配置：
ipython profile create nbserver
4. 编辑配置文件。对配置文件进行编辑。在本例中，配置文件所在的位置是~/.ipython/profile_ nbserver/ipython_notebook_config.py。
这个配置文件包括很多行内容，这里就不列出了。我们至少需要修改如下几行内容：
c.NotebookApp.certfile = u'/absolute/path/to/your/certificate'
c.NotebookApp.password = u'sha1:b...your password'
c.NotebookApp.port = 9999
注意我们做的改动是，把证书位置指向了我们刚才创建的SSL证书，设置了密码，并且把端口号改为9999。
5. 启动服务器。使用如下命令启动服务器，检查所做的修改是否已生效。
ipython notebook --profile=nbserver
[NotebookApp] Using existing profile dir: u'/Users/ivanidris/.
ipython/profile_nbserver'
[NotebookApp] The IPython Notebook is running at:
https://127.0.0.1:9999
[NotebookApp] Use Control-C to stop this server and shut down
all kernels.
服务器已运行在9999端口，你需要使用https方式连接到该服务器。如果一切顺利，我们会看到一个登录页面。你很可能还需要接受浏览器发来的一个安全例外警告。
1.9.2攻略小结
我们为公共域服务器创建了一个专用的配置。IPython中已有一些配置样本存在，例如默认配置。创建配置时，会在.ipython目录下添加一个profile_
ipython profile list
1.10 初探SymPy 配置 17
1
2
3
4
5
8
10
9
6
7
Available profiles in IPython: cluster math pysh python3
The first request for a bundled profile will copy it
into your IPython directory (/Users/ivanidris/.ipython), where you can customize it.
Available profiles in /Users/ivanidris/.ipython: default nbserver sh
1.10 初探SymPy 配置
IPython 中包含一个SymPy 配置的样本。SymPy 是一个Python 的符号计算库。例如，我们可以利用SymPy 来化简代数表达式或做微分运算，其功能类似于Mathematica 和Maple 。显然SymPy 是一个有趣的软件，但它不是我们学习NumPy 的过程中必须要了解的内容。可以认为本节是一个可选的、有奖励性质的攻略。就像餐后甜点一样，你可以放心地跳过本节，虽然这样做有可能让你错过本章最美妙的一段内容。
1.10.1 准备工作
使用easy_install 或pip 安装SymPy ：
easy_install sympy
sudo pip install sympy
1.10.2 具体步骤
1. 浏览配置文件，其所在位置是~/.ipython/profile_sympy/ipython_config.py 。具体内容如下。
c = get_config()
app = c.InteractiveShellApp
# This can be used at any point in a config file to load a sub config
# and merge it into the current one.
load_subconfig('ipython_config.py', profile='default')
lines = """
from __future__ import division
18第1章 使用IPython
from sympy import *
x, y, z, t = symbols('x y z t')
k, m, n = symbols('k m n', integer=True)
f, g, h = symbols('f g h', cls=Function)
"""
# You have to make sure that attributes that are containers already
# exist before using them. Simple assigning a new list will override
# all previous values.
if hasattr(app, 'exec_lines'):
app.exec_lines.append(lines)
else:
app.exec_lines = [lines]
# Load the sympy_printing extension to enable nice printing of sympy expr's.
if hasattr(app, 'extensions'):
app.extensions.append('sympyprinting')
else:
app.extensions = ['sympyprinting']
上面这段代码实现的功能是：
?加载默认配置
?导入SymPy包
?定义符号
2. 使用SymPy配置选项启动IPython，命令如下。
ipython --profile=sympy
3. 使用下图所示命令，展开一个代数表达式。
《利用python进行数据分析》读书笔记 pandas是本书后续内容的首选库。pandas可以满足以下需求：具备按轴自动或显式数据对齐功能的数据结构。这可以防止许多由于数据未对齐以及来自不同数据源（索引方式不同）的数据而导致的常见错误。. 集成时间序列功能既能处理时间序列数据也能处理非时间序列数据的数据结 构数学运算和简约（比如对某个轴求和）可以根据不同的元数据（轴编号）执行灵活处理缺失数据合并及其他出现在常见数据库（例如基于SQL的）中的关系型运算1、pandas数据结构介绍两个数据结构：Series和DataFrame。Series是一种类似于以为NumPy数组的对象，它由一组数据（各种NumPy数据类型）和与之相关的一组数据标签（即索引）组成的。可以用index和values分别规定索引和值。如果不规定索引，会自动创建0 到N-1 索引。#-*- encoding:utf-8 -*- import numpy as np import pandas as pd from pandas import Series,DataFrame #Series可以设置index，有点像字典，用index索引 obj = Series([1,2,3],index=['a','b','c'])
#print obj['a'] #也就是说，可以用字典直接创建Series dic = dict(key = ['a','b','c'],value = [1,2,3]) dic = Series(dic) #下面注意可以利用一个字符串更新键值 key1 = ['a','b','c','d'] #注意下面的语句可以将Series 对象中的值提取出来，不过要知道的字典是不能这么做提取的 dic1 = Series(obj,index = key1) #print dic #print dic1 #isnull 和notnull 是用来检测缺失数据 #print pd.isnull(dic1) #Series很重要的功能就是按照键值自动对齐功能 dic2 = Series([10,20,30,40],index = ['a','b','c','e']) #print dic1 + dic2 #name属性,可以起名字 https://www.doczj.com/doc/5c6701193.html, = 's1' https://www.doczj.com/doc/5c6701193.html, = 'key1' #Series 的索引可以就地修改 dic1.index = ['x','y','z','w']
用python进行数据分析 一、样本集 本样本集来源于某高中某班78位同学的一次月考的语文成绩。因为每位同学的成绩都是独立的随机变量，遂可以保证得到的观测值也是独立且随机的 样本如下： grades=[131,131,127,123,126,129,116,114,115,116,123,122,118, 121,126,121,126,121,111,119,124,124,121,116,114,116, 116,118,112,109,114,116,116,118,112,109,114,110,114, 110,113,117,113,121,105,127,110,105,111,112,104,103, 130,102,118,101,112,109,107,94,107,106,105,101,85,95, 97,99,83,87,82,79,99,90,78,86,75,66]; 二、数据分析 1.中心位置（均值、中位数、众数） 数据的中心位置是我们最容易想到的数据特征。借由中心位置，我们可以知道数据的一个平均情况，如果要对新数据进行预测，那么平均情况是非常直观地选择。数据的中心位置可分为均值（Mean），中位数（Median），众数（Mode）。其中均值和中位数用于定量的数据，众数用于定性的数据。 均值：利用python编写求平均值的函数很容易得到本次样本的平均值 得到本次样本均值为109.9 中位数：113 众数：116 2.频数分析 2.1频数分布直方图 柱状图是以柱的高度来指代某种类型的频数，使用Matplotlib对成绩这一定性变量绘制柱状图的代码如下：
引言 几年后发生了。在使用SAS工作超过5年后，我决定走出自己的舒适区。作为一个数据科学家，我寻找其他有用的工具的旅程开始了！幸运的是，没过多久我就决定，Python作为我的开胃菜。 我总是有一个编写代码的倾向。这次我做的是我真正喜欢的。代码。原来，写代码是如此容易！ 我一周内学会了Python基础。并且，从那时起，我不仅深度探索了这门语言，而且也帮助了许多人学习这门语言。Python是一种通用语言。但是，多年来，具有强大的社区支持，这一语言已经有了专门的数据分析和预测模型库。 由于Python缺乏数据科学的资源，我决定写这篇教程来帮助别人更快地学习Python。在本教程中，我们将讲授一点关于如何使用Python 进行数据分析的信息，咀嚼它，直到我们觉得舒适并可以自己去实践。
目录 1. 数据分析的Python基础 o为什么学Python用来数据分析 o Python 2.7 v/s 3.4 o怎样安装Python o在Python上运行一些简单程序 2. Python的库和数据结构 o Python的数据结构 o Python的迭代和条件结构 o Python库 3. 在Python中使用Pandas进行探索性分析
o序列和数据框的简介 o分析Vidhya数据集——贷款的预测问题 4. 在Python中使用Pandas进行数据再加工 5. 使用Python中建立预测模型 o逻辑回归 o决策树 o随机森林 让我们开始吧 1.数据分析的Python基础 为什么学Python用来数据分析 很多人都有兴趣选择Python作为数据分析语言。这一段时间以来，我有比较过SAS和R。这里有一些原因来支持学习Python： ?开源——免费安装 ?极好的在线社区 ?很容易学习 ?可以成为一种通用的语言，用于基于Web的分析产品数据科学和生产中。
实训：Python数据分析 〖实训目的〗 了解Python基本编程语法，掌握Python进行数据载入、预处理、分析和可视化的方法。 〖实训内容与步骤〗 1.在Python中导入数据 （1）读取CSV文件 CSV文件是由由逗号分割字段构成的数据记录型文件。我们可以方便地把 EXCEL中的电子表格存储为CSV文件。例如，我们有一份CSV 数据是英国近些年的降雨量统计数据，可以从以下网址找https://https://www.doczj.com/doc/5c6701193.html,/dataset/average-temperature-and-rainfall-england-and- source/3fea0f7b-5304-4f11-a809-159f4558e7da） 从EXCEL中看到的数据如下图2-53所示： 图2-53 读取CSV文件 如果这个文件被保存在以下位置： D:\data\uk_rain_2014.csv 我们可以在Python中利用Pandas库将它导入： >>>import pandas as pd >>>df = pd.read_csv('d:\\data\\uk_rain_2014.csv', header=0) 这里需要注意的是，因为windows下用于分割目录的“\”符号在Python中被用于转义符（转义符就是用来输入特殊符号的引导符号，例如\n是回车,\r是换行等），因此“\”本身在Python语言中需要通过“\\”来输入。 以上两行程序就将这个csv文件导入成pandas中的一种类型为Dataframe的对象中，并给这个对象起名为df。
为了验证我们确实导入了这个数据文件，我们可以把df的内容打印出来：>>>print df Water Year Rain (mm) Oct-Sep Outflow (m3/s) Oct-Sep Rain (mm) Dec-Feb \ 0 1980/81 1182 5408 292 1 1981/8 2 1098 5112 257 2 1982/8 3 1156 5701 330 3 1983/8 4 993 426 5 391 4 1984/8 5 1182 5364 217 5 1985/8 6 102 7 4991 304 6 1986/8 7 1151 5196 295 7 1987/88 1210 5572 343 8 1988/89 976 4330 309 9 1989/90 1130 4973 470 10 1990/91 1022 4418 305 11 1991/92 1151 4506 246 121992/93 1130 5246 308 （2）读取EXCEL文件 因为EXCEL文件本身可以方便地另存为CSV文件，所以把EXCEL文件导入Python的一种办法就是将EXCEL中的数据表另存为CSV文件，然后利用上一节的方法将CSV导入Python。 当然，Pandas也提供了直接读取EXCEL文件的方法。同样，如果相应的EXCEL 文件放在D:\data\uk_rain_2014.xlsx，我们同样可以在Python中利用Pandas库将它导入： >>>import pandas as pd >>>df = pd.read_excel('d:\\data\\uk_rain_2014.xlsx') 同样，我们也可以把df的内容打印出来作为验证。 将数据导入Python之后，我们就可以对数据进行分析了。但在数据量很大的时候，我们往往需要从数据中提取和筛选出一部分数据来进行针对性的分析。 2.数据提取和筛选 仍然针对上面导入的英国天气数据，由于数据有很多行，我们希望只看到数据的前5行： >>> df.head(5) Water Year Rain (mm) Oct-Sep Outflow (m3/s) Oct-Sep Rain (mm) Dec-Feb \
python数据分析过程示例
引言 几年后发生了。在使用SAS工作超过5年后，我决定走出自己的舒适区。作为一个数据科学家，我寻找其他有用的工具的旅程开始了！幸运的是，没过多久我就决定，Python作为我的开胃菜。 我总是有一个编写代码的倾向。这次我做的是我真正喜欢的。代码。原来，写代码是如此容易！ 我一周内学会了Python基础。并且，从那时起，我不仅深度探索了这门语言，而且也帮助了许多人学习这门语言。Python是一种通用语言。但是，多年来，具有强大的社区支持，这一语言已经有了专门的数据分析和预测模型库。 由于Python缺乏数据科学的资源，我决定写这篇教程来帮助别人更快地学习Python。在本教程中，我们将讲授一点关于如何使用Python 进行数据分析的信息，咀嚼它，直到我们觉得舒适并可以自己去实践。
目录 1. 数据分析的Python基础 o为什么学Python用来数据分析o Python 2.7 v/s 3.4 o怎样安装Python o在Python上运行一些简单程序2. Python的库和数据结构 o Python的数据结构 o Python的迭代和条件结构
o Python库 3. 在Python中使用Pandas进行探索性分析 o序列和数据框的简介 o分析Vidhya数据集——贷款的预测问题 4. 在Python中使用Pandas进行数据再加工 5. 使用Python中建立预测模型 o逻辑回归 o决策树 o随机森林 让我们开始吧 1.数据分析的Python基础 为什么学Python用来数据分析 很多人都有兴趣选择Python作为数据分析语言。这一段时间以来，我有比较过SAS和R。这里有一些原因来支持学习Python：
python数据分析(pandas) 几年后发生了。在使用SAS工作超过5年后，我决定走出自己的舒适区。作为一个数据科学家，我寻找其他有用的工具的旅程开始了！幸运的是，没过多久我就决定，Python作为我的开胃菜。 我总是有一个编写代码的倾向。这次我做的是我真正喜欢的。代码。原来，写代码是如此容易！ 我一周内学会了Python基础。并且，从那时起，我不仅深度探索了这门语言，而且也帮助了许多人学习这门语言。Python是一种通用语言。但是，多年来，具有强大的社区支持，这一语言已经有了专门的数据分析和预测模型库。 由于Python缺乏数据科学的资源，我决定写这篇教程来帮助别人更快地学习Python。在本教程中，我们将讲授一点关于如何使用Python 进行数据分析的信息，咀嚼它，直到我们觉得舒适并可以自己去实践。
目录 1. 数据分析的Python基础 o为什么学Python用来数据分析 o Python 2.7 v/s 3.4 o怎样安装Python o在Python上运行一些简单程序 2. Python的库和数据结构 o Python的数据结构 o Python的迭代和条件结构 o Python库 3. 在Python中使用Pandas进行探索性分析
o序列和数据框的简介 o分析Vidhya数据集——贷款的预测问题 4. 在Python中使用Pandas进行数据再加工 5. 使用Python中建立预测模型 o逻辑回归 o决策树 o随机森林 让我们开始吧 1.数据分析的Python基础 为什么学Python用来数据分析 很多人都有兴趣选择Python作为数据分析语言。这一段时间以来，我有比较过SAS和R。这里有一些原因来支持学习Python： ?开源——免费安装 ?极好的在线社区 ?很容易学习 ?可以成为一种通用的语言，用于基于Web的分析产品数据科学和生产中。
常用Python数据分析库详解 Python之所以这么流行，这么好用，就是因为Python提供了大量的第三方的库，开箱即用，非常方便，而且还免费哦，学Python的同学里估计有30%以上是为了做数据分析师或者数据挖掘，所以数据分析相关的库一定要熟悉，那么常用的Python数据分析库有哪些呢？ 1.NumPy NumPy是Python科学计算的基础包，它提供： 1).快速高效的多维数组对象ndarray； 2).直接对数组执行数学运算及对数组执行元素级计算的函数； 3).用于读写硬盘上基于数组的数据集的工具； 4).线性代数运算、傅里叶变换,以及随机数生成。 2.Pandas 大名鼎鼎的Pandas可以说只要做数据分析的，无人不知无人不晓,因为它太重要了.Pandas库提供了我们很多函数,能够快速的方便的,处理结构化的大型数据,不夸张的说，Pandas是让Python成为强大的数据分析工具的非常重要的一个因素。 而且对于金融行业，比如基金股票的分析师来说,pandas提供了高性能的时间序列功能和一系列的工具,可以自由的灵活的处理数据,一次使用你就会爱上它。 3.Matplotlib matplotlib是最流行的用于绘制数据图表的Python库,它和下面我们要讲
的 IPython结合的很爽,绝对是好基友,提供了一种非常好用的交互式的数据绘图环境。 4.IPython IPython是Python科学计算标准工具集的组成部分,它可以把很多东西联系到一起,有点类似一个增强版的Python shell。 目的是为了提高编程，测试和调试Python代码的速度，好像很多国外的大学教授，还有Google大牛都很喜欢用IPython，确实很方便，至少我在分析数据的时候，也是用这个工具的，而且不用print,回车就能打印。
从入门到精通pandas操作 Pandas简介：Python Data Analysis Library（数据分析处理库）或pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 pandas的数据结构： Series：一维数组，与Numpy中的一维ndarray类似。二者与Python基本的数据结构List也很相近，其区别是：List中的元素可以是不同的数据类型，而Array和Series中则只允许存储相同的数据类型，这样可以更有效的使用内存，提高运算效率。 Time- Series：以时间为索引的Series。 DataFrame：二维的表格型数据结构，可以理解为Series的容器。 Panel ：三维的数组，可以理解为DataFrame的容器。 本文主要介绍DateFrame数据结构。 本文中用到的数据集为food_info.csv，若有需要，在留言区留言即可获得。 本文只是介绍pandas的基本使用，若要详细深入学习，请参阅pandas官方文档。 1.读取.csv格式的数据文件
food_info.csv文件的局部预览图： 每一行：代表一种食品所包含的各种营养成分#导包 import pandas #读取数据文件，并将数据赋值成一个变量 . . food_info = pandas.read_csv("food_info.csv") #将数据赋值成一个变量后，打印此变量的类型为Dataframe . . print(type(food_info)) #打印文件中数据的类型。object类型即string类型
print(food_info.dtypes) #若对pandas中的某函数不了解，可以通过help()来查看. . print(help(pandas.read_csv)) . 运行结果： 补充：DataFrame结构中的dtype类型 object————for string values int————for integer values float————for float values datetime————for time values bool————for Boolean values
《Python数据分析与应用》教学大纲课程名称：Python数据分析与应用 课程类别：必修 适用专业：大数据技术类相关专业 总学时：64学时（其中理论36学时，实验28学时） 总学分：4.0学分 一、课程的性质 大数据时代已经到来，在商业、经济及其他领域中基于数据和分析去发现问题并做出科学、客观的决策越来越重要。数据分析技术将帮助企业用户在合理时间内获取、管理、处理以及整理海量数据，为企业经营决策提供积极的帮助。数据分析作为一门前沿技术，广泛应用于物联网、云计算、移动互联网等战略新兴产业。有实践经验的数据分析人才已经成为了各企业争夺的热门。为了推动我国大数据，云计算，人工智能行业的发展，满足日益增长的数据分析人才需求，特开设Python数据分析与应用课程。 二、课程的任务 通过本课程的学习，使学生学会使用Python进行科学计算、可视化绘图、数据处理，分析与建模，并详细拆解学习聚类、回归、分类三个企业案例，将理论与实践相结合，为将来从事数据分析挖掘研究、工作奠定基础。 三、课程学时分配
四、教学内容及学时安排 1.理论教学
2.实验教学
五、考核方式 突出学生解决实际问题的能力，加强过程性考核。课程考核的成绩构成= 平时作业（10%）+ 课堂参与（20%）+ 期末考核（70%），期末考试建议采用开卷形式，试题应包括基本概念、绘图、分组聚合、数据合并、数据清洗、数据变换、模型构建等部分，题型可采用判断题、选择、简答、应用题等方式。 六、教材与参考资料 1.教材 黄红梅，张良均．Python数据分析与应用[M]．北京：人民邮电出版社．2018． 2.参考资料
《Python数据分析基础教程》课程教学大纲 课程编号： 学分：8学分 学时：128学时（最佳上课方式：理实一体化上课） 适用专业：大数据应用技术、信息管理技术及其计算机相关专业 一、课程的性质与目标 《Python数据分析基础教程》是面向大数据应用技术专业、信息管理专业及计算机相关专业的一门数据分析及应用基础课程，本课程主要介绍数据分析的概念、数据分析的流程、Python语言基础以及Python数据分析常用库，如NumPy、Matplotlib、pandas和scikit-learn库的运用等内容。通过本课程的学习，学生不仅可以更好地理解Python数据分析中的基本概念，还可以运用所学的数据分析技术，完成相关的数据分析项目的实践。 二、课程设计理念与思路 通过数据分析的案例，介绍数据分析的概念、数据分析的流程以及Python数据分析常用库的应用。同时，为便于读者能更好地理解Python的数据分析，介绍了Python 的基础语法。最后，运用所学的数据分析技术，完成相关的数据分析项目的实践。 本书各个章节中都有许多示例代码，通过示例代码帮助读者更好地理解Python数据分析中的基本概念，同时，为提高读者对数据分析技术的综合运用能力，在各个章节中还设置了项目实践的综合训练和思考练习等内容。 三、教学条件要求 操作系统：Windows 7 开发工具：Python3.6.3，PyCharm、Jupyter notebook
四、课程的主要内容及基本要求第一章数据分析概述 第二章Python与数据分析
第三章Python语言基础 第四章NumPy数组与矢量计算
python数据分析学习方法 数据分析是大数据的重要组成部分，在越来越多的工作中都扮演着重要的角色，Python可以利用各种Python库，如NumPy、pandas、matplotlib以及IPython 等，高效的解决各式各样的数据分析问题，那么该如何学习Python数据分析呢？ 大数据作为一门新兴技术，大数据系统还不完善，市场上存在的资料也很零散，只有少数大数据资深技术专家才掌握真正的大数据技术，老男孩教育徐培成老师拥有丰富的大数据实践经验，掌握大数据核心技术，大数据实战课程体系完善，能够让学员学到真本领！ 老男孩教育Python与数据分析内容： 1. Python介绍、Python环境安装、Python体验 2. Python基础、语法、数据类型、分支、循环、判断、函数 3. Python oop、多线程、io、socket、模块、包、导入控制 4. Python正则表达式、Python爬虫实现 5. 行列式基础、转置、矩阵定义、矩阵运算、逆矩阵、矩阵分解、矩阵变换、矩阵的秩 6. Python对常用矩阵算法实现 7. Python常用算法库原理与使用、numpy、pandas、sklearn 8. 数据加载、存储、格式处理 9. 数据规整化、绘图与可视化 Python与数据分析是老男孩教育大数据开发课程的一部分，除此之外，老男孩教育大数据开发课程还包括：Java、Linux、Hadoop、Hive、Avro与Protobuf、
ZooKeeper、HBase、Phoenix、Flume、SSM、Kafka、Scala、Spark、azkaban等，如此全面的知识与技能，你还在等什么？赶紧报名学习吧！
常用Python数据分析工具汇总 Python是数据处理常用工具，可以处理数量级从几K至几T不等的数据，具有较高的开发效率和可维护性，还具有较强的通用性和跨平台性。Python可用于数据分析，但其单纯依赖Python本身自带的库进行数据分析还是具有一定的局限性的，需要安装第三方扩展库来增强分析和挖掘能力。 Python数据分析需要安装的第三方扩展库有：Numpy、Pandas、SciPy、Matplotlib、Scikit-Learn、Keras、Gensim、Scrapy等，以下是对该第三方扩展库的简要介绍： 1. Numpy Python没有提供数组功能，Numpy可以提供数组支持以及相应的高效处理函数，是Python数据分析的基础，也是SciPy、Pandas等数据处理和科学计算库最基本的函数功能库，且其数据类型对Python数据分析十分有用。 2. Pandas Pandas是Python强大、灵活的数据分析和探索工具，包含Series、DataFrame 等高级数据结构和工具，安装Pandas可使Python中处理数据非常快速和简单。 3. SciPy SciPy是一组专门解决科学计算中各种标准问题域的包的集合，包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算等，这些对数据分析和挖掘十分有用。 4. Matplotlib
Matplotlib是强大的数据可视化工具和作图库，是主要用于绘制数据图表的Python库，提供了绘制各类可视化图形的命令字库、简单的接口，可以方便用户轻松掌握图形的格式，绘制各类可视化图形。 5. Scikit-Learn Scikit-Learn是Python常用的机器学习工具包，提供了完善的机器学习工具箱，支持数据预处理、分类、回归、聚类、预测和模型分析等强大机器学习库，其依赖于Numpy、Scipy和Matplotlib等。 6. Keras Keras是深度学习库，人工神经网络和深度学习模型，基于Theano之上，依赖于Numpy和Scipy，利用它可以搭建普通的神经网络和各种深度学习模型，如语言处理、图像识别、自编码器、循环神经网络、递归审计网络、卷积神经网络等。 7. Gensim Gensim是用来做文本主题模型的库，常用于处理语言方面的任务，支持TF-IDF、LSA、LDA和Word2Vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算、信息检索等一些常用任务的API接口。 8. Scrapy Scrapy是专门为爬虫而生的工具，具有URL读取、HTML解析、存储数据等功能，可以使用Twisted异步网络库来处理网络通讯，架构清晰，且包含了各种中间件接口，可以灵活的完成各种需求。 以上是对Python数据分析常用工具的简单介绍，有兴趣的可以深入学习研究一下相关使用方法！
基本数据统计分析 Python 数据处理、分析、可视化与数据化运营 06
本章学习目标 了解描述性统计分析各个指标的含义 掌握交叉对比和趋势分析的基本方法与技巧 掌握结构与贡献分析的应用场景以及实现方法 重点分组与聚合分析的常用方法 掌握相关性分析的主要方法以及如何解读相关性分析结果了解漏斗、路径和归因分析基本概念
准备数据 使用Excel的DMEO数据 本节所用数据为公用数据，读取excel的demo数据。用法示例： import pandas as pd # ① import numpy as np # ② raw_data = pd.read_excel('demo.xlsx') # ③ print(raw_data.head(3)) # ④
准备数据 先将province转换为字符串 在字段中的PROVINCE 列本身是分类含义，因此将其转换为字符串类型。用法示例： raw_data['PROVINCE'] = raw_data['PROVINCE'].astype(str)
准备数据 使用describe查看描述性统计分析信息 用法示例： desc_data = raw_data.describe(include='all').T # ①获得所有字段的描述信息 desc_data['polar_distance'] = desc_data['max']- desc_data['min'] # ②得到极差（或极距）desc_data['IQR'] = (desc_data['75%']-desc_data['25%'])/2 # ③计算四分位差 desc_data['days_int'] = desc_data['last']-desc_data['first'] # ④基于last和first差值计算日期间隔desc_data['dtype'] = raw_data.dtypes # ⑤获取所有列的字段类型 desc_data['all_count'] = raw_data.shape[0] # ⑥获取所有列的总记录数量 print(desc_data.columns) # ⑦
关于举办“Python大数据机器学习实战”高级工程师 实战培训班的通知 地点：北京--时间：12月25-12月28 一、课程学习目标 1.每个算法模块按照“原理讲解→分析数据→自己动手实现→特征与调参”的顺序。 2.“Python数据清洗和特征提取”，提升学习深度、降低学习坡度。 3.增加网络爬虫的原理和编写，从获取数据开始，重视将实践问题转换成实际模型的能力，分享工作中的实际案例或Kaggle案例：广告销量分析、环境数据异常检测和分析、数字图像手写体识别、Titanic乘客存活率预测、用户-电影推荐、真实新闻组数据主题分析、中文分词、股票数据特征分析等。 4.强化矩阵运算、概率论、数理统计的知识运用，掌握机器学习根本。 5.阐述机器学习原理，提供配套源码和数据。 6.以直观解释，增强感性理解。 7.对比不同的特征选择带来的预测效果差异。 8.重视项目实践，重视落地。思考不同算法之间的区别和联系，提高在实际工作中选择算法的能力。 9.涉及和讲解的部分Python库有：Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn。 二、课程目标 本课程特点是从数学层面推导最经典的机器学习算法，以及每种算法的示例和代码实现（Python）、如何做算法的参数调试、以实际应用案例分析各种算法的选择等。 三、培训对象 大数据分析应用开发工程师、大数据分析项目的规划咨询管理人员、大数据分析项目的IT项目高管人员、大数据分析与挖掘处理算法应用工程师、大数据分析集群运维工程师、大数据分析项目的售前和售后技术支持服务人员
智慧树知到《大数据分析的python基础》章节测试答案第一章 1、Python语言是一种高级语言。 A:对 B:错 答案: 对 2、Jupyter notebook中运行单元格的方法有哪几种？( ) A:Enter B:Shift+Enter C:Ctrl+Enter D:F5 答案: Shift+Enter,Ctrl+Enter 3、Jupyter notebook的记事本文件扩展名为：( ) A:m B:py C:pyc D:ipynb 答案: ipynb 4、Jupyter notebook 中的助手需要额外安装。 A:对 B:错 答案: 对
5、Python安装扩展库常用的是（）工具 A:setup B:update C:pip D:run 答案: pip 6、关于Python语言的注释，以下选项中描述错误的是：（） A: Python语言有两种注释方式:单行注释和多行注释 B:Python语言的单行注释以#开头 C:Python语言的单行注释以单引号开头 D:Python语言的多行注释以'''(三个单引号)开头和结尾 答案: Python语言的单行注释以单引号开头 7、以下选项中，不是pip工具进行第三方库安装的作用的是：( ) A:安装一个库 B:卸载一个已经安装的第三方库 C:列出当前系统已经安装的第三方库 D:脚本程序转变为可执行程序 答案: 脚本程序转变为可执行程序 8、安装一个库的命令格式是：( ) A:pip uninstall <拟卸载库名> B:pip -h C:pip install <拟安装库名》
D: Pip download <拟下载库名> 答案: pip install <拟安装库名》 9、标准的缩进格式是Python的语法之一。 A:对 B:错 答案: 对 10、下列导入第三库的操作中正确的是：( ) A:import numpy B:import numpy as np C:from matplotlib import pyplot D:from urllib.request import urlopen 答案: import numpy,import numpy as np,from matplotlib import pyplot,from urllib.request import urlopen 第二章 1、Python 3.6.5版本的保留字总数是：（） A:33 B:27 C:16 D:29 答案: 33 2、以下选项中，不是Python语言保留字的是：（） A:while B:except
用一张示意图表示Python变量和赋值的重点： 例如下图代码，“=”的作用就是赋值，同时Python会自动识别数据类型:整型数据 整型数据 字符串数据 字符串数据
字典使用键-值（key-value）存储，无序，具有极快的查找速度。以上面的字典为例，想要快速知道周杰伦的年龄，就可以这么写： zidian['周杰伦'] >>>'40' dict内部存放的顺序和key放入的顺序是没有关系的,也就是说，"章泽天"并非是在"刘强东"的后面。 DataFrame： DataFrame可以简单理解为Excel里的表格格式。导入pandas包后，字典和列表都可以转化为DataFrame，以上面的字典为例，转化为DataFrame是这样的： import pandas as pd df=pd.DataFrame.from_dict(zidian,orient='index',columns=['age'])#注意DataFrame的D和F是大写df=df.reset_index().rename(columns={'index':'name'})#给姓名加上字段名 和excel一样，DataFrame的任何一列或任何一行都可以单独选出进行分析。 以上三种数据类型是python数据分析中用的最多的类型，基础语法到此结束，接下来就可以着手写一些函数计算数据了。
2.从Python爬虫学循环函数 掌握了以上基本语法概念，我们就足以开始学习一些有趣的函数。我们以爬虫中绕不开的遍历url为例，讲讲大家最难理解的循环函数for的用法： A.for函数 for函数是一个常见的循环函数，先从简单代码理解for函数的用途： zidian={'刘强东':'46','章泽天':'36','周杰伦':'40','昆凌':'26'} for key in zidian: print(key) >>> 刘强东 章泽天 周杰伦 昆凌 因为dict的存储不是按照list的方式顺序排列，所以，迭代出的结果顺序很可能不是每次都一样。默认情况下，dict迭代的是key。如果要迭代value，可以用for value in d.values()，如果要同时#迭代key和value，可以用for k, v in d.items() 可以看到，字典里的人名被一一打印出来了。for 函数的作用就是用于遍历数据。掌握for函数，可以说是真正入门了Python函数。 B.爬虫和循环 for函数在书写Python爬虫中经常被应用，因为爬虫经常需要遍历每一个网页，以获取信息，所以构建完整而正确的网页链接十分关键。以某票房数据网为例，他的网站信息长这样：
智慧树Python数据分析与数据可视化答案第一章单元测试 1、缩进对于Python程序至关重要。 A:错 B:对 正确答案:【对】 2、在Python 3.x中不能使用汉字作为变量名。 A:对 B:错 正确答案:【错】 3、下面哪些是正确的Python标准库对象导入语句？ A:from math import B:import math.sin as sin C:from math import sin D:import math. 正确答案:【from math import *; from math import sin】 4、Python支持面向对象程序设计。 A:对 B:错 正确答案:【对】
5、下面属于Python编程语言特点的有？ A:扩展库丰富 B:代码运行效率高 C:支持命令式编程 D:支持函数式编程 正确答案:【扩展库丰富; 支持命令式编程; 支持函数式编程】 第二章单元测试 1、已知列表x = [1, 2, 1, 2, 3, 1]，那么执行x.remove(1)之后，x的值为[2, 2, 3]。A:对 B:错 正确答案:【错】 2、已知列表x = [1, 2, 3]，那么执行y = x.reverse()之后，y的值为[3, 2, 1]。 A:对 B:错 正确答案:【错】 3、Python语言中同一个集合中的元素不会重复，每个元素都是唯一的。 A:错 B:对 正确答案:【对】 4、表达式3 > 5 and math.sin(0)的值为0。
B:错 正确答案:【错】 5、表达式4 < 5 == 5的值为True。 A:错 B:对 正确答案:【对】 第三章单元测试 1、生成器表达式的计算结果是一个元组。 A:错 B:对 正确答案:【错】 2、包含列表的元组可以作为字典的“键”。 A:错 B:对 正确答案:【错】 3、列表的rindex()方法返回指定元素在列表中最后一次出现的位置。A:对 B:错 正确答案:【错】 4、Python语言中同一个集合中的元素不会重复，每个元素都是唯一的。A:错
常用的Python数据分析工具 Python是数据处理常用工具，可以处理数量级从几K至几T不等的数据，具有较高的开发效率和可维护性，还具有较强的通用性和跨平台性。Python可用于数据分析，但其单纯依赖Python本身自带的库进行数据分析还是具有一定的局限性的，需要安装第三方扩展库来增强分析和挖掘能力。 Python数据分析需要安装的第三方扩展库有：Numpy、Pandas、SciPy、Matplotlib、Scikit-Learn、Keras、Gensim、Scrapy等，以下是对该第三方扩展库的简要介绍： 1. Numpy Python没有提供数组功能，Numpy可以提供数组支持以及相应的高效处理函数，是Python数据分析的基础，也是SciPy、Pandas等数据处理和科学计算库最基本的函数功能库，且其数据类型对Python数据分析十分有用。 2. Pandas Pandas是Python强大、灵活的数据分析和探索工具，包含Series、DataFrame 等高级数据结构和工具，安装Pandas可使Python中处理数据非常快速和简单。 3. SciPy SciPy是一组专门解决科学计算中各种标准问题域的包的集合，包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算等，这些对数据分析和挖掘十分有用。 4. Matplotlib
Matplotlib是强大的数据可视化工具和作图库，是主要用于绘制数据图表的Python库，提供了绘制各类可视化图形的命令字库、简单的接口，可以方便用户轻松掌握图形的格式，绘制各类可视化图形。 5. Scikit-Learn Scikit-Learn是Python常用的机器学习工具包，提供了完善的机器学习工具箱，支持数据预处理、分类、回归、聚类、预测和模型分析等强大机器学习库，其依赖于Numpy、Scipy和Matplotlib等。 6. Keras Keras是深度学习库，人工神经网络和深度学习模型，基于Theano之上，依赖于Numpy和Scipy，利用它可以搭建普通的神经网络和各种深度学习模型，如语言处理、图像识别、自编码器、循环神经网络、递归审计网络、卷积神经网络等。 7. Gensim Gensim是用来做文本主题模型的库，常用于处理语言方面的任务，支持TF-IDF、LSA、LDA和Word2Vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算、信息检索等一些常用任务的API接口。 8. Scrapy Scrapy是专门为爬虫而生的工具，具有URL读取、HTML解析、存储数据等功能，可以使用Twisted异步网络库来处理网络通讯，架构清晰，且包含了各种中间件接口，可以灵活的完成各种需求。 以上是对Python数据分析常用工具的简单介绍，有兴趣的可以深入学习研究一下相关使用方法！
作者 | CDA数据分析师 从菜市场买来的菜总有一些不太好的，所以把菜买回来以后要先做一遍预处理，把那些不太 好的部分扔掉。现实中大部分的数据都类似于菜市场的菜品，拿到以后都要先做一次预处理。常见的不规整的数据主要有缺失数据、重复数据、异常数据几种，在开始正式的数据分许之前，我们需要先把这些不太规整的数据处理掉。 一、缺失值的处理 缺失值就是由某些原因导致部分数据为空，对于为空的这部分数据我们一般有两种处理方式，一种是删除，即把含有缺失值的数据删除；另一种是填充，即把缺失的那部分数据用某个值 代替。 1、缺失值查看 对缺失值进行处理，首先要把缺失值找出来，也就是查看哪列有缺失值。 （1）Excel实现 在Excel中我们先选中一列没有缺失值的数据，看一下这一列数据共有多少个，然后把其他 列的计数与这一列进行对比，小于这一列数据个数的就代表有缺失值，差值就是缺失的个数。下图中非缺失值列的数据计数为5，性别这一列的计数为4，这就表示性别这一列有1个缺失值。 如果想看整个数据表中每列数据的缺失情况，则要挨个选中每一列去判断该列是否有缺失值。如果数据不是特别多，你想看具体是哪个单元格缺失，则可以利用定位条件（按快捷键 Ctrl+G可弹出定位条件的对话框）查找。在定位条件的对话框中选择空值，单击确定就会把 所有的空值选中，如下图所示：
通过定位条件把缺失值选出来的结果，如下图所示： （2）Python实现 在Python中直接调用info（）方法就会返回每一列值的缺失情况。关于info（）方法我们在前面就用过，但是没有说明这个方法可以判断数据的缺失情况。 Python中缺失值一般用NaN表示，从用info（）方法的结果来看，性别这一列是3non-null obxxxxject，表示性别这一列有3个非null值，而其他列有4个非null值，说明性别这一列有一个null值。
经过数据探索与数据预处理，得到了可以直接建模的数据。根据挖掘目标和数据形式可以建立模型，包括：分类与预测、聚类分析、关联规则、时序模式和偏差检测等。 分类与预测 分类和预测是预测问题的两种主要类型，分类主要是预测分类标号（离散属性），而预测主要是建立连续值函数模型，预测给定自变量对应的因变量的值。 分类 分类是构造一个分类模型，输入样本的属性值，输出对应的类别，将每个样本映射到预先定义好的类别。分类模型建立在已有类标记的数据集上，模型在已有样本上的准确率可以方便的计算，所以分类属于有监督的学习。 分类算法分两步：第一步是学习，通过归纳分析训练样本集来建立分类模型得到分类规则；第二步是分类，先用已知的测试样本集评估分类规则的准确率，如果可以接受，则用该模型对未知标号的待测样本集进行预测。 预测 预测是指建立两种或两种以上变量间相互依赖的函数模型，然后进行预测或控制。 预测模型也分两步，第一步是通过训练集建立预测属性的函数模型；第二步在模型通过检验后进行预测或控制。 常用分类与预测算法
聚类分析 与分类不同，聚类分析是在没有给定划分类别的情况下，根据数据相似度进行样本分组的一种方法。与分类模型需要使用有类标记样本构成的训练数据不同，聚类模型可以建立在无类标记的数据上，是一种非监督的学习方法。 聚类的输入是一组未被标记的样本，聚类根据数据自身的距离或相似度将其划分为若干组，划分的原则是组内距离最小化而组间（外部）距离最大化。 常用聚类分析算法
关联规则 关联规则分析是数据挖掘中最活跃的研究方法之一，目的是在一个数据集中找出各项之间的关联关系，而这种关系并没有在数据中直接表示出来。 比如一个常见的例子，在美国，一般都是男士下班后顺便去买尿布，而他们通常会顺带买啤酒，那么超市就把啤酒摆放在靠近婴儿尿布的位置，满足了客户的体验，更提高了业绩。就是通过大量的历史数据的分析，得到这两种商品之前的密切关联，因而做出上面的决 时序模式