Spark入门(Python)

（计算机）Python编程基础知识详解梳理笔记汇总目录一、print()函数和变量 (3)1、print()函数 (3)1.1、无引号 (3)1.2、双引号的用法 (3)1.3、三引号的用法 (4)1.4、总结 (5)2、变量和赋值 (7)2.1、变量 (7)2.2、变量的命名规范 (9)3、总结 (10)4、课后作业 (11)二、镜像世界的数据 (12)1、数据类型 (12)1.1、字符串 (12)1.2、整数 (14)1.3、浮点数 (15)1.4、小结 (16)2、数据的应用 (16)2.1、四则运算 (17)2.2、字符串的拼接 (18)2.3、数据类型的查询——type()函数 (19)3、数据转换 (22)3.1、str()函数 (22)3.2、int()函数 (24)3.3、float()函数 (25)3.4、总结 (26)4、课后作业 (27)一、print()函数和变量1、print()函数print()函数的用法有以下几种：单枪匹马——不带引号、搭配单引号、搭配双引号、搭配三引号，我们逐个见识下吧！1.1、无引号将print(520)这段代码一字不差地抄写第3行，抄写完后，点击【运行】按钮。

注意：在正式敲代码之前，必须切换成英文输入状态，保证print()函数的括号是用【英文括号】，不然会报错。

【切换英文输入的Tips：Mac系统请按command+空格键切换中英文输入，Windows系统请按ctrl＋shift键切换中英文输入】print(520)在Python的魔法世界，我们如果想让计算机帮忙写出千寻的名字，该怎么运用print()函数对计算机发出指令呢？print('千寻')此处单引号是英文符号，这是因为，计算机的脑回路比较特别：只能理解数字，却读不懂文字。

因为数字和数学运算是标准化、有固定格式的，而文字却能够千变万化。

这就是print()函数的主要功能：打印内容。

语雀python笔记以下是语雀（Yuque）上的一篇关于Python的笔记，供您参考：Python笔记：从入门到实践摘要：本篇文章旨在帮助读者快速了解Python编程语言的基础知识和常用实践。

通过学习本篇文章，您将掌握Python的基本语法、数据类型、控制流、函数等概念，并学会编写简单的Python程序。

引言Python是一种广泛使用的编程语言，以其易读性、简洁性和强大的库支持而闻名。

无论您是初学者还是经验丰富的程序员，学习Python都将为您带来许多好处。

在本篇文章中，我们将通过一系列简单的步骤和示例，引导您逐步了解Python的基础知识和常用实践。

一、Python基础1. 安装Python首先，您需要安装Python解释器。

您可以从Python官网下载并安装最新版本的Python。

安装完成后，您可以在命令行中输入`python --version`来验证Python是否成功安装。

2. Hello World程序在Python中，一个简单的Hello World程序可以这样写：```pythonprint("Hello, World!")```3. 注释在Python中，我们使用``符号来添加注释。

注释可以帮助我们理解代码的功能和作用。

例如：```python这是一个注释print("Hello, World!") 这也是一个注释```4. 变量在Python中，变量用于存储数据。

我们使用`=`符号来给变量赋值。

例如：```pythonname = "Alice"age = 25```5. 数据类型Python支持多种数据类型，如整数、浮点数、字符串、列表、元组、字典等。

例如：```pythonnum = 123 整数类型float_num = 浮点数类型str_num = "456" 字符串类型```。

Pyspark读取parquet数据过程解析parquet数据：列式存储结构，由Twitter和Cloudera合作开发，相⽐于⾏式存储，其特点是：可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量；压缩编码可以降低磁盘存储空间，使⽤更⾼效的压缩编码节约存储空间；只读取需要的列，⽀持向量运算，能够获取更好的扫描性能。

那么我们怎么在pyspark中读取和使⽤parquet数据呢？我以local模式，linux下的pycharm执⾏作说明。

⾸先，导⼊库⽂件和配置环境：import osfrom pyspark import SparkContext, SparkConffrom pyspark.sql.session import SparkSessionos.environ["PYSPARK_PYTHON"]="/usr/bin/python3" #多个python版本时需要指定conf = SparkConf().setAppName('test_parquet')sc = SparkContext('local', 'test', conf=conf)spark = SparkSession(sc)然后，使⽤spark进⾏读取，得到DataFrame格式的数据：host:port 属于主机和端⼝号parquetFile = r"hdfs://host:port/Felix_test/test_data.parquet"df = spark.read.parquet(parquetFile)⽽，DataFrame格式数据有⼀些⽅法可以使⽤，例如：1.df.first() ：显⽰第⼀条数据，Row格式print(df.first())2.df.columns：列名3.df.count()：数据量，数据条数4.df.toPandas()：从spark的DataFrame格式数据转到Pandas数据结构5.df.show()：直接显⽰表数据；其中df.show(n) 表⽰只显⽰前n⾏信息6.type(df)：显数据⽰格式以上就是本⽂的全部内容，希望对⼤家的学习有所帮助，也希望⼤家多多⽀持。

python新手必背单词一、基础语法相关。

1. print.- 英标：[prɪnt]- 词性：动词（v.）- 含义：用于输出内容到控制台。

例如：`print("Hello, World!")`。

2. input.- 英标：['ɪnpʊt]- 词性：函数（在Python中可视为一种特殊的动词用法，这里可写v.）- 含义：用于获取用户的输入。

例如：`user_input = input("Please enter your name: ")`。

3. if.- 英标：[ɪf]- 词性：连词（conj.）- 含义：用于条件判断。

例如：`if a > 10: print("a is greater than 10")`！4. else.- 英标：[els]- 词性：连词（conj.）- 含义：与if配合使用，在if条件不满足时执行相应代码。

例如：`if a > 10: print("a is greater than 10") else: print("a is not greater than 10")`！5. elif.- 英标：[el'ɪf]- 词性：连词（conj.）- 含义：是“else if”的缩写，用于多条件判断中的中间条件判断。

例如：`if a > 10: print("a is greater than 10") elif a == 10: print("a is equal to 10") else: print("a is less than 10")`！6. while.- 英标：[waɪl]- 词性：连词（conj.），在Python中也可视为一种循环控制结构的关键字（可写为特殊的v.表示执行循环操作）- 含义：用于创建循环，只要条件为真就会一直执行循环体中的代码。

Python学习路线图一、Python学习的四个阶段➢第一阶段该阶段首先通过介绍不同领域的三种操作系统，操作系统的发展简史以及Linux系统的文件目录结构让大家对Linux系统有一个简单的认识，同时知道为什么要学习Linux命令。

然后我们会正式学习Linux命令1. 文件和目录命令：ls，cd，touch，mkdir，rm2. 拷贝和移动命令：tree，cp，mv3. 文件内容命令：cat，more，grep4. 远程管理命令：ifconfig，ping，SSH的工作方式简介以及ssh命令5. 用户权限及用户管理命令：chmod，chgrp，useradd，passwd，userdel6. 软件安装及压缩命令：apt简介及命令，tar，gzip压缩命令，bzip2压缩命令7. vim的基本使用➢第二阶段该阶段我们正式进入Python这门语言的学习，首先通过了解Python语言的起源，Python语言的设计目标，Python语言的设计哲学，Python语言的优缺点和面向对象的基本概念，以及Python语言的执行方式，还有Python集成开发环境PyCharm的使用为我们接下来的学习做铺垫。

然后我们会学习int，string，float三种简单的变量类型，变量间的计算，变量的输入输出，if判断语句，while循环语句，for循环语句，break和continue 的使用，函数的基本使用，模块的使用，列表，元组，字典三种高级变量，字符串的常用操作。

接下来我们会通过一个名片管理系统的案例，把这一阶段的知识进行一个串联。

在学习名片管理系统时，首先我们会学习怎么去搭建这一系统的框架，然后我们会分别实现新增名片，显示全部名片，查询名片，删除名片，修改名片这些功能。

最后我们会学习语法的进阶内容，全局变量，局部变量，可变数据类型和不可变数据类型以及函数返回多个值，函数的缺省参数，多值参数，递归的基本使用。

➢第三阶段该阶段我们会学习面向对象（OOP）这一重要的编程思想，首先学习的知识点有类和对象的基本概念，dir函数，self的作用，初始化方法__init__，内置函数__str__，__del__，单继承，方法重写，私有属性和方法，多继承，多态，类属性，静态方法。

SparkMLib完整基础⼊门教程Spark MLib在Spark下进⾏机器学习，必然⽆法离开其提供的MLlib框架，所以接下来我们将以本框架为基础进⾏实际的讲解。

⾸先我们需要了解其中最基本的结构类型，即转换器、估计器、评估器和流⽔线。

graph LR A[转换器] --> B(估计器) B --> C(评估器) C --> D[模型]⾸先欢迎⼤家Start本⼈关于机器学习的，不仅仅包含了Spark ML还包括python下的sklearn等主流库。

⼀、基础使⽤接下来我们将以⼀个简单的例⼦为基础整体介绍在Spark下进⾏机器学习的使⽤⽅式，便于读者⼤体熟悉完整的流程节点。

当然在这其中对于部分不了解的情况下可以等在后续详细学习的过程中进⾏补充即可。

1. 特征⼯程这部分相关知识可以参考本⼈编写的的开源教程，其中对该部分进⾏详细的说明，下⾯我们将就框架提供的RFormula进⾏具体的实战操作（这⾥熟悉R语⾔的可能对此⽐较熟悉，本⾝就是借鉴了R语⾔，但是仅实现了其中的⼀个⼦集），对于我们需要进⾏特征化的数据⾸先我们需要定义对应的线性模型公式，具体如下。

Dataset<Row> df = session.read().json("sparkdemo/data/simple-ml");RFormula supervised = new RFormula().setFormula("lab ~ . + color: value1 + color: value2");当然仅仅通过上述的⽅式还不能实现对数据的特征化，我们还需要通过数据对其进⾏训练，从⽽得到我们所需的转换器，为此我们需要使⽤其中的fit⽅法进⾏转换。

RFormulaModel model = supervised.fit(df);完成转换器的训练后我们就可以利⽤其进⾏实际的转换操作，从⽽⽣成特征features与标签label列，当然读者也可以通过supervised.setLabelCol设置标签列名，supervised.setFeaturesCol设置特征列名。