Python是一种高级编程语言，它支持许多编程范式，包括面向对象、过程和函数编程。Python条件语句是一种控制语句，可以根据不同的条件执行不同的操作。Pyspark是一个用于大规模数据处理的分布式计算框架，它提供了强大的数据过滤功能，使得数据处理变得更加简单和高效。在本文中，我们将重点关注Python条件语句和Pyspark的数据过滤。
一、条件语句
Python条件语句是控制程序流程的一种方式，它根据不同的条件执行不同的代码块。Python中常用的条件语句包括if语句、if-else语句、if-elif-else语句。
1. if语句
x = 10
if x > 5:
print("x大于5")
输出结果：
x大于5
if语句的语法格式为：
if expression:
statement(s)
其中，expression为True时，执行后面的语句，否则跳过执行。
2. if-else语句
x = 3
if x > 5:
print("x大于5")
else:
print("x小于等于5")
输出结果：
x小于等于5
if-else语句的语法格式为：
if expression:
statement(s)
else:
statement(s)
其中，expression为True时，执行第一个语句块，否则执行第二个语句块。
3. if-elif-else语句
x = 3
if x > 5:
print("x大于5")
elif x > 0 and x <= 5:
print("x大于0小于等于5")
else:
print("x小于等于0")
输出结果：
x大于0小于等于5
if-elif-else语句的语法格式为：
if expression1:
statement(s)
elif expression2:
statement(s)
else:
statement(s)
其中，expression1为True时，执行第一个语句块，否则判断expression2的值，为True时，执行第二个语句块，否则执行第三个语句块。
二、Pyspark数据过滤
Pyspark是一个用于大规模数据处理的分布式计算框架，它提供了强大的数据过滤功能。在Pyspark中，可以使用filter()函数过滤数据，根据指定的条件选择需要的数据。
1. 过滤字符串
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("filterString").getOrCreate()
data = [("Alice", "female", 25),
("Bob", "male", 30),
("Mike", "male", 22),
("Grace", "female", 27)]
df = spark.createDataFrame(data, ["name", "gender", "age"])
result = df.filter(df.gender == "female")
result.show()
输出结果：
+-----+------+---+
| name|gender|age|
+-----+------+---+
|Alice|female| 25|
|Grace|female| 27|
+-----+------+---+
上述代码中，我们创建了一个SparkSession对象，使用createDataFrame()构造了一份数据，然后使用filter()函数过滤出性别为女性的记录。
2. 过滤数字
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("filterNumber").getOrCreate()
data = [("Alice", "female", 25),
("Bob", "male", 30),
("Mike", "male", 22),
("Grace", "female", 27)]
df = spark.createDataFrame(data, ["name", "gender", "age"])
result = df.filter(df.age > 25)
result.show()
输出结果：
+-----+------+---+
| name|gender|age|
+-----+------+---+
| Bob| male| 30|
|Grace|female| 27|
+-----+------+---+
上述代码中，我们使用filter()函数过滤出年龄大于25岁的记录。
3. 过滤日期
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
spark = SparkSession.builder.appName("filterDate").getOrCreate()
data = [("2022-01-01", "Alice", "female", 25),
("2021-12-31", "Bob", "male", 30),
("2022-03-01", "Mike", "male", 22),
("2022-05-01", "Grace", "female", 27)]
df = spark.createDataFrame(data, ["date", "name", "gender", "age"])
result = df.filter(to_date(df.date) >= "2022-02-01")
result.show()
输出结果：
+----------+-----+------+---+
| date| name|gender|age|
+----------+-----+------+---+
|2022-03-01| Mike| male| 22|
|2022-05-01|Grace|female| 27|
+----------+-----+------+---+
上述代码中，我们使用filter()函数过滤出日期在2022年2月1日及以后的记录。
结语
本文介绍了Python条件语句和Pyspark数据过滤功能，通过实例代码讲解了如何使用if语句、if-else语句、if-elif-else语句控制程序流程，以及如何在Pyspark中使用filter()函数过滤数据。掌握这些知识，有助于提高Python编程和大规模数据处理的能力。
原创文章，作者：TYJQ，如若转载，请注明出处：https://www.506064.com/n/138126.html
微信扫一扫 
支付宝扫一扫 