快速区分 spark 四种关联方式(结论适用于 sql)

置顶大数据/ Spark Spark 开发

创建时间:2018-01-09 11:20

字数:295

关联操作是 spark 或 sql 中常用的操作, 这里以 spark 为例,区别四种不同的 join 方式

#!/usr/bin/python3
# -*- coding utf-8 -*-
from pyspark import SparkContext

sc = SparkContext("local")

x = sc.parallelize([("a", 1), ("b", 4)])
y = sc.parallelize([("a", 2), ("a", 3), ("c", 5)])

print("join:", sorted(x.join(y).collect()))
print("leftOuterJoin:", sorted(x.leftOuterJoin(y).collect()))
print("rightOuterJoin:", sorted(x.rightOuterJoin(y).collect()))
print("fullOuterJoin:", sorted(x.fullOuterJoin(y).collect()))

输出:

          join: [('a', (1, 2)), ('a', (1, 3))]              
 leftOuterJoin: [('a', (1, 2)), ('a', (1, 3)), ('b', (4, None))]
rightOuterJoin: [('a', (1, 2)), ('a', (1, 3)), ('c', (None, 5))]
 fullOuterJoin: [('a', (1, 2)), ('a', (1, 3)), ('b', (4, None)), ('c', (None, 5))]

结论:

join (INNER JOIN)：如果两个rdd(sql表)中的数据有至少一个匹配，则返回行
leftOuterJoin (LEFT JOIN)：以左边的 rdd (左sql表) 为基准, 返回所有匹配的值,不能匹配的用 None 填充
rightOuterJoin (RIGHT JOIN)：以右边的 rdd (右sql表) 为基准, 返回所有匹配的值,不能匹配的用 None 填充
fullOuterJoin (FULL JOIN)：返回左右两个 rdd (两个 sql表) 所有的行, 不匹配的用 None 填充