要创建一个
SparkSession
,仅仅使用SparkSession.builder
即可:Builder
用于创建SparkSession
,它的方法有(这些方法都返回self
):-
name
:一个字符串,表示程序的名字
-
master=local
:表示单机本地运行master=local[4]
:表示单机本地4核运行master=spark://master:7077
:表示在一个spark standalone cluster
上运行
.getOrCreate()
:返回一个已有的SparkSession
实例;如果没有则基于当前builder
的配置,创建一个新的SparkSession
实例- 如果已有一个有效的全局默认
SparkSession
实例,则当前builder
的配置将应用到该实例上
- 如果已有一个有效的全局默认
-