sparksqlin

Spark SQL 是 Apache Spark 的模块，用于处理结构化数据。它提供了类似于传统数据库的接口和查询语言，并允许执行复杂的数据分析任务。

Spark SQL是Apache Spark中用于处理结构化数据的模块，它提供了类似于传统关系型数据库的接口和操作，数据加载和保存是Spark SQL中非常重要的部分，因为它涉及到数据从外部存储系统到Spark应用程序的输入输出过程。

数据加载

数据加载是指将存储在外部系统中的数据读取到Spark SQL中，以供后续的数据处理和分析使用，Spark SQL支持多种数据源，包括但不限于Parquet、JSON、JDBC等。

使用DataFrameReader加载数据

DataFrameReader是SparkSession的一个对象，用于从外部数据源读取数据，以下是一些常用的数据加载方法：

1、parquet: 用于读取Parquet格式的文件。

2、json: 用于读取JSON格式的文件。

3、jdbc: 用于从关系型数据库中读取数据。

4、text: 用于读取文本文件。

val spark = SparkSession.builder().appName("Data Loading Example").getOrCreate()
// 读取Parquet文件
val parquetDF = spark.read.parquet("path/to/parquet/file")
// 读取JSON文件
val jsonDF = spark.read.json("path/to/json/file")
// 从JDBC源读取数据
val jdbcDF = spark.read
  .format("jdbc")
  .option("url", "jdbc:mysql://localhost:3306/database")
  .option("dbtable", "table_name")
  .option("user", "username")
  .option("password", "password")
  .load()

数据保存

数据保存是将处理后的数据写回到外部存储系统中，Spark SQL同样支持多种数据格式的写入。

使用DataFrameWriter保存数据

DataFrameWriter是DataFrame的一个对象，用于将数据写入外部数据源，以下是一些常用的数据保存方法：

1、parquet: 将数据保存为Parquet格式的文件。

2、json: 将数据保存为JSON格式的文件。

3、jdbc: 将数据保存到关系型数据库中。

4、csv: 将数据保存为CSV格式的文件。

// 将DataFrame保存为Parquet文件
parquetDF.write.parquet("path/to/output/parquet")
// 将DataFrame保存为JSON文件
jsonDF.write.json("path/to/output/json")
// 将DataFrame保存到JDBC源
jdbcDF.write
  .format("jdbc")
  .option("url", "jdbc:mysql://localhost:3306/database")
  .option("dbtable", "table_name")
  .option("user", "username")
  .option("password", "password")
  .mode("overwrite")
  .save()