---

Dataset

Dataset 是一个强类型，并且类型安全的数据容器，并且提供了结构化查询 API 和类似 RDD 一样的命令式 API 。

如下查询写法：

val spark: SparkSession = new sql.SparkSession.Builder().appName("hello").master("local[6]").getOrCreate()import spark.implicits._val dataset: Dataset[People] = spark.createDataset(Seq(People("zhangsan", 9), People("lisi", 15)))
// 方式1: 通过对象来处理
dataset.filter(item => item.age > 10).show()
// 方式2: 通过字段来处理
dataset.filter('age > 10).show()
// 方式3: 通过类似SQL的表达式来处理
dataset.filter("age > 10").show()

Dataset 底层（InternalRow）

Dataset 最底层处理的是对象的序列化形式，通过查看 Dataset 生成的物理执行计划，也就是最终处理的RDD，就可以判定 Dataset 底层处理的是什么形式的数据。

val dataset: Dataset[People] = spark.createDataset(Seq(People("zhangsan", 9), People("lisi", 15)))
val internalRDD: RDD[InternalRow] = dataset.queryExecution.toRdd

dataset.queryExecution.toRdd 这个 API 可以看到 Dataset 底层执行的 RDD，这个 RDD 中的范型是 InternalRow ，InternalRow 又称为 Catalyst Row ，是 Dataset 底层的数据结构，也就是说，无论 Dataset 的范型是什么，无论是 Dataset[Person] 还是其它的，其最底层进行处理的数据结构都是 InternalRow 。

所以， Dataset 的范型对象在执行之前，需要通过 Encoder 转换为 InternalRow，在输入之前，需要把 InternalRow 通过 Decoder 转换为范型对象。

• Dataset 是一个 Spark 组件，其底层还是 RDD 。
• Dataset 提供了访问对象中某个字段的能力，不用像 RDD 一样每次都要针对整个对象做操作。
• Dataset 和 RDD 不同，如果想把 Dataset[T] 转为 RDD[T]，则需要对 Dataset 底层的 InternalRow 做转换，是一个比较重量级的操作。

---

DataFrame

DataFrame 是 SparkSQL 中一个表示关系型数据库中 表 的函数式抽象，其作用是让 Spark 处理大规模结构化数据的时候更加容易，一般 DataFrame 可以处理结构化的数据，或者是半结构化的数据，因为这俩类数据中都可以获取到 Schema 信息，也就是说 DataFrame 中有 Schema 信息，可以像操作表一样操作 DataFrame 。

DataFrame 由两部分构成, 一是 row 的集合, 每个 row 对象表示一个行, 二是描述 DataFrame 结构的 Schema

DataFrame 支持 SQL 中常见的操作, 例如: select, filter, join, group, sort, join 等

---

通过隐式转换创建 DF

这种方式本质上是使用 SparkSession 中的隐式转换来进行的。

val spark: SparkSession = new sql.SparkSession.Builder().appName("hello").master("local[6]").getOrCreate()// 必须要导入隐式转换
// 注意: spark 在此处不是包, 而是 SparkSession 对象
import spark.implicits._val peopleDF: DataFrame = Seq(People("zhangsan", 15), People("lisi", 15)).toDF()

• toDF 方法可以在 RDD 和 Seq 中使用
• 通过集合创建 DataFrame 的时候, 集合中不仅可以包含样例类, 也可以只有普通数据类型, 后通过指定列名来创建。

val spark: SparkSession = new sql.SparkSession.Builder().appName("hello").master("local[6]").getOrCreate()import spark.implicits._val df1: DataFrame = Seq("nihao", "hello").toDF("text")/*
+-----+
| text|
+-----+
|nihao|
|hello|
+-----+*/
df1.show()val df2: DataFrame = Seq(("a", 1), ("b", 1)).toDF("word", "count")/*
+----+-----+
|word|count|
+----+-----+
|   a|    1|
|   b|    1|
+----+-----+*/
df2.show()

• 通过外部集合创建 DataFrame

val spark: SparkSession = new sql.SparkSession.Builder().appName("hello").master("local[6]").getOrCreate()val df = spark.read.option("header", true).csv("dataset/BeijingPM20100101_20151231.csv")
df.show(10)
df.printSchema()

• 不仅可以从 csv 文件创建 DataFrame, 还可以从 Table, JSON, Parquet 等中创建 DataFrame

总结：

• 1.DataFrame 是一个类似于关系型数据库表的函数式组件。
• 2.DataFrame 一般处理结构化数据和半结构化数据。
• 3.DataFrame 具有数据对象的 Schema 信息。
• 4.可以使用命令式的 API 操作 DataFrame, 同时也可以使用 SQL 操作 DataFrame。
• 5.DataFrame 可以由一个已经存在的集合直接创建, 也可以读取外部的数据源来创建。

---

---

Dataset 和 DataFrame 的异同

---

DataFrame 就是 Dataset[Row]

相同点：

• 1.Dataset 中可以使用列来访问数据，DataFrame 也可以
• 2.Dataset 的执行是优化的，DataFrame 也是
• 3.Dataset 具有命令式 API，同时也可以使用 SQL 来访问，DataFrame 也可以使用这俩种不同的方式访问

不同点：

• 1.DataFrame 表达的含义是一个支持函数式操作的 表，而 Dataset 表达是一个类似 RDD 的东西，Dataset 可以处理任何对象。
• 2.DataFrame 中所存放的是 Row 对象，而 Dataset 中可以存放任何类型对象。
  • DataFrame 就是 Dataset[Row]
  • Dataset 的范型可以是任意类型

val spark: SparkSession = new sql.SparkSession.Builder().appName("hello").master("local[6]").getOrCreate()import spark.implicits._val df: DataFrame = Seq(People("zhangsan", 15), People("lisi", 15)).toDF()       val ds: Dataset[People] = Seq(People("zhangsan", 15), People("lisi", 15)).toDS()

• 3.DataFrame 的操作方式和 Dataset 是一样的，但是对于强类型操作而言，他们处理的类型不同。

  • DataFrame 在进行强类型操作的时候，例如 map 算子，其所处理的数据类型永远是 Row
  • 但是对于 Dataset 来讲，其中是什么类型，他就处理什么类型

• 4.DataFrame 只能做到运行时类型检查，Dataset能做到编译和运行时都有类型检查。

  • 1.DataFrame 中存放的数据以 Row 表示，一个 Row 代表一行数据，这和关系型数据库类似
  • 2.DataFrame 在进行 map 等操作的时候，DataFrame 不能直接使用 Person 这样的 Scala 对象，所以无法做到编译时检查
  • 3.Dataset 表示的具体的某一类对象，例如 Person，所以再进行 map 等操作的时候，传入的是具体的某个 Scala 对象，如果调用错了方法，编译时就会被检查出来

---

Row 是什么？

• Row 对象表示的是一个 行
• Row 的操作类似于 Scala 中的 Map 数据类型

// 一个对象就是一个对象
val p = People(name = "zhangsan", age = 10)// 同样一个对象, 还可以通过一个 Row 对象来表示
val row = Row("zhangsan", 10)// 获取 Row 中的内容
println(row.get(1))
println(row(1))// 获取时可以指定类型
println(row.getAs[Int](1))// 同时 Row 也是一个样例类, 可以进行 match
row match {case Row(name, age) => println(name, age)
}

---

DataFrame 和 Dataset 之间的相互转换

代码演示：

val spark: SparkSession = new sql.SparkSession.Builder().appName("hello").master("local[6]").getOrCreate()import spark.implicits._val df: DataFrame = Seq(People("zhangsan", 15), People("lisi", 15)).toDF()
val ds_fdf: Dataset[People] = df.as[People]val ds: Dataset[People] = Seq(People("zhangsan", 15), People("lisi", 15)).toDS()
val df_fds: DataFrame = ds.toDF()

总结：

• 1.DataFrame 就是 Dataset, 他们的方式是一样的, 也都支持 API 和 SQL 两种操作方式
• 2.DataFrame 只能通过表达式的形式, 或者列的形式来访问数据, 只有 Dataset 支持针对于整个对象的操作
• 3.DataFrame 中的数据表示为 Row, 是一个行的概念