一、http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.Dataset

二、个论

1. describe

Computes basic statistics for numeric and string columns, including count, mean, stddev, min, and max.

2.first=head()=head(1) 取第一行，不是第一列，返回ROW类型

Returns the first row.

3.get(num) 根据列序号取值

4.select

1. select传入字符串类型的列名时，只能传入列名，不能传入列的计算表达式，比如colA + 1，并且必须传入1个单独的列名，后面才能直接传参数序列。如果传入的是Column，则可以直接传入参数序列。
   注意：不能直接像java那样用数组匹配可变参数，要在集合后面加 :_* 才行，否则spark会把整个集合当成列名。
2. 如果是用Column类型的集合，就可以直接传入一个参数序列。此处不知为何这样设计？？？

val targetFields = evaluator.getTargetFields.toList.map(_.getFieldName.toString)
val outputFields = evaluator.getOutputFields.toList.map(_.getFieldName.toString)
//这里必须2个参数，args0必须单独设1个列名，不知为何？？？
val resultDF: DataFrame = transformer.transform(df).select(colmnName,targetFields ++ outputFields : _ *)val targetFields1 = evaluator.getTargetFields.toList.map(old => col(old.getFieldName.toString))
val outputFields1 = evaluator.getOutputFields.toList.map(old => col(old.getFieldName.toString))
//如果是Column类型的重载，就可以直接传入参数序列
val resultDF1: DataFrame = transformer.transform(df).select(col(colmnName) +: targetFields1 ::: outputFields1 : _ *)

5.取列名

val columnName = ss.sql(desc $tableName).first.get(0)
where $columnName != ‘$columnName’
lower($columnName) NOT LIKE %$columnName%

6.sql中进行大小写忽略比较

lower(字段) NOT LIKE %‘xxx’%