导读

这一章节主要目的是介绍 Dataset 的基础操作, 当然, DataFrame 就是 Dataset, 所以这些操作大部分也适用于 DataFrame

1,有类型的转换操作

2,无类型的转换操作

3,基础 Action

4,空值如何处理

5,统计操作

文章目录

  • 有类型转换操作
    • flatMap
    • map
    • mapPartitions
    • transform
    • as
    • filter
    • groupByKey
    • randomSplit
    • sample
    • orderBy
    • sort
    • coalesce
    • repartitions
    • dropDuplicates
    • distinct
    • except
    • intersect
    • union
    • limit
  • 无类型转换操作
    • select
    • selectExpr
    • withColumn
    • withColumnRenamed
    • drop
    • groupBy
  • Column 对象
  • 缺失值处理

有类型转换操作

flatMap

通过 flatMap 可以将一条数据转为一个数组, 后再展开这个数组放入 Dataset

 //flatmapval ds1 = Seq("hello spark", "hello hadoop").toDSds1.flatMap( x => x.split(" ")).show()

map

map 可以将数据集中每条数据转为另一种形式

case class Person(name:String,age:Int)//mapval ds2 = Seq(Person("zhangsan", 20), Person("lisi", 15)).toDS()ds2.map( x => Person(x.name,x.age * 2 )).show()

mapPartitions

mapPartitions 和 map 一样, 但是 map 的处理单位是每条数据, mapPartitions 的处理单位是每个分区

//mapval ds2 = Seq(Person("zhangsan", 20), Person("lisi", 15)).toDS()ds2.map( x => Person(x.name,x.age * 2 )).show()//mapPartitionsds2.mapPartitions{x =>{//x不能大到没个Executor的内存放不下,不然就会OOM//对每个元素进心转换,后生成一个新的的集合//这个map是Scala的mapval result = x.map(x => Person(x.name, x.age * 2))result}}.show()

transform

map 和 mapPartitions 以及 transform 都是转换, map 和 mapPartitions 是针对数据, 而 transform 是针对整个数据集, 这种方式最大的区别就是 transform 可以直接拿到 Dataset 进行操作
在这里插入图片描述

val ds = spark.range(10)ds.transform(x => x.withColumn("doubled",'id * 2)).show()}

as

as[Type] 算子的主要作用是将弱类型的 Dataset 转为强类型的 Dataset, 它有很多适用场景, 但是最常见的还是在读取数据的时候, 因为 DataFrameReader 体系大部分情况下是将读出来的数据转换为 DataFrame 的形式, 如果后续需要使用 Dataset 的强类型 API, 则需要将 DataFrame 转为 Dataset. 可以使用 as[Type] 算子完成这种操作

  @Testdef as(): Unit ={val schema = StructType{List(StructField("name",StringType),StructField("age",IntegerType),StructField("gpa",FloatType))}val path = "E:\\Project\\Spark\\spark-sql\\input\\studenttab10k"val df: Dataset[Row] = spark.read.schema(schema).option("header",true).option("delimiter", "\t").csv(path)//转换val ds: Dataset[Student] = df.as[Student]ds.show()    }
case class Student(name:String,age:Int,gpa:Float)

filter

filter 用来按照条件过滤数据集

case class Person(name:String,age:Int)@Testdef filters(): Unit ={val ds2 = Seq(Person("zhangsan", 20), Person("lisi", 15)).toDS()ds2.filter (x => x.age > 15).show()}

groupByKey

grouByKey 算子的返回结果是 KeyValueGroupedDataset, 而不是一个 Dataset, 所以必须要先经过 KeyValueGroupedDataset 中的方法进行聚合, 再转回 Dataset, 才能使用 Action 得出结果

其实这也印证了分组后必须聚合的道理

case class Person(name:String,age:Int)@Testdef groupByKey(): Unit ={val ds = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDS//select count(*) from person group by nameval grouped: KeyValueGroupedDataset[String, Person] = ds.groupByKey(x => x.name)grouped.count().show()}

randomSplit

randomSplit 会按照传入的权重随机将一个 Dataset 分为多个 Dataset, 传入 randomSplit 的数组有多少个权重, 最终就会生成多少个 Dataset, 这些权重的加倍和应该为 1, 否则将被标准化

 @Testdef split(): Unit ={val ds = spark.range(15)//randomSplit 切多少分,权重多少val datasets: Array[Dataset[lang.Long]] = ds.randomSplit(Array(5, 2, 3))datasets.foreach(_.show())//sampleds.sample(withReplacement = false,fraction = 0.4).show()}

sample

sample 会随机在 Dataset 中抽样

 @Testdef split(): Unit ={val ds = spark.range(15)//randomSplit 切多少分,权重多少val datasets: Array[Dataset[lang.Long]] = ds.randomSplit(Array(5, 2, 3))datasets.foreach(_.show())//sampleds.sample(withReplacement = false,fraction = 0.4).show()}

orderBy

orderBy 配合 Column 的 API, 可以实现正反序排列

case class Person(name:String,age:Int)@Testdef sort(): Unit ={val ds = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDSds.orderBy('name.desc).show()println("----------")ds.sort('age.asc).show()}

sort

其实 orderBy 是 sort 的别名, 所以它们所实现的功能是一样的

case class Person(name:String,age:Int)@Testdef sort(): Unit ={val ds = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDSds.orderBy('name.desc).show()println("----------")ds.sort('age.asc).show()}

coalesce

减少分区, 此算子和 RDD 中的 coalesce 不同, Dataset 中的 coalesce 只能减少分区数, coalesce 会直接创建一个逻辑操作, 并且设置 Shuffle 为 false

val ds = spark.range(15)
ds.coalesce(1).explain(true)

repartitions

repartitions 有两个作用, 一个是重分区到特定的分区数, 另一个是按照某一列来分区, 类似于 SQL 中的 DISTRIBUTE BY

case class Person(name:String,age:Int)
val ds = Seq(Person("zhangsan", 12), Person("zhangsan", 8), Person("lisi", 15)).toDS()
ds.repartition(4)
ds.repartition('name)

dropDuplicates

使用 dropDuplicates 可以去掉某一些列中重复的行

case class Person(name:String,age:Int)@Testdef dropDuplicates(): Unit ={val ds = spark.createDataset(Seq(Person("zhangsan", 15), Person("lisi", 15), Person("zhangsan", 15)))ds.distinct().show()println("-------------")ds.dropDuplicates("age").show()}

distinct

当 dropDuplicates 中没有传入列名的时候, 其含义是根据所有列去重, dropDuplicates() 方法还有一个别名, 叫做 distinct

在这里插入图片描述
所以, 使用 distinct 也可以去重, 并且只能根据所有的列来去重

case class Person(name:String,age:Int)@Testdef dropDuplicates(): Unit ={val ds = spark.createDataset(Seq(Person("zhangsan", 15), Person("lisi", 15), Person("zhangsan", 15)))ds.distinct().show()println("-------------")ds.dropDuplicates("age").show()}

except

except 和 SQL 语句中的 except 一个意思, 是求得 ds1 中不存在于 ds2 中的数据, 其实就是差集

val ds1 = spark.range(1, 10)
val ds2 = spark.range(5, 15)ds1.except(ds2).show()

intersect

求得两个集合的交集

val ds1 = spark.range(1, 10)
val ds2 = spark.range(5, 15)ds1.intersect(ds2).show()

union

求得两个集合的并集

val ds1 = spark.range(1, 10)
val ds2 = spark.range(5, 15)ds1.union(ds2).show()

limit

限制结果集数量

val ds = spark.range(1, 10)
ds.limit(3).show()

无类型转换操作

select

select 用来选择某些列出现在结果集中

case class Person(name:String,age:Int)@Testdef select(): Unit ={val ds = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDSds.select('name).show()ds.selectExpr("sum(age)").show()println("----------------")ds.select(expr("sum(age)")).show()}

selectExpr

在 SQL 语句中, 经常可以在 select 子句中使用 count(age), rand() 等函数, 在 selectExpr 中就可以使用这样的 SQL 表达式, 同时使用 select 配合 expr 函数也可以做到类似的效果

case class Person(name:String,age:Int)@Testdef select(): Unit ={val ds = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDSds.select('name).show()ds.selectExpr("sum(age)").show()println("----------------")ds.select(expr("sum(age)")).show()}

withColumn

通过 Column 对象在 Dataset 中创建一个新的列或者修改原来的列

case class Person(name:String,age:Int)@Testdef column(): Unit ={val ds = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDS//如果想使用函数功能//1.使用functions.xx//2.使用表达式,可以使用expr("..."),随时随地编写表达式ds.withColumn("random",expr("rand()")).show()ds.withColumn("name_new",'name).show()ds.withColumn("name_jdk",'name === "" ).show()ds.withColumnRenamed("name","new_name").show()}

withColumnRenamed

修改列名

case class Person(name:String,age:Int)@Testdef column(): Unit ={val ds = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDS//如果想使用函数功能//1.使用functions.xx//2.使用表达式,可以使用expr("..."),随时随地编写表达式ds.withColumn("random",expr("rand()")).show()ds.withColumn("name_new",'name).show()ds.withColumn("name_jdk",'name === "" ).show()ds.withColumnRenamed("name","new_name").show()}

drop

剪掉某个列

import spark.implicits._
case class Person(name:String,age:Int)
val ds = Seq(Person("zhangsan", 12), Person("zhangsan", 8), Person("lisi", 15)).toDS()
ds.drop('age).show()

groupBy

按照给定的行进行分组

case class Person(name:String,age:Int)
@Testdef groupBy(): Unit ={val ds = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDS//为什么GroupByKey是有类型的,最主要原因是因为 GroupByKey 生成的对象的算子是有类型的//为什么GroupBy是无类型的,因为GroupBy生成的对象的算子是无类型的,针对列进行处理的ds.groupBy('name).agg(mean("age")).show()}

Column 对象

导读

Column 表示了 Dataset 中的一个列, 并且可以持有一个表达式, 这个表达式作用于每一条数据, 对每条数据都生成一个值, 之所以有单独这样的一个章节是因为列的操作属于细节, 但是又比较常见, 会在很多算子中配合出现

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

全套代码展示:

package com.spark.transformationimport com.spark.Person
import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql
import org.apache.spark.sql.{ColumnName, DataFrame, Dataset, SparkSession}
import org.junit.Testclass Column {Logger.getLogger("org").setLevel(Level.ERROR)val spark: SparkSession = SparkSession.builder().master("local[6]").appName(this.getClass.getSimpleName).getOrCreate()import spark.implicits._import org.apache.spark.sql.functions._@Testdef creation(): Unit ={val ds: Dataset[Person] = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDSval df: DataFrame = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDF//1. 'val column:Symbol = 'name//2. $val column1: ColumnName = $"name"//3. col (必须导入functions)import org.apache.spark.sql.functions._val column2: sql.Column = col("name")//4. column (必须导入functions)val column3: sql.Column = column("name")/*** 这四种创建方式有关联的DataSet么*/ds.select(column).show()//DataSet可以 DataFrame 可以使用 column 对象选中行吗df.select(column).show()//select 方法可以使用column 对象来选中某个列,那么其他的算子行么df.where(column === "zhangsan").show()/*** column 有几个创建方式? -> 四种* column 对象可以用作与DataSet 和 DataFrame 中* column 可以和命令式的弱类型的API 配合使用select where**///5. dataset.colval column4 = ds.col("name")val column5 = df.col("name")//报错//ds.select(column5).show()//为什么要和dataset 来绑定呢// ds.join(df,ds.col("name") === df.col("name"))//6.dataset.appleval column6 = ds.apply("name")val column7 = ds("name")}@Testdef as(): Unit ={val ds: Dataset[Person] = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDSds.select ('name as "new_name").show()ds.select('age.as[Long]).show()}@Testdef api(): Unit ={val ds: Dataset[Person] = Seq(Person("zhangsan", 20),Person("zhangsan", 18), Person("lisi", 15)).toDS//需求一:ds增加列,双倍年龄// age*2 其实本质上就是是将一个表达式(逻辑计划表达式) 附着到column对象上//表达式在执行的时候对应每一条数据进行操作ds.withColumn("doubled",'age * 2).show()//需求二:模糊查询//select * from table where name like zhang%ds.where('name like "zhang%")//需求三:排序,正反序ds.sort('age asc).show()//需求四:枚举判断ds.where('name isin("zhangsan","wangwu","zhaoliu")).show()}
}
case class Person(name:String,age:Int)

缺失值处理

导读

1,DataFrame 中什么时候会有无效值
2,DataFrame 如何处理无效的值
3,DataFrame 如何处理 null

缺失值的处理思路

如果想探究如何处理无效值, 首先要知道无效值从哪来, 从而分析可能产生的无效值有哪些类型, 在分别去看如何处理无效值

什么是缺失值

一个值本身的含义是这个值不存在则称之为缺失值, 也就是说这个值本身代表着缺失, 或者这个值本身无意义, 比如说 null, 比如说空字符串

在这里插入图片描述
关于数据的分析其实就是统计分析的概念, 如果这样的话, 当数据集中存在缺失值, 则无法进行统计和分析, 对很多操作都有影响

缺失值如何产生的

在这里插入图片描述

Spark 大多时候处理的数据来自于业务系统中, 业务系统中可能会因为各种原因, 产生一些异常的数据

例如说因为前后端的判断失误, 提交了一些非法参数. 再例如说因为业务系统修改 MySQL 表结构产生的一些空值数据等. 总之在业务系统中出现缺失值其实是非常常见的一件事, 所以大数据系统就一定要考虑这件事.

缺失值的类型

常见的缺失值有两种

  • null, NaN 等特殊类型的值, 某些语言中 null 可以理解是一个对象, 但是代表没有对象, NaN 是一个数字, 可以代表不是数字

针对这一类的缺失值, Spark 提供了一个名为 DataFrameNaFunctions 特殊类型来操作和处理

  • “Null”, “NA”, " " 等解析为字符串的类型, 但是其实并不是常规字符串数据

针对这类字符串, 需要对数据集进行采样, 观察异常数据, 总结经验, 各个击破

DataFrameNaFunctions

DataFrameNaFunctions 使用 Dataset 的 na 函数来获取

val df = ...
val naFunc: DataFrameNaFunctions = df.na

当数据集中出现缺失值的时候, 大致有两种处理方式, 一个是丢弃, 一个是替换为某值, DataFrameNaFunctions 中包含一系列针对空值数据的方案

  • DataFrameNaFunctions.drop 可以在当某行中包含 null 或 NaN 的时候丢弃此行
  • DataFrameNaFunctions.fill 可以在将 null 和 NaN 充为其它值
  • DataFrameNaFunctions.replace 可以把 null 或 NaN 替换为其它值, 但是和 fill 略有一些不同, 这个方法针对值来进行替换

如何使用 SparkSQL 处理 null 和 NaN ?

首先要将数据读取出来, 此次使用的数据集直接存在 NaN, 在指定 Schema 后, 可直接被转为 Double.NaN

val schema = StructType(List(StructField("id", IntegerType),StructField("year", IntegerType),StructField("month", IntegerType),StructField("day", IntegerType),StructField("hour", IntegerType),StructField("season", IntegerType),StructField("pm", DoubleType))
)val df = spark.read.option("header", value = true).schema(schema).csv("input/beijingpm_with_nan.csv")

对于缺失值的处理一般就是丢弃和填充

丢弃包含 null 和 NaN 的行

当某行数据所有值都是 null 或者 NaN 的时候丢弃此行

df.na.drop("all").show()

当某行中特定列所有值都是 null 或者 NaN 的时候丢弃此行

df.na.drop("all", List("pm", "id")).show()

当某行数据任意一个字段为 null 或者 NaN 的时候丢弃此行

df.na.drop().show()
df.na.drop("any").show()

当某行中特定列任意一个字段为 null 或者 NaN 的时候丢弃此行

df.na.drop(List("pm", "id")).show()
df.na.drop("any", List("pm", "id")).show()

填充包含 null 和 NaN 的列

填充所有包含 null 和 NaN 的列

df.na.fill(0).show()

填充特定包含 null 和 NaN 的列

df.na.fill(0, List("pm")).show()

根据包含 null 和 NaN 的列的不同来填充

import scala.collection.JavaConverters._df.na.fill(Map[String, Any]("pm" -> 0).asJava).show

如何使用 SparkSQL 处理异常字符串 ?

读取数据集, 这次读取的是最原始的那个 PM 数据集

val df = spark.read.option("header", value = true).csv("dataset/BeijingPM20100101_20151231.csv")

使用函数直接转换非法的字符串

df.select('No as "id", 'year, 'month, 'day, 'hour, 'season,when('PM_Dongsi === "NA", 0).otherwise('PM_Dongsi cast DoubleType).as("pm")).show()

使用 where 直接过滤

df.select('No as "id", 'year, 'month, 'day, 'hour, 'season, 'PM_Dongsi).where('PM_Dongsi =!= "NA").show()

使用 DataFrameNaFunctions 替换, 但是这种方式被替换的值和新值必须是同类型

df.select('No as "id", 'year, 'month, 'day, 'hour, 'season, 'PM_Dongsi).na.replace("PM_Dongsi", Map("NA" -> "NaN")).show()

全套代码如下:

数据准备:(beijingpm_with_nan.csv)

id,year,month,day,hour,season,pm
1,2010,1,1,0,4,NaN
2,2010,1,1,1,4,NaN
3,2010,1,1,2,4,NaN
4,2010,1,1,3,4,NaN
5,2010,1,1,4,4,NaN
6,2010,1,1,5,4,NaN
7,2010,1,1,6,4,NaN
8,2010,1,1,7,4,NaN
9,2010,1,1,8,4,NaN
10,2010,1,1,9,4,NaN
11,2010,1,1,10,4,NaN
12,2010,1,1,11,4,NaN
13,2010,1,1,12,4,NaN
14,2010,1,1,13,4,NaN
15,2010,1,1,14,4,NaN
16,2010,1,1,15,4,NaN
17,2010,1,1,16,4,NaN
18,2010,1,1,17,4,NaN
19,2010,1,1,18,4,NaN
20,2010,1,1,19,4,NaN
21,2010,1,1,20,4,NaN
22,2010,1,1,21,4,NaN
23,2010,1,1,22,4,NaN
24,2010,1,1,23,4,NaN
25,2010,1,2,0,4,NaN
26,2010,1,2,1,4,NaN
27,2010,1,2,2,4,NaN
28,2010,1,2,3,4,NaN
29,2010,1,2,4,4,NaN
30,2010,1,2,5,4,NaN
31,2010,1,2,6,4,NaN
32,2010,1,2,7,4,NaN
33,2010,1,2,8,4,NaN
34,2010,1,2,9,4,NaN
35,2010,1,2,10,4,NaN
36,2010,1,2,11,4,NaN
37,2010,1,2,12,4,NaN
38,2010,1,2,13,4,NaN
39,2010,1,2,14,4,NaN
40,2010,1,2,15,4,NaN
41,2010,1,2,16,4,NaN
42,2010,1,2,17,4,NaN
43,2010,1,2,18,4,NaN
44,2010,1,2,19,4,NaN
45,2010,1,2,20,4,NaN
46,2010,1,2,21,4,NaN
47,2010,1,2,22,4,NaN
48,2010,1,2,23,4,NaN
49,2010,1,3,0,4,NaN
50,2010,1,3,1,4,NaN
51,2010,1,3,2,4,NaN
52,2010,1,3,3,4,NaN
53,2010,1,3,4,4,NaN
54,2010,1,3,5,4,NaN
55,2010,1,3,6,4,NaN
56,2010,1,3,7,4,NaN
57,2010,1,3,8,4,NaN
58,2010,1,3,9,4,NaN
59,2010,1,3,10,4,NaN
60,2010,1,3,11,4,NaN
61,2010,1,3,12,4,NaN
62,2010,1,3,13,4,NaN
63,2010,1,3,14,4,NaN
64,2010,1,3,15,4,NaN
65,2010,1,3,16,4,NaN
66,2010,1,3,17,4,NaN
67,2010,1,3,18,4,NaN
68,2010,1,3,19,4,NaN
69,2010,1,3,20,4,NaN
70,2010,1,3,21,4,NaN
71,2010,1,3,22,4,NaN
72,2010,1,3,23,4,NaN
73,2010,1,4,0,4,NaN
74,2010,1,4,1,4,NaN
75,2010,1,4,2,4,NaN
76,2010,1,4,3,4,NaN
77,2010,1,4,4,4,NaN
78,2010,1,4,5,4,NaN
79,2010,1,4,6,4,NaN
80,2010,1,4,7,4,NaN
81,2010,1,4,8,4,NaN
82,2010,1,4,9,4,NaN
83,2010,1,4,10,4,NaN
84,2010,1,4,11,4,NaN
85,2010,1,4,12,4,NaN
86,2010,1,4,13,4,NaN
87,2010,1,4,14,4,NaN
88,2010,1,4,15,4,NaN
89,2010,1,4,16,4,NaN
90,2010,1,4,17,4,NaN
91,2010,1,4,18,4,NaN
92,2010,1,4,19,4,NaN
93,2010,1,4,20,4,NaN
94,2010,1,4,21,4,NaN
95,2010,1,4,22,4,NaN
96,2010,1,4,23,4,NaN
97,2010,1,5,0,4,NaN
98,2010,1,5,1,4,NaN
99,2010,1,5,2,4,NaN
100,2010,1,5,3,4,NaN
101,2010,1,5,4,4,NaN
102,2010,1,5,5,4,NaN
103,2010,1,5,6,4,NaN
104,2010,1,5,7,4,NaN
105,2010,1,5,8,4,NaN
106,2010,1,5,9,4,NaN
107,2010,1,5,10,4,NaN
108,2010,1,5,11,4,NaN
109,2010,1,5,12,4,NaN
110,2010,1,5,13,4,NaN
111,2010,1,5,14,4,NaN
112,2010,1,5,15,4,NaN
113,2010,1,5,16,4,NaN
114,2010,1,5,17,4,NaN
115,2010,1,5,18,4,NaN
116,2010,1,5,19,4,NaN
117,2010,1,5,20,4,NaN
118,2010,1,5,21,4,NaN
119,2010,1,5,22,4,NaN
120,2010,1,5,23,4,NaN
121,2010,1,6,0,4,NaN
122,2010,1,6,1,4,NaN
123,2010,1,6,2,4,NaN
124,2010,1,6,3,4,NaN
125,2010,1,6,4,4,NaN
126,2010,1,6,5,4,NaN
127,2010,1,6,6,4,NaN
128,2010,1,6,7,4,NaN
129,2010,1,6,8,4,NaN
130,2010,1,6,9,4,NaN
131,2010,1,6,10,4,NaN
132,2010,1,6,11,4,NaN
133,2010,1,6,12,4,NaN
134,2010,1,6,13,4,NaN
135,2010,1,6,14,4,NaN
136,2010,1,6,15,4,NaN
137,2010,1,6,16,4,NaN
138,2010,1,6,17,4,NaN
139,2010,1,6,18,4,NaN
140,2010,1,6,19,4,NaN
141,2010,1,6,20,4,NaN
142,2010,1,6,21,4,NaN
143,2010,1,6,22,4,NaN
144,2010,1,6,23,4,NaN
145,2010,1,7,0,4,NaN
146,2010,1,7,1,4,NaN
147,2010,1,7,2,4,NaN
148,2010,1,7,3,4,NaN
149,2010,1,7,4,4,NaN
150,2010,1,7,5,4,NaN
151,2010,1,7,6,4,NaN
152,2010,1,7,7,4,NaN
153,2010,1,7,8,4,NaN
154,2010,1,7,9,4,NaN
155,2010,1,7,10,4,NaN
156,2010,1,7,11,4,NaN
157,2010,1,7,12,4,NaN
158,2010,1,7,13,4,NaN
159,2010,1,7,14,4,NaN
160,2010,1,7,15,4,NaN
161,2010,1,7,16,4,NaN
162,2010,1,7,17,4,NaN
163,2010,1,7,18,4,NaN
164,2010,1,7,19,4,NaN
165,2010,1,7,20,4,NaN
166,2010,1,7,21,4,NaN
167,2010,1,7,22,4,NaN
168,2010,1,7,23,4,NaN
169,2010,1,8,0,4,NaN
170,2010,1,8,1,4,NaN
171,2010,1,8,2,4,NaN
172,2010,1,8,3,4,NaN
173,2010,1,8,4,4,NaN
174,2010,1,8,5,4,NaN
175,2010,1,8,6,4,NaN
176,2010,1,8,7,4,NaN
177,2010,1,8,8,4,NaN
178,2010,1,8,9,4,NaN
179,2010,1,8,10,4,NaN
180,2010,1,8,11,4,NaN
181,2010,1,8,12,4,NaN
182,2010,1,8,13,4,NaN
183,2010,1,8,14,4,NaN
184,2010,1,8,15,4,NaN
185,2010,1,8,16,4,NaN
186,2010,1,8,17,4,NaN
187,2010,1,8,18,4,NaN
188,2010,1,8,19,4,NaN
189,2010,1,8,20,4,NaN
190,2010,1,8,21,4,NaN
191,2010,1,8,22,4,NaN
192,2010,1,8,23,4,NaN
193,2010,1,9,0,4,NaN
194,2010,1,9,1,4,NaN
195,2010,1,9,2,4,NaN
196,2010,1,9,3,4,NaN
197,2010,1,9,4,4,NaN
198,2010,1,9,5,4,NaN
199,2010,1,9,6,4,NaN

(BeijingPM20100101_20151231.csv)

No,year,month,day,hour,season,PM_Dongsi,PM_Dongsihuan,PM_Nongzhanguan,PM_US_Post,DEWP,HUMI,PRES,TEMP,cbwd,Iws,precipitation,Iprec
1,2010,1,1,0,4,NA,NA,NA,NA,-21,43,1021,-11,NW,1.79,0,0
2,2010,1,1,1,4,NA,NA,NA,NA,-21,47,1020,-12,NW,4.92,0,0
3,2010,1,1,2,4,NA,NA,NA,NA,-21,43,1019,-11,NW,6.71,0,0
4,2010,1,1,3,4,NA,NA,NA,NA,-21,55,1019,-14,NW,9.84,0,0
5,2010,1,1,4,4,NA,NA,NA,NA,-20,51,1018,-12,NW,12.97,0,0
6,2010,1,1,5,4,NA,NA,NA,NA,-19,47,1017,-10,NW,16.1,0,0
7,2010,1,1,6,4,NA,NA,NA,NA,-19,44,1017,-9,NW,19.23,0,0
8,2010,1,1,7,4,NA,NA,NA,NA,-19,44,1017,-9,NW,21.02,0,0
9,2010,1,1,8,4,NA,NA,NA,NA,-19,44,1017,-9,NW,24.15,0,0
10,2010,1,1,9,4,NA,NA,NA,NA,-20,37,1017,-8,NW,27.28,0,0
11,2010,1,1,10,4,NA,NA,NA,NA,-19,37,1017,-7,NW,31.3,0,0
12,2010,1,1,11,4,NA,NA,NA,NA,-18,35,1017,-5,NW,34.43,0,0
13,2010,1,1,12,4,NA,NA,NA,NA,-19,32,1015,-5,NW,37.56,0,0
14,2010,1,1,13,4,NA,NA,NA,NA,-18,30,1015,-3,NW,40.69,0,0
15,2010,1,1,14,4,NA,NA,NA,NA,-18,28,1014,-2,NW,43.82,0,0
16,2010,1,1,15,4,NA,NA,NA,NA,-18,26,1014,-1,cv,0.89,0,0
17,2010,1,1,16,4,NA,NA,NA,NA,-19,25,1015,-2,NW,1.79,0,0
18,2010,1,1,17,4,NA,NA,NA,NA,-18,30,1015,-3,NW,2.68,0,0
19,2010,1,1,18,4,NA,NA,NA,NA,-18,35,1016,-5,NE,1.79,0,0
20,2010,1,1,19,4,NA,NA,NA,NA,-17,35,1017,-4,NW,1.79,0,0
21,2010,1,1,20,4,NA,NA,NA,NA,-17,38,1017,-5,cv,0.89,0,0
22,2010,1,1,21,4,NA,NA,NA,NA,-17,38,1018,-5,NW,1.79,0,0
23,2010,1,1,22,4,NA,NA,NA,NA,-17,38,1018,-5,NW,2.68,0,0
24,2010,1,1,23,4,NA,NA,NA,129,-17,41,1020,-5,cv,0.89,0,0
25,2010,1,2,0,4,NA,NA,NA,148,-16,38,1020,-4,SE,1.79,0,0
26,2010,1,2,1,4,NA,NA,NA,159,-15,42,1020,-4,SE,2.68,0,0
27,2010,1,2,2,4,NA,NA,NA,181,-11,63.5,1021,-5,SE,3.57,0,0
28,2010,1,2,3,4,NA,NA,NA,138,-7,85,1022,-5,SE,5.36,0,0
29,2010,1,2,4,4,NA,NA,NA,109,-7,85,1022,-5,SE,6.25,0,0
30,2010,1,2,5,4,NA,NA,NA,105,-7,92,1022,-6,SE,7.14,0,0
31,2010,1,2,6,4,NA,NA,NA,124,-7,92,1023,-6,SE,8.93,0,0
32,2010,1,2,7,4,NA,NA,NA,120,-7,85,1024,-5,SE,10.72,0,0
33,2010,1,2,8,4,NA,NA,NA,132,-8,85,1024,-6,SE,12.51,0,0
34,2010,1,2,9,4,NA,NA,NA,140,-7,85,1025,-5,SE,14.3,0,0
35,2010,1,2,10,4,NA,NA,NA,152,-7,85,1026,-5,SE,17.43,0,0
36,2010,1,2,11,4,NA,NA,NA,148,-8,79,1026,-5,SE,20.56,0,0
37,2010,1,2,12,4,NA,NA,NA,164,-8,79,1026,-5,SE,23.69,0,0
38,2010,1,2,13,4,NA,NA,NA,158,-8,79,1025,-5,SE,27.71,0,0
39,2010,1,2,14,4,NA,NA,NA,154,-9,73,1025,-5,SE,31.73,0,0
40,2010,1,2,15,4,NA,NA,NA,159,-9,73,1025,-5,SE,35.75,0,0
41,2010,1,2,16,4,NA,NA,NA,164,-9,73,1026,-5,SE,37.54,0,0
42,2010,1,2,17,4,NA,NA,NA,170,-8,79,1027,-5,SE,39.33,0,0
43,2010,1,2,18,4,NA,NA,NA,149,-8,79,1027,-5,SE,42.46,0,0
44,2010,1,2,19,4,NA,NA,NA,154,-8,79,1028,-5,SE,44.25,0,0
45,2010,1,2,20,4,NA,NA,NA,164,-7,85,1028,-5,SE,46.04,0,0
46,2010,1,2,21,4,NA,NA,NA,156,-7,85,1027,-5,SE,49.17,0,0
47,2010,1,2,22,4,NA,NA,NA,126,-8,85,1028,-6,SE,52.3,0,0
48,2010,1,2,23,4,NA,NA,NA,90,-8,85,1027,-6,SE,55.43,0,0
49,2010,1,3,0,4,NA,NA,NA,63,-7,92,1027,-6,SE,58.56,0.4,0.4
50,2010,1,3,1,4,NA,NA,NA,65,-8,85,1026,-6,SE,61.69,0.5,0.9
51,2010,1,3,2,4,NA,NA,NA,55,-8,92,1026,-7,SE,65.71,0.5,1.4
52,2010,1,3,3,4,NA,NA,NA,65,-8,92,1025,-7,SE,68.84,0.7,2.1
53,2010,1,3,4,4,NA,NA,NA,83,-8,92,1024,-7,SE,72.86,1.2,3.3
54,2010,1,3,5,4,NA,NA,NA,91,-9,92,1024,-8,SE,76.88,0.7,4
55,2010,1,3,6,4,NA,NA,NA,86,-10,85,1024,-8,SE,80.9,1,5
56,2010,1,3,7,4,NA,NA,NA,82,-10,92,1024,-9,SE,84.92,0.7,5.7
57,2010,1,3,8,4,NA,NA,NA,86,-10,92,1024,-9,SE,89.84,0.5,6.2
58,2010,1,3,9,4,NA,NA,NA,78,-11,85,1023,-9,SE,93.86,0.7,6.9
59,2010,1,3,10,4,NA,NA,NA,98,-11,85,1023,-9,SE,97.88,0.4,7.3
60,2010,1,3,11,4,NA,NA,NA,107,-11,85,1022,-9,SE,102.8,0.5,7.8
61,2010,1,3,12,4,NA,NA,NA,90,-11,85,1021,-9,SE,105.93,1.1,8.9
62,2010,1,3,13,4,NA,NA,NA,96,-11,85,1020,-9,SE,111.74,0.5,9.4
63,2010,1,3,14,4,NA,NA,NA,95,-11,85,1020,-9,SE,116.66,0.3,9.7
64,2010,1,3,15,4,NA,NA,NA,86,-11,85,1020,-9,SE,121.58,0.5,10.2
65,2010,1,3,16,4,NA,NA,NA,70,-11,85,1020,-9,SE,124.71,0.2,10.4
66,2010,1,3,17,4,NA,NA,NA,61,-11,85,1020,-9,SE,127.84,0.1,10.5
67,2010,1,3,18,4,NA,NA,NA,53,-11,85,1021,-9,cv,0.89,0.4,10.9
68,2010,1,3,19,4,NA,NA,NA,71,-11,85,1022,-9,cv,1.78,0.3,11.2
69,2010,1,3,20,4,NA,NA,NA,72,-10,92,1022,-9,NW,4.02,0,0
70,2010,1,3,21,4,NA,NA,NA,76,-11,92,1023,-10,NW,7.15,0,0
71,2010,1,3,22,4,NA,NA,NA,73,-11,85,1023,-9,NW,11.17,0,0
72,2010,1,3,23,4,NA,NA,NA,79,-12,92,1023,-11,NW,14.3,0,0
73,2010,1,4,0,4,NA,NA,NA,58,-14,85,1023,-12,NW,16.09,0,0
74,2010,1,4,1,4,NA,NA,NA,25,-16,56,1023,-9,NW,21.9,0,0
75,2010,1,4,2,4,NA,NA,NA,26,-17,56,1024,-10,NW,29.95,0,0
76,2010,1,4,3,4,NA,NA,NA,28,-18,56,1024,-11,NW,39.78,0,0
77,2010,1,4,4,4,NA,NA,NA,26,-19,51,1025,-11,NW,48.72,0,0
78,2010,1,4,5,4,NA,NA,NA,20,-20,51,1026,-12,NW,55.87,0,0
79,2010,1,4,6,4,NA,NA,NA,29,-21,47,1027,-12,NW,64.81,0,0
80,2010,1,4,7,4,NA,NA,NA,26,-21,51,1027,-13,NW,73.75,0,0
81,2010,1,4,8,4,NA,NA,NA,27,-22,46,1028,-13,NW,80.9,0,0
82,2010,1,4,9,4,NA,NA,NA,27,-22,46,1029,-13,NW,90.73,0,0
83,2010,1,4,10,4,NA,NA,NA,25,-22,43,1030,-12,NW,100.56,0,0
84,2010,1,4,11,4,NA,NA,NA,29,-23,39,1031,-12,NW,108.61,0,0
85,2010,1,4,12,4,NA,NA,NA,32,-21,43,1030,-11,NW,117.55,0,0
86,2010,1,4,13,4,NA,NA,NA,28,-20,43,1030,-10,NW,127.38,0,0
87,2010,1,4,14,4,NA,NA,NA,29,-21,40,1030,-10,NW,136.32,0,0
88,2010,1,4,15,4,NA,NA,NA,30,-21,37,1030,-9,NW,145.26,0,0
89,2010,1,4,16,4,NA,NA,NA,30,-21,37,1031,-9,NW,152.41,0,0
90,2010,1,4,17,4,NA,NA,NA,28,-20,47,1032,-11,NW,159.56,0,0
91,2010,1,4,18,4,NA,NA,NA,26,-23,36,1032,-11,NW,165.37,0,0
92,2010,1,4,19,4,NA,NA,NA,31,-21,47,1033,-12,NW,171.18,0,0
93,2010,1,4,20,4,NA,NA,NA,33,-24,36,1034,-12,NW,180.12,0,0
94,2010,1,4,21,4,NA,NA,NA,29,-24,39,1034,-13,NW,187.27,0,0
95,2010,1,4,22,4,NA,NA,NA,31,-24,39,1035,-13,NW,195.32,0,0
96,2010,1,4,23,4,NA,NA,NA,30,-26,38,1035,-15,NW,198.45,0,0
97,2010,1,5,0,4,NA,NA,NA,34,-26,45,1035,-17,NW,201.58,0,0
98,2010,1,5,1,4,NA,NA,NA,27,-26,49,1035,-18,NW,205.6,0,0
99,2010,1,5,2,4,NA,NA,NA,25,-26,53,1035,-19,NW,208.73,0,0
100,2010,1,5,3,4,NA,NA,NA,28,-27,45,1035,-18,NW,213.65,0,0
101,2010,1,5,4,4,NA,NA,NA,28,-27,49,1035,-19,NW,218.57,0,0
102,2010,1,5,5,4,NA,NA,NA,27,-27,38,1034,-16,NE,4.92,0,0
103,2010,1,5,6,4,NA,NA,NA,27,-26,41,1035,-16,NE,8.05,0,0
104,2010,1,5,7,4,NA,NA,NA,27,-27,38,1034,-16,NE,13.86,0,0
105,2010,1,5,8,4,NA,NA,NA,29,-26,41,1035,-16,NE,18.78,0,0
106,2010,1,5,9,4,NA,NA,NA,36,-26,38,1035,-15,NE,24.59,0,0
107,2010,1,5,10,4,NA,NA,NA,30,-25,38,1035,-14,NE,29.51,0,0
108,2010,1,5,11,4,NA,NA,NA,27,-25,35,1035,-13,NE,34.43,0,0
109,2010,1,5,12,4,NA,NA,NA,39,-25,33,1034,-12,NE,39.35,0,0
110,2010,1,5,13,4,NA,NA,NA,41,-24,33,1032,-11,NE,41.14,0,0
111,2010,1,5,14,4,NA,NA,NA,33,-22,39,1032,-11,cv,0.89,0,0
112,2010,1,5,15,4,NA,NA,NA,50,-23,36,1031,-11,NW,1.79,0,0
113,2010,1,5,16,4,NA,NA,NA,56,-24,33,1031,-11,NW,3.58,0,0
114,2010,1,5,17,4,NA,NA,NA,59,-23,36,1031,-11,NW,5.37,0,0
115,2010,1,5,18,4,NA,NA,NA,60,-23,36,1032,-11,NW,7.16,0,0
116,2010,1,5,19,4,NA,NA,NA,84,-22,46,1033,-13,NW,10.29,0,0
117,2010,1,5,20,4,NA,NA,NA,106,-22,43,1033,-12,NW,13.42,0,0
118,2010,1,5,21,4,NA,NA,NA,66,-24,59,1033,-18,NW,16.55,0,0
119,2010,1,5,22,4,NA,NA,NA,50,-22,46,1034,-13,NW,20.57,0,0
120,2010,1,5,23,4,NA,NA,NA,56,-22,59,1033,-16,NW,23.7,0,0
121,2010,1,6,0,4,NA,NA,NA,77,-25,49,1033,-17,NW,26.83,0,0
122,2010,1,6,1,4,NA,NA,NA,50,-25,38,1033,-14,NE,4.02,0,0
123,2010,1,6,2,4,NA,NA,NA,44,-26,35,1034,-14,NE,8.04,0,0
124,2010,1,6,3,4,NA,NA,NA,27,-26,35,1033,-14,NE,13.85,0,0
125,2010,1,6,4,4,NA,NA,NA,28,-26,35,1033,-14,NE,17.87,0,0
126,2010,1,6,5,4,NA,NA,NA,21,-26,35,1033,-14,NE,23.68,0,0
127,2010,1,6,6,4,NA,NA,NA,25,-26,35,1033,-14,NE,28.6,0,0
128,2010,1,6,7,4,NA,NA,NA,20,-26,38,1034,-15,NE,33.52,0,0
129,2010,1,6,8,4,NA,NA,NA,29,-26,35,1034,-14,NE,39.33,0,0
130,2010,1,6,9,4,NA,NA,NA,34,-25,35,1035,-13,NE,44.25,0,0
131,2010,1,6,10,4,NA,NA,NA,42,-25,33,1035,-12,NE,50.06,0,0
132,2010,1,6,11,4,NA,NA,NA,28,-24,33,1035,-11,NE,54.98,0,0
133,2010,1,6,12,4,NA,NA,NA,36,-24,30,1034,-10,NE,59,0,0
134,2010,1,6,13,4,NA,NA,NA,48,-22,36,1033,-10,NW,4.02,0,0
135,2010,1,6,14,4,NA,NA,NA,49,-22,34,1033,-9,NW,5.81,0,0
136,2010,1,6,15,4,NA,NA,NA,52,-22,31,1033,-8,cv,0.89,0,0
137,2010,1,6,16,4,NA,NA,NA,56,-22,31,1033,-8,NW,1.79,0,0
138,2010,1,6,17,4,NA,NA,NA,96,-21,37,1033,-9,NW,3.58,0,0
139,2010,1,6,18,4,NA,NA,NA,75,-22,34,1033,-9,NW,5.37,0,0
140,2010,1,6,19,4,NA,NA,NA,105,-22,50,1034,-14,cv,0.89,0,0
141,2010,1,6,20,4,NA,NA,NA,132,-22,43,1035,-12,NW,1.79,0,0
142,2010,1,6,21,4,NA,NA,NA,93,-21,55,1034,-14,NW,3.58,0,0
143,2010,1,6,22,4,NA,NA,NA,131,-22,59,1035,-16,NW,5.37,0,0
144,2010,1,6,23,4,NA,NA,NA,127,-21,65,1035,-16,NW,7.16,0,0
145,2010,1,7,0,4,NA,NA,NA,130,-21,65,1035,-16,NW,8.95,0,0
146,2010,1,7,1,4,NA,NA,NA,43,-21,65,1035,-16,cv,0.45,0,0
147,2010,1,7,2,4,NA,NA,NA,37,-22,70,1036,-18,cv,1.34,0,0
148,2010,1,7,3,4,NA,NA,NA,30,-23,50,1036,-15,NW,4.02,0,0
149,2010,1,7,4,4,NA,NA,NA,28,-24,50,1035,-16,NW,7.15,0,0
150,2010,1,7,5,4,NA,NA,NA,24,-25,42,1035,-15,NW,10.28,0,0
151,2010,1,7,6,4,NA,NA,NA,23,-24,46,1035,-15,NW,14.3,0,0
152,2010,1,7,7,4,NA,NA,NA,24,-25,35,1036,-13,NE,4.92,0,0
153,2010,1,7,8,4,NA,NA,NA,27,-24,42,1036,-14,NW,4.02,0,0
154,2010,1,7,9,4,NA,NA,NA,40,-23,39,1036,-12,NW,8.94,0,0
155,2010,1,7,10,4,NA,NA,NA,42,-22,39,1036,-11,NW,12.96,0,0
156,2010,1,7,11,4,NA,NA,NA,42,-20,43,1036,-10,NW,16.09,0,0
157,2010,1,7,12,4,NA,NA,NA,55,-21,37,1035,-9,NW,19.22,0,0
158,2010,1,7,13,4,NA,NA,NA,52,-21,34,1034,-8,NW,21.01,0,0
159,2010,1,7,14,4,NA,NA,NA,51,-20,34,1033,-7,NW,22.8,0,0
160,2010,1,7,15,4,NA,NA,NA,57,-20,34,1032,-7,NW,24.59,0,0
161,2010,1,7,16,4,NA,NA,NA,50,-18,44,1032,-8,NW,26.38,0,0
162,2010,1,7,17,4,NA,NA,NA,54,-19,44,1032,-9,NW,28.17,0,0
163,2010,1,7,18,4,NA,NA,NA,67,-19,51,1032,-11,NE,0.89,0,0
164,2010,1,7,19,4,NA,NA,NA,106,-18,56,1033,-11,NW,1.79,0,0
165,2010,1,7,20,4,NA,NA,NA,159,-19,71,1032,-15,NE,1.79,0,0
166,2010,1,7,21,4,NA,NA,NA,198,-19,65,1032,-14,cv,0.45,0,0
167,2010,1,7,22,4,NA,NA,NA,190,-21,55,1032,-14,cv,1.34,0,0
168,2010,1,7,23,4,NA,NA,NA,210,-21,65,1032,-16,cv,2.23,0,0
169,2010,1,8,0,4,NA,NA,NA,195,-21,71,1031,-17,NW,1.79,0,0
170,2010,1,8,1,4,NA,NA,NA,275,-19,77,1031,-16,NW,3.58,0,0
171,2010,1,8,2,4,NA,NA,NA,164,-20,71,1031,-16,NE,0.89,0,0
172,2010,1,8,3,4,NA,NA,NA,110,-19,71,1030,-15,SE,0.89,0,0
173,2010,1,8,4,4,NA,NA,NA,100,-18,77,1030,-15,cv,0.45,0,0
174,2010,1,8,5,4,NA,NA,NA,81,-18,77,1029,-15,cv,1.34,0,0
175,2010,1,8,6,4,NA,NA,NA,71,-18,77,1029,-15,NW,1.79,0,0
176,2010,1,8,7,4,NA,NA,NA,66,-16,78,1029,-13,NE,0.89,0,0
177,2010,1,8,8,4,NA,NA,NA,92,-16,72,1029,-12,SE,0.89,0,0
178,2010,1,8,9,4,NA,NA,NA,135,-16,72,1030,-12,SE,1.78,0,0
179,2010,1,8,10,4,NA,NA,NA,155,-17,56,1030,-10,NE,0.89,0,0
180,2010,1,8,11,4,NA,NA,NA,198,-16,61,1029,-10,cv,0.89,0,0
181,2010,1,8,12,4,NA,NA,NA,250,-16,56,1028,-9,SE,3.13,0,0
182,2010,1,8,13,4,NA,NA,NA,200,-15,57,1026,-8,SE,4.92,0,0
183,2010,1,8,14,4,NA,NA,NA,231,-16,52,1026,-8,cv,0.89,0,0
184,2010,1,8,15,4,NA,NA,NA,250,-16,52,1025,-8,cv,1.78,0,0
185,2010,1,8,16,4,NA,NA,NA,212,-16,52,1025,-8,cv,2.67,0,0
186,2010,1,8,17,4,NA,NA,NA,219,-17,48,1025,-8,SE,0.89,0,0
187,2010,1,8,18,4,NA,NA,NA,227,-17,52,1026,-9,cv,0.45,0,0
188,2010,1,8,19,4,NA,NA,NA,226,-17,61,1026,-11,cv,1.34,0,0
189,2010,1,8,20,4,NA,NA,NA,225,-17,66,1026,-12,cv,1.79,0,0
190,2010,1,8,21,4,NA,NA,NA,168,-18,71,1027,-14,NW,1.79,0,0
191,2010,1,8,22,4,NA,NA,NA,169,-16,56,1027,-9,NW,4.92,0,0
192,2010,1,8,23,4,NA,NA,NA,165,-16,66,1027,-11,NW,6.71,0,0
193,2010,1,9,0,4,NA,NA,NA,159,-17,71,1027,-13,cv,0.89,0,0
194,2010,1,9,1,4,NA,NA,NA,167,-17,71,1027,-13,NW,3.13,0,0
195,2010,1,9,2,4,NA,NA,NA,196,-17,77,1027,-14,NW,4.92,0,0
196,2010,1,9,3,4,NA,NA,NA,169,-17,84,1027,-15,NW,8.05,0,0
197,2010,1,9,4,4,NA,NA,NA,155,-17,71,1027,-13,NW,9.84,0,0
198,2010,1,9,5,4,NA,NA,NA,119,-19,77,1027,-16,NW,13.86,0,0
199,2010,1,9,6,4,NA,NA,NA,106,-18,77,1027,-15,NW,17.88,0,0

代码:

package com.spark.transformationimport org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types._
import org.junit.Testclass NullProcessor {Logger.getLogger("org").setLevel(Level.ERROR)val spark: SparkSession = SparkSession.builder().master("local[6]").appName(this.getClass.getSimpleName).getOrCreate()@Testdef nullAndNaN(): Unit = {// 2. 导入数据集// 3. 读取数据集//    1. 通过Saprk-csv自动的推断类型来读取, 推断数字的时候会将 NaN 推断为 字符串//    spark.read//      .option("header", true)//      .option("inferSchema", true)//      .csv(...)//    2. 直接读取字符串, 在后续的操作中使用 map 算子转类型//    spark.read.csv().map( row => row... )//    3. 指定 Schema, 不要自动推断val schema = StructType(List(StructField("id", LongType),StructField("year", IntegerType),StructField("month", IntegerType),StructField("day", IntegerType),StructField("hour", IntegerType),StructField("season", IntegerType),StructField("pm", DoubleType)))val sourceDF = spark.read.option("header", value = true).schema(schema).csv("E:\\Project\\Spark\\spark-sql\\input\\beijingpm_with_nan.csv")sourceDF.show()// 4. 丢弃// 2019, 12, 12, NaN// 规则://      1. any, 只有有一个 NaN 就丢弃sourceDF.na.drop("any").show()sourceDF.na.drop().show()//      2. all, 所有数据都是 NaN 的行才丢弃sourceDF.na.drop("all").show()//      3. 某些列的规则sourceDF.na.drop("any", List("year", "month", "day", "hour")).show()// 5. 填充// 规则://     1. 针对所有列数据进行默认值填充sourceDF.na.fill(0).show()//     2. 针对特定列填充sourceDF.na.fill(0, List("year", "month")).show()}@Testdef strProcessor(): Unit = {// 读取数据集val sourceDF = spark.read.option("header", value = true).option("inferSchema", value = true).csv("E:\\Project\\Spark\\spark-sql\\input\\BeijingPM20100101_20151231.csv")//    sourceDF.show()// 1. 丢弃import spark.implicits._//    sourceDF.where('PM_Dongsi =!= "NA").show()// 2. 替换import org.apache.spark.sql.functions._// select name, age, case// when ... then ...// when ... then ...// elsesourceDF.select('No as "id", 'year, 'month, 'day, 'hour, 'season,when('PM_Dongsi === "NA", Double.NaN).otherwise('PM_Dongsi cast DoubleType).as("pm")).show()// 原类型和转换过后的类型, 必须一致sourceDF.na.replace("PM_Dongsi", Map("NA" -> "NaN", "NULL" -> "null")).show()}}
查看全文
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!

相关文章

  1. 数据库常用的四种方法

    排序查询 select 列表属性,列表属性 from 列表名order by 列表属性,列表属性; 删除 delete from 列表名 where 列表属性=“值” 插入 insert into 列表名 values(值,值,值,值) insert into 列表名 (列1,列2,…)valves(值1,值2…) 修改 update 列表名 set 列表属性=…...

    2024/4/12 5:41:09
  2. 有关siddhi_cdc_source的监听模式的配置

    》此功能是基于siddhi中的cdc_source功能的配置以及mysql的binlog日志的开启。 》本身siddhi集成了cdc的功能,cdc(change data capture)在MySQL数据库中的实现原理是通过去监听mysql的binlog日志,实现对MySQL变化数据的捕捉,可以捕捉insert、delete、update操作的数据。 当然…...

    2024/4/22 0:08:59
  3. css实现弯曲箭头

    前些天写项目,设计图里有弯曲的箭头,当时由于时间紧迫,使用的是图片,现在闲下来,自己再画一个,如下:实现完全箭头分两部分:在div内实现直角三角形,旋转调整角度(也可在整理完成再旋转) 使用伪元素实现弯曲部分效果,进行旋转以上知识点基本都是围绕border属性 <d…...

    2024/4/24 2:17:48
  4. shell应用试验 2

    正三角形 #!/bin/bash for ((i=9; i>=1; i--)) dofor ((a=1; a<=$i; a++))doecho -n " "donefor ((b=9; b>=$i; b--))doecho -n "$i"donefor ((c=8; c>=$i; c--))doecho -n "$i"doneecho "" done倒三角 #!/bin/bash for (…...

    2024/4/25 15:53:16
  5. 再见NPE之“优雅判空”

    NPE向来是一个让java程序员头疼的问题,如何优雅的处理它? 判空灾难 首先想到的肯定是判空,增加代码健壮性,但带来的问题是,代码里大量的充斥着及其不优雅,如何解决找个问题? 善用轮子 对于各种判空,前辈们已经造好了很多轮子,下面就是我的一些用到的,有其他的大家评论…...

    2024/3/19 20:50:23
  6. 如何用PHP合成两张图片?

    /*** 图片合成* @param array 参数,包括图片和文字* @param string $filename 生成文件名,不传此参数则不生成文件,直接输出图片* @return [type] [description]*/ function createPoster($config = array(), $filename = "") {//如果要看报什么错,可以先注释调这…...

    2024/4/21 1:33:42
  7. Java复习(一)数据类型

    Java复习(一)数据类型、变量 本菜鸡已经大四了,该考虑找工作的事情了,虽然进行过一些简单的项目开发,但是Java方面的基础知识还比较薄弱,因此要重新梳理一下基础知识了。前段时间进行项目开发的时候,在B站上看到了狂神的教程,感觉受益匪浅,决定跟着狂神学到底! 数据类…...

    2024/4/25 7:40:22
  8. java中引用传递对的应用案例

    引用传递是整个java项目中最为核心的内容,同时也是在实际开发中最为常见的一种操作,在了解数组的概念后,就可以基于此概念与简单java类实现一些显示的事物关系模型。 先通过案例来了解下,比如说,在现实的开发意义上,类是可以描述一类事物共性的结构体,现在假设要描述出这…...

    2024/4/16 5:07:18
  9. python字符串format格式化二

    常用的字符串格式化类型符 输入 print("{abc!a}".format(abc="我")) # 将字符串按Unicode编码输出 print("{abc!a}".format(abc="真一滴都没了")) # 将字符串按Unicode编码输出输出 \u6211 \u771f\u4e00\u6ef4\u90fd\u6ca1\u4e86输入 …...

    2024/3/15 11:59:03
  10. UVA10479

    UVA 10479 找规律+递归 记:想清楚了写,弄明白每个变量的含义,就会把很复杂的东西弄得一清二楚。 题意 Hendrie序列是个自描述序列 H(1)=0,如果把H中的每个整数x变成x个0 分析 找规律 0 1 0 2 1 0 0 3 0 2 1 1 0 0 0 4 1 0 0 3 0 2 0 2 1 1 1 0 0 0 0 5 0 2 1 1 0 0 0 4 1…...

    2024/4/22 12:02:54
  11. 最详细的Java知识点--注解和反射

    注解与反射 注解 什么是注解从JDK5.0开始引入 作用可以被其他程序(如编译器等)读取格式:注解是以“@注解名”在代码中存在的,还可以添加一些参数值,如:@SuppressWarnings(value="unchecked") 在哪里使用可以附加在package,class,method,field等上面,相当于…...

    2024/4/25 2:35:35
  12. springcloud @EnableEurekaClient和@EnableDiscoveryClient 不同点

    @EnableEurekaClient只适用于Eureka作为注册中心,@EnableDiscoveryClient 可以是其他注册中心。...

    2024/4/20 1:13:32
  13. JavaScript学习笔记——设置元素样式

    style属性 通过style属性修改样式获取属性后查看style属性下的值可以和css属性一致<div id="d1">hello</div id="d1"><div id="d2">world</div><script>var d1 = document.querySelector("#d1");var d2…...

    2024/5/2 23:34:11
  14. 计算机网络自用学习笔记

    适用计算机网络(第七版) 自己的学习笔记,PPT及图片来源网络,侵删。 能力有限,可能有错误,如果自己有毅力就坚持更新完。 计算机网络自用学习笔记第一章概述1.1计算机网络在信息时代中的作用1.2互联网概述1.2.1网络的网络1.2.2互联网基础结构发展的三个阶段1.2.3互联网的标…...

    2024/4/25 1:30:11
  15. Linux的目录挂载详解

    挂载的基本概念 前面讲过,Linux 系统中“一切皆文件”,所有文件都放置在以根目录为树根的树形目录结构中。在 Linux 看来,任何硬件设备也都是文件,它们各有自己的一套文件系统(文件目录结构)。 因此产生的问题是,当在 Linux 系统中使用这些硬件设备时,只有将Linux本身的…...

    2024/4/7 16:14:19
  16. 《Oracle Java EE编程自学和面试指南》09-01:Session概念

    深入了解IT/互联网行业及岗位,请参阅通用IT/互联网岗位招聘计划(最新全岗版)。 深入了解职业晋升及学习路线,请参阅最优职业晋升路线和课程学习指南(最新全栈版)。内容导航:前言 1、会话的概念 2、会话的典型应用前言 会话是服务器识别用户的一种手段。1、会话的概念 客…...

    2024/4/21 3:28:56
  17. iOS端手游和c++交互 lua和c++交互

    iOS端手游和c++交互 lua和c++交互 进了一家新的手游公司,坐标杭州,因为之前是做发行做了一段时间,才知道互联网真正赚钱的是手游。所以从武汉来杭州就一心想找一家手游公司,从而深入了解一下iOS工程师能为手游做多少工作。其实要做的工作并没有多少,主要是给手游(无论是u…...

    2024/4/21 2:19:16
  18. LeetCode94.二叉树的中序遍历Java

    LeetCode94.二叉树的中序遍历 1.递归解法 2.非递归解法 public class Solution {public List < Integer > inorderTraversal(TreeNode root) {List < Integer > res = new ArrayList < > ();Stack < TreeNode > stack = new Stack < > ();TreeNo…...

    2024/4/28 0:27:54
  19. 因为intel显卡和nvidia显卡驱动不兼容造成的ubuntu系统循环登录和黑屏问题解决方法

    1.切换显卡驱动进入Ubuntu系统 按alt+ctrl+F1进入命令行界面登录 sudo apt-get prime #安装prime prime-select query #查看当前显卡驱动 若为nvidia则: prime-select intel #将驱动换为集成显卡驱动,暂时屏蔽独立显卡 按alt+ctrl+F7,返回登陆界面登录 在终端输入: prime-s…...

    2024/4/17 19:18:36
  20. 原创 C++Primer 习题6.21-6.33

    原创 C++Primer 习题6.21-6.33 //6.21 #include<iostream> using namespace std; int coompareint(const int i, const int *ip) {return(i > *ip) ? i : *ip; } int main() {int ia = 1;int ib = 2;int *ip = &ib;cout << coompareint(ia, ip) << e…...

    2024/4/19 19:46:40

最新文章

  1. c语言从入门到函数速成(1)

    温馨提醒&#xff1a;本篇文章适合人群&#xff1a;刚学c又感觉那个地方不怎么懂的同学以及以及学了一些因为自身原因停学一段时间后又继续学c的同学 好&#xff0c;正片开始。 主函数 学c时最先学的是我们c语言程序的主体函数&#xff0c;c的主函数有两种写法&#xff0c;这…...

    2024/5/3 1:09:12
  2. 梯度消失和梯度爆炸的一些处理方法

    在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言&#xff0c;在此感激不尽。 权重和梯度的更新公式如下&#xff1a; w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...

    2024/3/20 10:50:27
  3. 关于ansible的模块 ③

    转载说明&#xff1a;如果您喜欢这篇文章并打算转载它&#xff0c;请私信作者取得授权。感谢您喜爱本文&#xff0c;请文明转载&#xff0c;谢谢。 接《关于Ansible的模块①》和《关于Ansible的模块②》&#xff0c;继续学习ansible的user模块。 user模块可以增、删、改linux远…...

    2024/5/1 18:52:02
  4. 3d representation的一些基本概念

    顶点&#xff08;Vertex&#xff09;&#xff1a;三维空间中的一个点&#xff0c;可以有多个属性&#xff0c;如位置坐标、颜色、纹理坐标和法线向量。它是构建三维几何形状的基本单元。 边&#xff08;Edge&#xff09;&#xff1a;连接两个顶点形成的直线段&#xff0c;它定…...

    2024/5/2 17:20:39
  5. 动态规划刷题(算法竞赛、蓝桥杯)--饥饿的奶牛(线性DP)

    1、题目链接&#xff1a;饥饿的奶牛 - 洛谷 #include <bits/stdc.h> using namespace std; const int N3000010; vector<int> a[N];//可变数组vector存区间 int n,mx,f[N]; int main(){scanf("%d",&n);for(int i1;i<n;i){int x,y;scanf("%…...

    2024/5/1 13:50:31
  6. 416. 分割等和子集问题(动态规划)

    题目 题解 class Solution:def canPartition(self, nums: List[int]) -> bool:# badcaseif not nums:return True# 不能被2整除if sum(nums) % 2 ! 0:return False# 状态定义&#xff1a;dp[i][j]表示当背包容量为j&#xff0c;用前i个物品是否正好可以将背包填满&#xff…...

    2024/5/2 11:19:01
  7. 【Java】ExcelWriter自适应宽度工具类(支持中文)

    工具类 import org.apache.poi.ss.usermodel.Cell; import org.apache.poi.ss.usermodel.CellType; import org.apache.poi.ss.usermodel.Row; import org.apache.poi.ss.usermodel.Sheet;/*** Excel工具类** author xiaoming* date 2023/11/17 10:40*/ public class ExcelUti…...

    2024/5/2 16:04:58
  8. Spring cloud负载均衡@LoadBalanced LoadBalancerClient

    LoadBalance vs Ribbon 由于Spring cloud2020之后移除了Ribbon&#xff0c;直接使用Spring Cloud LoadBalancer作为客户端负载均衡组件&#xff0c;我们讨论Spring负载均衡以Spring Cloud2020之后版本为主&#xff0c;学习Spring Cloud LoadBalance&#xff0c;暂不讨论Ribbon…...

    2024/5/2 23:55:17
  9. TSINGSEE青犀AI智能分析+视频监控工业园区周界安全防范方案

    一、背景需求分析 在工业产业园、化工园或生产制造园区中&#xff0c;周界防范意义重大&#xff0c;对园区的安全起到重要的作用。常规的安防方式是采用人员巡查&#xff0c;人力投入成本大而且效率低。周界一旦被破坏或入侵&#xff0c;会影响园区人员和资产安全&#xff0c;…...

    2024/5/2 9:47:31
  10. VB.net WebBrowser网页元素抓取分析方法

    在用WebBrowser编程实现网页操作自动化时&#xff0c;常要分析网页Html&#xff0c;例如网页在加载数据时&#xff0c;常会显示“系统处理中&#xff0c;请稍候..”&#xff0c;我们需要在数据加载完成后才能继续下一步操作&#xff0c;如何抓取这个信息的网页html元素变化&…...

    2024/5/2 9:47:31
  11. 【Objective-C】Objective-C汇总

    方法定义 参考&#xff1a;https://www.yiibai.com/objective_c/objective_c_functions.html Objective-C编程语言中方法定义的一般形式如下 - (return_type) method_name:( argumentType1 )argumentName1 joiningArgument2:( argumentType2 )argumentName2 ... joiningArgu…...

    2024/5/2 6:03:07
  12. 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】

    &#x1f468;‍&#x1f4bb;博客主页&#xff1a;花无缺 欢迎 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! 本文由 花无缺 原创 收录于专栏 【洛谷算法题】 文章目录 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】&#x1f30f;题目描述&#x1f30f;输入格…...

    2024/5/2 9:47:30
  13. 【ES6.0】- 扩展运算符(...)

    【ES6.0】- 扩展运算符... 文章目录 【ES6.0】- 扩展运算符...一、概述二、拷贝数组对象三、合并操作四、参数传递五、数组去重六、字符串转字符数组七、NodeList转数组八、解构变量九、打印日志十、总结 一、概述 **扩展运算符(...)**允许一个表达式在期望多个参数&#xff0…...

    2024/5/2 23:47:43
  14. 摩根看好的前智能硬件头部品牌双11交易数据极度异常!——是模式创新还是饮鸩止渴?

    文 | 螳螂观察 作者 | 李燃 双11狂欢已落下帷幕&#xff0c;各大品牌纷纷晒出优异的成绩单&#xff0c;摩根士丹利投资的智能硬件头部品牌凯迪仕也不例外。然而有爆料称&#xff0c;在自媒体平台发布霸榜各大榜单喜讯的凯迪仕智能锁&#xff0c;多个平台数据都表现出极度异常…...

    2024/5/2 5:31:39
  15. Go语言常用命令详解(二)

    文章目录 前言常用命令go bug示例参数说明 go doc示例参数说明 go env示例 go fix示例 go fmt示例 go generate示例 总结写在最后 前言 接着上一篇继续介绍Go语言的常用命令 常用命令 以下是一些常用的Go命令&#xff0c;这些命令可以帮助您在Go开发中进行编译、测试、运行和…...

    2024/5/1 20:22:59
  16. 用欧拉路径判断图同构推出reverse合法性:1116T4

    http://cplusoj.com/d/senior/p/SS231116D 假设我们要把 a a a 变成 b b b&#xff0c;我们在 a i a_i ai​ 和 a i 1 a_{i1} ai1​ 之间连边&#xff0c; b b b 同理&#xff0c;则 a a a 能变成 b b b 的充要条件是两图 A , B A,B A,B 同构。 必要性显然&#xff0…...

    2024/5/2 9:47:28
  17. 【NGINX--1】基础知识

    1、在 Debian/Ubuntu 上安装 NGINX 在 Debian 或 Ubuntu 机器上安装 NGINX 开源版。 更新已配置源的软件包信息&#xff0c;并安装一些有助于配置官方 NGINX 软件包仓库的软件包&#xff1a; apt-get update apt install -y curl gnupg2 ca-certificates lsb-release debian-…...

    2024/5/2 9:47:27
  18. Hive默认分割符、存储格式与数据压缩

    目录 1、Hive默认分割符2、Hive存储格式3、Hive数据压缩 1、Hive默认分割符 Hive创建表时指定的行受限&#xff08;ROW FORMAT&#xff09;配置标准HQL为&#xff1a; ... ROW FORMAT DELIMITED FIELDS TERMINATED BY \u0001 COLLECTION ITEMS TERMINATED BY , MAP KEYS TERMI…...

    2024/5/2 0:07:22
  19. 【论文阅读】MAG:一种用于航天器遥测数据中有效异常检测的新方法

    文章目录 摘要1 引言2 问题描述3 拟议框架4 所提出方法的细节A.数据预处理B.变量相关分析C.MAG模型D.异常分数 5 实验A.数据集和性能指标B.实验设置与平台C.结果和比较 6 结论 摘要 异常检测是保证航天器稳定性的关键。在航天器运行过程中&#xff0c;传感器和控制器产生大量周…...

    2024/5/2 8:37:00
  20. --max-old-space-size=8192报错

    vue项目运行时&#xff0c;如果经常运行慢&#xff0c;崩溃停止服务&#xff0c;报如下错误 FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory 因为在 Node 中&#xff0c;通过JavaScript使用内存时只能使用部分内存&#xff08;64位系统&…...

    2024/5/2 9:47:26
  21. 基于深度学习的恶意软件检测

    恶意软件是指恶意软件犯罪者用来感染个人计算机或整个组织的网络的软件。 它利用目标系统漏洞&#xff0c;例如可以被劫持的合法软件&#xff08;例如浏览器或 Web 应用程序插件&#xff09;中的错误。 恶意软件渗透可能会造成灾难性的后果&#xff0c;包括数据被盗、勒索或网…...

    2024/5/2 9:47:25
  22. JS原型对象prototype

    让我简单的为大家介绍一下原型对象prototype吧&#xff01; 使用原型实现方法共享 1.构造函数通过原型分配的函数是所有对象所 共享的。 2.JavaScript 规定&#xff0c;每一个构造函数都有一个 prototype 属性&#xff0c;指向另一个对象&#xff0c;所以我们也称为原型对象…...

    2024/5/2 23:47:16
  23. C++中只能有一个实例的单例类

    C中只能有一个实例的单例类 前面讨论的 President 类很不错&#xff0c;但存在一个缺陷&#xff1a;无法禁止通过实例化多个对象来创建多名总统&#xff1a; President One, Two, Three; 由于复制构造函数是私有的&#xff0c;其中每个对象都是不可复制的&#xff0c;但您的目…...

    2024/5/2 18:46:52
  24. python django 小程序图书借阅源码

    开发工具&#xff1a; PyCharm&#xff0c;mysql5.7&#xff0c;微信开发者工具 技术说明&#xff1a; python django html 小程序 功能介绍&#xff1a; 用户端&#xff1a; 登录注册&#xff08;含授权登录&#xff09; 首页显示搜索图书&#xff0c;轮播图&#xff0…...

    2024/5/2 7:30:11
  25. 电子学会C/C++编程等级考试2022年03月(一级)真题解析

    C/C++等级考试(1~8级)全部真题・点这里 第1题:双精度浮点数的输入输出 输入一个双精度浮点数,保留8位小数,输出这个浮点数。 时间限制:1000 内存限制:65536输入 只有一行,一个双精度浮点数。输出 一行,保留8位小数的浮点数。样例输入 3.1415926535798932样例输出 3.1…...

    2024/5/1 20:56:20
  26. 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...

    解析如下&#xff1a;1、长按电脑电源键直至关机&#xff0c;然后再按一次电源健重启电脑&#xff0c;按F8健进入安全模式2、安全模式下进入Windows系统桌面后&#xff0c;按住“winR”打开运行窗口&#xff0c;输入“services.msc”打开服务设置3、在服务界面&#xff0c;选中…...

    2022/11/19 21:17:18
  27. 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。

    %读入6幅图像&#xff08;每一幅图像的大小是564*564&#xff09; f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...

    2022/11/19 21:17:16
  28. 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...

    win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面&#xff0c;在等待界面中我们需要等待操作结束才能关机&#xff0c;虽然这比较麻烦&#xff0c;但是对系统进行配置和升级…...

    2022/11/19 21:17:15
  29. 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...

    有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows&#xff0c;请勿关闭计算机”的提示&#xff0c;要过很久才能进入系统&#xff0c;有的用户甚至几个小时也无法进入&#xff0c;下面就教大家这个问题的解决方法。第一种方法&#xff1a;我们首先在左下角的“开始…...

    2022/11/19 21:17:14
  30. win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...

    置信有很多用户都跟小编一样遇到过这样的问题&#xff0c;电脑时发现开机屏幕显现“正在配置Windows Update&#xff0c;请勿关机”(如下图所示)&#xff0c;而且还需求等大约5分钟才干进入系统。这是怎样回事呢&#xff1f;一切都是正常操作的&#xff0c;为什么开时机呈现“正…...

    2022/11/19 21:17:13
  31. 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...

    Win7系统开机启动时总是出现“配置Windows请勿关机”的提示&#xff0c;没过几秒后电脑自动重启&#xff0c;每次开机都这样无法进入系统&#xff0c;此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一&#xff1a;开机按下F8&#xff0c;在出现的Windows高级启动选…...

    2022/11/19 21:17:12
  32. 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...

    有不少windows10系统用户反映说碰到这样一个情况&#xff0c;就是电脑提示正在准备windows请勿关闭计算机&#xff0c;碰到这样的问题该怎么解决呢&#xff0c;现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法&#xff1a;1、2、依次…...

    2022/11/19 21:17:11
  33. 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...

    今天和大家分享一下win7系统重装了Win7旗舰版系统后&#xff0c;每次关机的时候桌面上都会显示一个“配置Windows Update的界面&#xff0c;提示请勿关闭计算机”&#xff0c;每次停留好几分钟才能正常关机&#xff0c;导致什么情况引起的呢&#xff1f;出现配置Windows Update…...

    2022/11/19 21:17:10
  34. 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...

    只能是等着&#xff0c;别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚&#xff0c;只能是考虑备份数据后重装系统了。解决来方案一&#xff1a;管理员运行cmd&#xff1a;net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...

    2022/11/19 21:17:09
  35. 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?

    原标题&#xff1a;电脑提示“配置Windows Update请勿关闭计算机”怎么办&#xff1f;win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢&#xff1f;一般的方…...

    2022/11/19 21:17:08
  36. 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...

    关机提示 windows7 正在配置windows 请勿关闭计算机 &#xff0c;然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容&#xff0c;让我们赶快一起来看一下吧&#xff01;关机提示 windows7 正在配…...

    2022/11/19 21:17:05
  37. 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...

    钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...

    2022/11/19 21:17:05
  38. 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...

    前几天班里有位学生电脑(windows 7系统)出问题了&#xff0c;具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面&#xff0c;长时间没反应&#xff0c;无法进入系统。这个问题原来帮其他同学也解决过&#xff0c;网上搜了不少资料&#x…...

    2022/11/19 21:17:04
  39. 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...

    本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法&#xff0c;并在最后教给你1种保护系统安全的好方法&#xff0c;一起来看看&#xff01;电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中&#xff0c;添加了1个新功能在“磁…...

    2022/11/19 21:17:03
  40. 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...

    许多用户在长期不使用电脑的时候&#xff0c;开启电脑发现电脑显示&#xff1a;配置windows更新失败&#xff0c;正在还原更改&#xff0c;请勿关闭计算机。。.这要怎么办呢&#xff1f;下面小编就带着大家一起看看吧&#xff01;如果能够正常进入系统&#xff0c;建议您暂时移…...

    2022/11/19 21:17:02
  41. 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...

    配置windows update失败 还原更改 请勿关闭计算机&#xff0c;电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容&#xff0c;让我们赶快一起来看一下吧&#xff01;配置windows update失败 还原更改 请勿关闭计算机&#x…...

    2022/11/19 21:17:01
  42. 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...

    不知道大家有没有遇到过这样的一个问题&#xff0c;就是我们的win7系统在关机的时候&#xff0c;总是喜欢显示“准备配置windows&#xff0c;请勿关机”这样的一个页面&#xff0c;没有什么大碍&#xff0c;但是如果一直等着的话就要两个小时甚至更久都关不了机&#xff0c;非常…...

    2022/11/19 21:17:00
  43. 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...

    当电脑出现正在准备配置windows请勿关闭计算机时&#xff0c;一般是您正对windows进行升级&#xff0c;但是这个要是长时间没有反应&#xff0c;我们不能再傻等下去了。可能是电脑出了别的问题了&#xff0c;来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...

    2022/11/19 21:16:59
  44. 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...

    我们使用电脑的过程中有时会遇到这种情况&#xff0c;当我们打开电脑之后&#xff0c;发现一直停留在一个界面&#xff1a;“配置Windows Update失败&#xff0c;还原更改请勿关闭计算机”&#xff0c;等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢&#xff0…...

    2022/11/19 21:16:58
  45. 如何在iPhone上关闭“请勿打扰”

    Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...

    2022/11/19 21:16:57