Spark——数据读取与保存
Spark的数据读取与保存
- 一、文件类数据读取与保存
- 1.1 Text 文件
- 1.2 Json 文件
- 1.3 Sequence 文件
- 1.4 对象文件
- 二、文件系统类数据读取与保存
- 2.1 HDFS
- 2.2 MySQL 数据库连接
- 2.3 HBase 数据库
Spark 的数据读取及数据保存可以从两个维度来作区分:文件格式
以及文件系统
。
文件格式分为:Text 文件、Json 文件、Csv 文件、Sequence 文件以及 Object 文件;
文件系统分为:本地文件系统、HDFS、HBASE 以及数据库。
一、文件类数据读取与保存
1.1 Text 文件
(1)数据读取:textFile(String)
scala> val hdfsFile = sc.textFile("hdfs://hadoop102:9000/fruit.txt")
hdfsFile: org.apache.spark.rdd.RDD[String] = hdfs://hadoop102:9000/fruit.txt
MapPartitionsRDD[21] at textFile at :24
(2)数据保存: saveAsTextFile(String)
scala> hdfsFile.saveAsTextFile("/fruitOut")
1.2 Json 文件
如果 JSON 文件中每一行就是一个 JSON 记录,那么可以通过将 JSON 文件当做文本文件来读取,然后利用相关的 JSON 库对每一条数据进行 JSON 解析。
注意:使用 RDD 读取 JSON 文件处理很复杂,同时 SparkSQL 集成了很好的处理JSON 文件的方式,所以应用中多是
采用SparkSQL 处理 JSON 文件
。
(1)导入解析 json 所需的包
scala> import scala.util.parsing.json.JSON
(2)上传 json 文件到 HDFS
[atguigu@hadoop102 spark]$ hadoop fs -put ./examples/src/main/resources/people.json /
(3)读取文件
scala> val json = sc.textFile("/people.json")
json: org.apache.spark.rdd.RDD[String] = /people.json MapPartitionsRDD[8] at textFile at:24
(4)解析 json 数据
scala> val result = json.map(JSON.parseFull)
result: org.apache.spark.rdd.RDD[Option[Any]] = MapPartitionsRDD[10] at map at :27
(5)打印
scala> result.collect
res11: Array[Option[Any]] = Array(Some(Map(name -> Michael)), Some(Map(name -> Andy, age
-> 30.0)), Some(Map(name -> Justin, age -> 19.0)))
1.3 Sequence 文件
SequenceFile 文件是 Hadoop 用来存储二进制形式的 key-value 对而设计的一种平面文件(Flat File)。Spark 有专门用来读取 SequenceFile 的接口。在 SparkContext 中,可以调用 sequenceFile[ keyClass, valueClass](path)
。
注意:SequenceFile 文件只针对 PairRDD
(1)创建一个 RDD
scala> val rdd = sc.parallelize(Array((1,2),(3,4),(5,6)))
rdd: org.apache.spark.rdd.RDD[(Int, Int)] = ParallelCollectionRDD[13] at parallelize at:24
(2)将 RDD 保存为 Sequence 文件
scala> rdd.saveAsSequenceFile("file:///opt/module/spark/seqFile")
(3)查看该文件
[atguigu@hadoop102 seqFile]$ pwd
/opt/module/spark/seqFile
[atguigu@hadoop102 seqFile]$ ll
总用量 8
-rw-r--r-- 1 atguigu atguigu 108 10 月 9 10:29 part-00000
-rw-r--r-- 1 atguigu atguigu 124 10 月 9 10:29 part-00001
-rw-r--r-- 1 atguigu atguigu 0 10 月 9 10:29 _SUCCESS
[atguigu@hadoop102 seqFile]$ cat part-00000
SEQ org.apache.hadoop.io.IntWritable org.apache.hadoop.io.IntWritableط
(4)读取 Sequence 文件
scala> val seq = sc.sequenceFile[Int,Int]("file:///opt/module/spark/seqFile")
seq: org.apache.spark.rdd.RDD[(Int, Int)] = MapPartitionsRDD[18] at sequenceFile at:24
(5)打印读取后的 Sequence 文件
scala> seq.collect
res14: Array[(Int, Int)] = Array((1,2), (3,4), (5,6))
1.4 对象文件
对象文件是将对象序列化后保存的文件,采用 Java 的序列化机制。可以通过objectFile[k,v](path)
函数接收一个路径,读取对象文件,返回对应的 RDD,也可以通过调用 saveAsObjectFile() 实现对对象文件的输出。因为是序列化所以要指定类型
。
(1)创建一个 RDD
scala> val rdd = sc.parallelize(Array(1,2,3,4))
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[19] at parallelize at :24
(2)将 RDD 保存为 Object 文件
scala> rdd.saveAsObjectFile("file:///opt/module/spark/objectFile")
(3)查看该文件
[atguigu@hadoop102 objectFile]$ pwd
/opt/module/spark/objectFile
[atguigu@hadoop102 objectFile]$ ll
总用量 8
-rw-r--r-- 1 atguigu atguigu 142 10 月 9 10:37 part-00000
-rw-r--r-- 1 atguigu atguigu 142 10 月 9 10:37 part-00001
-rw-r--r-- 1 atguigu atguigu 0 10 月 9 10:37 _SUCCESS
[atguigu@hadoop102 objectFile]$ cat part-00000
SEQ!org.apache.hadoop.io.NullWritable"org.apache.hadoop.io.BytesWritableW@`l
(4)读取 Object 文件
scala> val objFile = sc.objectFile[(Int)]("file:///opt/module/spark/objectFile")
objFile: org.apache.spark.rdd.RDD[Int] = MapPartitionsRDD[31] at objectFile at :24
(5)打印读取后的 Sequence 文件
scala> objFile.collect
res19: Array[Int] = Array(1, 2, 3, 4)
二、文件系统类数据读取与保存
2.1 HDFS
Spark 的整个生态系统与 Hadoop 是完全兼容的,所以对于 Hadoop 所支持的文件类型或者数据库类型,Spark 也同样支持。另外,由于 Hadoop 的 API 有新旧两个版本,所以 Spark 为了能够兼容 Hadoop 所有的版本,也提供了两套创建操作接口。对于外部存储创建操作而言,hadoopRDD 和 newHadoopRDD 是最为抽象的两个函数接口
,主要包含以下四个参数:
(1)输入格式(InputFormat)
: 制定数据输入的类型,如 TextInputFormat 等,新旧两个版本所引用的版本分别是 org.apache.hadoop.mapred.InputFormat 和org.apache.hadoop.mapreduce.InputFormat(NewInputFormat)
(2)键类型
: 指定[K,V]键值对中 K 的类型
(3)值类型
: 指定[K,V]键值对中 V 的类型
(4)分区值
: 指定由外部存储生成的 RDD 的 partition 数量的最小值,如果没有指定,系统会使用默认值 defaultMinSplits
注意:其他创建操作的 API 接口都是为了方便最终的 Spark 程序开发者而设置的,是这两个 接口的高效实现版本。例如:对于textFile 而言,只有 path 这个指定文件路径的参数,其他参数在系统内部指定了默认值。
1、在 Hadoop 中以压缩形式存储的数据,不需要指定解压方式就能够进行读取,因为Hadoop 本身有一个解压器会根据压缩文件的后缀推断解压算法进行解压。
2、如果用 Spark 从 Hadoop 中读取某种类型的数据不知道怎么读取的时候,上网查找一个使用 map-reduce 的时候是怎么读取这种这种数据的,然后再将对应的读取方式改写成上面的hadoopRDD 和 newAPIHadoopRDD 两个类就行了。
2.2 MySQL 数据库连接
支持通过 Java JDBC 访问关系型数据库,需要通过 JdbcRDD 进行,示例如下:
(1)添加依赖
<dependency><groupId> mysql</groupId><artifactId>mysql-connector-java </artifactId><version>5.1.27</version>
</dependency>
(2)Mysql 读取:
import java.sql.DriverManager
import org.apache.spark.rdd.JdbcRDD
import org.apache.spark.{SparkConf, SparkContext}
object MysqlRDD {
def main(args: Array[String]): Unit = {//1.创建 spark 配置信息val sparkConf: SparkConf = new
SparkConf().setMaster("local[*]").setAppName("JdbcRDD")//2.创建 SparkContextval sc = new SparkContext(sparkConf)//3.定义连接 mysql 的参数val driver = "com.mysql.jdbc.Driver"val url = "jdbc:mysql://hadoop102:3306/rdd"val userName = "root"val passWd = "000000"//创建 JdbcRDDval rdd = new JdbcRDD(sc, () => {Class.forName(driver)DriverManager.getConnection(url, userName, passWd)},"select * from `rddtable` where `id`>=?;",1,10,1,r => (r.getInt(1), r.getString(2)))//打印最后结果println(rdd.count())rdd.foreach(println)sc.stop()
}
}
Mysql 写入:
def main(args: Array[String]) {val sparkConf = new SparkConf().setMaster("local[2]").setAppName("HBaseApp")val sc = new SparkContext(sparkConf)val data = sc.parallelize(List("Female", "Male","Female"))data.foreachPartition(insertData)
}
def insertData(iterator: Iterator[String]): Unit = {
Class.forName ("com.mysql.jdbc.Driver").newInstance()val conn = java.sql.DriverManager.getConnection("jdbc:mysql://master01:3306/rdd", "root",
"hive")iterator.foreach(data => {val ps = conn.prepareStatement("insert into rddtable(name) values (?)")ps.setString(1, data)ps.executeUpdate()})
}
2.3 HBase 数据库
由于 org.apache.hadoop.hbase.mapreduce.TableInputFormat 类的实现,Spark 可以通过Hadoop 输入格式访问 HBase。这个输入格式会返回键值对数据,其中键的类型为 org.apache.hadoop.hbase.io.ImmutableBytesWritable,而值的类型为org.apache.hadoop.hbase.client.Result。
(1)添加依赖
<dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-server</artifactId><version>1.3.1</version>
<dependency><dependency><groupId>org.apache.hbase</groupId><artifactId>hbase-client</artifactId><version>1.3.1</version>
<dependency>
(2)从 HBase 读取数据
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.client.Result
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.hadoop.hbase.util.Bytesobject HBaseSpark {def main(args: Array[String]): Unit = {//创建 spark 配置信息val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("JdbcRDD")//创建 SparkContextval sc = new SparkContext(sparkConf)//构建 HBase 配置信息val conf: Configuration = HBaseConfiguration.create()conf.set("hbase.zookeeper.quorum", "hadoop102,hadoop103,hadoop104")conf.set(TableInputFormat.INPUT_TABLE, "rddtable")//从 HBase 读取数据形成 RDDval hbaseRDD: RDD[(ImmutableBytesWritable, Result)] = sc.newAPIHadoopRDD(conf,classOf[TableInputFormat],classOf[ImmutableBytesWritable],classOf[Result])val count: Long = hbaseRDD.count()println(count)//对 hbaseRDD 进行处理hbaseRDD.foreach {case (_, result) =>val key: String = Bytes.toString(result.getRow)val name: String = Bytes.toString(result.getValue(Bytes.toBytes("info"),
Bytes.toBytes("name")))val color: String = Bytes.toString(result.getValue(Bytes.toBytes("info"),
Bytes.toBytes("color")))println("RowKey:" + key + ",Name:" + name + ",Color:" + color)}//关闭连接sc.stop()}
}
(3)往 HBase 写入
def main(args: Array[String]) {
//获取 Spark 配置信息并创建与 spark 的连接val sparkConf = new SparkConf().setMaster("local[*]").setAppName("HBaseApp")val sc = new SparkContext(sparkConf)
//创建 HBaseConfval conf = HBaseConfiguration.create()val jobConf = new JobConf(conf)jobConf.setOutputFormat(classOf[TableOutputFormat[ImmutableBytesWritable]])jobConf.set(TableOutputFormat.OUTPUT_TABLE, "fruit_spark")
//构建 Hbase 表描述器val fruitTable = TableName.valueOf("fruit_spark")val tableDescr = new HTableDescriptor(fruitTable)tableDescr.addFamily(new HColumnDescriptor("info".getBytes))
//创建 Hbase 表val admin = new HBaseAdmin(conf)if (admin.tableExists(fruitTable)) {admin.disableTable(fruitTable)admin.deleteTable(fruitTable)}admin.createTable(tableDescr)
//定义往 Hbase 插入数据的方法def convert(triple: (Int, String, Int)) = {val put = new Put(Bytes.toBytes(triple._1))put.addImmutable(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes(triple._2))put.addImmutable(Bytes.toBytes("info"), Bytes.toBytes("price"), Bytes.toBytes(triple._3))(new ImmutableBytesWritable, put)}
//创建一个 RDDval initialRDD = sc.parallelize(List((1,"apple",11), (2,"banana",12), (3,"pear",13)))
//将 RDD 内容写到 HBaseval localData = initialRDD.map(convert)localData.saveAsHadoopDataset(jobConf)
}
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
相关文章
- 洛谷p1637三元上升子序列
题目链接求序列中i<j<k且a[i]<a[j]<a[k]的三元组数量i< j<k且a[i]<a[j]<a[k]的三元组数量i<j<k且a[i]<a[j]<a[k]的三元组数量 类似于线段树求逆序对,前后跑两遍即可。 AC代码: #define MAX 500010 struct node {…...
2024/4/21 16:36:49 - _MSC_VER和VS版本对应
目录1 为什么要了解_MSC_VER和VS版本对应关系?2 _MSC_VER是微软C编译器的版本号,下面是_MSC_VER和VS的对应关系1 为什么要了解_MSC_VER和VS版本对应关系? 在验证C11/14, C17,或者C20的新特性,需要知道编译器是否支持,…...
2024/4/30 14:55:52 - Stream流终结操作方法
概念 终结操作的意思是,执行完此方法之后,Stream流将不能再执行其他操作。 常见方法 方法名说明void forEach(Consumer action)对此流的每个元素执行操作long count()返回此流中的元素数 代码演示 public class StreamDemo {public static void main(S…...
2024/4/23 2:30:47 - 服务器出现故障问题都有哪些,又该如何解决?
服务器支撑着整个企业的信息数据,对公司的信息储存、业务开展、正常运作等等环节都具有着至关重要的意义。对于一个企业来说,网站就是他们的命脉,而服务器则是存放网站的重要设备,如果服务器出现问题,对于企业来说造成…...
2024/4/30 5:19:26 - 关于验证ESX/ESXi主机上物理网络适配器的完整性
背景 1>网络适配器无法正常工作或工作不正常。 2>ESXi或ESX无法识别网络适配器。 3>ESXi或ESX在以下行的引导过程中停止响应,无法访问esxi无法访问vm无法管理vm连接esxi连接vm 分析 1>首先,排除问题是否是由硬件问题引起的,esxi上执行&am…...
2024/4/28 18:10:32 - 中国石油大学2020年秋季组队训练赛第六场 H The Biggest Triangle (空间几何)
H The Biggest Triangle 题目大意: 给出n条直线(以两个点的形式给出),求这些直线交点形成的三角形的最大周长 解题思路: n<100 直接枚举3条直线,然后要注意两个直线没有交点的情况(平行)&a…...
2024/4/25 9:29:31 - java面向对象编程--什么是类
在现实世界中,你经常会发现许多独立的物体都是同一种。可能还有成千上万的其他自行车存在,都是相同的制造和型号。每辆自行车都是由相同的蓝图组成,因此包含相同的组件。在面向对象的术语中,我们说你的自行车是被称为自行车的对象…...
2024/4/25 11:13:27 - 蓝桥杯 基础练习矩形面积交
蓝桥杯 基础练习 矩形面积交 问题描述:平面上有两个矩形,它们的边平行于直角坐标系的X轴或Y轴。 输入格式:输入仅包含两行,每行描述一个矩形。 在每行中,给出矩形的一对相对顶点的坐标,每个点的坐标都用两…...
2024/4/22 18:30:17 - Apache Tika 1.24包冲突记录
tika-app版本1.24 1. 报错:java.lang.NoSuchMethodError: org.apache.commons.io.IOUtils.read(Ljava/io/InputStream;[B)I commons-io-2.1.jar换成commons.io-2.6.jar 2. 报错:java.lang.NoSuchMethodError: org.apache.commons.compress.archivers.A…...
2024/4/21 7:59:35 - 5. 表的连接
一起写出准确的SQL 语法篇: 五类最常用的SQL语句Oracle的四种集合的运算Null值的注意事项oracle 条件逻辑结构表的连接 文章目录一起写出准确的SQL1、外连接2、内连接3、交叉连接表间关联的注意事项sql语句中关于表的连接分成外连接、内连接和交叉连接。 1、外连…...
2024/4/1 17:26:54 - warp-ctc源码安装
warp-ctc是可以在CPU和GPU上实现并行计算CTCLoss的开源库,现在支持pytroch和tensorflow的调用。安装过程和wrap-transducer相似,下面记录下过程和错误解决方法。 本文是在ubuntu18.04的系统上进行的。 warp-ctc下载地址 源码编译warp-transducer 首先…...
2024/4/1 17:26:52 - 二、在 GitHub 上创建仓库
在 GitHub 上创建仓库 首先,打开 GitHub 注册个人账户并登录。登录后,在个人主页的右上角点击 New repository 创建新的仓库: 打开页面如下图所示,填入相关信息。注意下图紫色框中有两个下拉按钮,左边的用来选择忽略文…...
2024/4/22 4:50:43 - 连连跨境推出锁汇新功能,假期提现不受汇率影响!
最近,做跨境电商的朋友都有点郁闷,那就是美元汇率一直在下降。有时候即使是短短几天时间,都会有很大的波动。如果赶上假期,无法及时提现,而汇率一直下降,就会有很大的损失,实在有点悲催。为了帮…...
2024/4/24 21:06:59 - 剑指offerJZ25复杂链表的复制
输入一个复杂链表(每个节点中有节点值,以及两个指针,一个指向下一个节点,另一个特殊指针random指向一个随机节点),请对此链表进行深拷贝,并返回拷贝后的头结点。(注意,输…...
2024/4/21 11:37:08 - 网络工程人的自我介绍
其实想写这一篇东西好久了,以前的想法是在以后的场景中介绍自己活着找工作的时候搬出来用用,想在想来这些或许会用到,但是不同的年纪写出来的自我介绍肯定会有很大的不同。写这篇文档的目的也就显而易见了——记录自己大学刚毕业的种年轻的心…...
2024/5/2 0:18:23 - STM32CubeIDE调用不同的ld文件
不同配置调用不同的LD文件。 App配置选择“STM32L071RBTX_FLASH_App.ld” Debug、Release配置选择“STM32L071RBTX_FLASH_All.ld”...
2024/4/25 18:33:55 - 计算机网络第六版 及 课件PPt
计算机网络基本是面试互联网大厂的必备知识 链接:https://pan.baidu.com/s/1PJe4kwRVg3DxcdTkyuP1VA 提取码:8e2d PS:以防失效,我建了个QQ群:736386324...
2024/4/22 10:43:09 - Mysql连接问题
如图: 报错信息:2059 - Authentication plugin ‘caching_sha2_password’ cannot be loaded: dlopen(…/Frameworks/caching_sha2_password.so, 2): image not found 解决方案: 将 MySQL 8.0 的身份认证插件改回为 mysql_native_password …...
2024/4/1 17:19:46 - Linux操作之组管理操作
Linux操作之组管理操作 组简介: Linux中的组相当于角色的概念,可以对有共性的用户进行统一的管理。每一个用户至少属于一个组,不能独立于组存在,它可以属于多个组;新建用户如果不指定组,则会新建一个组&am…...
2024/4/1 17:19:44 - springboot前后端分离图片上传接口
Springboot前后端分离图片上传接口 1.接口层代码 PostMapping("/upload")ApiOperation(value "图片上传")public FebsResponse upload(RequestParam("imgFile")MultipartFile imgFile, String planNo){if (imgFile.isEmpty()) {return new Fe…...
2024/4/22 3:36:53
最新文章
- 45. UE5 RPG 使用元属性(Meta Attributes)以及使用Set by Caller修改伤害
在RPG游戏中,我们是不会直接修改生命值的属性,是因为在修改角色属性时,需要获取角色的属性并进行复杂的计算,所以,我们正常情况下使用元属性(Meta Attributes)作为计算的中间的媒。在服务器上先…...
2024/5/2 22:20:45 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言,在此感激不尽。 权重和梯度的更新公式如下: w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/3/20 10:50:27 - redis之主从复制、哨兵模式
一 redis群集有三种模式 主从复制: 主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。 主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。 缺陷: 故障恢复无法自动化&…...
2024/5/1 13:42:29 - ADB(Android Debug Bridge)操作命令详解及示例
ADB(Android Debug Bridge)是一个强大的命令行工具,它是Android SDK的一部分,主要用于Android设备(包括真实手机和平板电脑以及模拟器)的调试、系统控制和应用程序部署。 下面是一些ADB的常用命令ÿ…...
2024/5/1 13:48:24 - 416. 分割等和子集问题(动态规划)
题目 题解 class Solution:def canPartition(self, nums: List[int]) -> bool:# badcaseif not nums:return True# 不能被2整除if sum(nums) % 2 ! 0:return False# 状态定义:dp[i][j]表示当背包容量为j,用前i个物品是否正好可以将背包填满ÿ…...
2024/5/2 11:19:01 - 【Java】ExcelWriter自适应宽度工具类(支持中文)
工具类 import org.apache.poi.ss.usermodel.Cell; import org.apache.poi.ss.usermodel.CellType; import org.apache.poi.ss.usermodel.Row; import org.apache.poi.ss.usermodel.Sheet;/*** Excel工具类** author xiaoming* date 2023/11/17 10:40*/ public class ExcelUti…...
2024/5/2 16:04:58 - Spring cloud负载均衡@LoadBalanced LoadBalancerClient
LoadBalance vs Ribbon 由于Spring cloud2020之后移除了Ribbon,直接使用Spring Cloud LoadBalancer作为客户端负载均衡组件,我们讨论Spring负载均衡以Spring Cloud2020之后版本为主,学习Spring Cloud LoadBalance,暂不讨论Ribbon…...
2024/5/1 21:18:12 - TSINGSEE青犀AI智能分析+视频监控工业园区周界安全防范方案
一、背景需求分析 在工业产业园、化工园或生产制造园区中,周界防范意义重大,对园区的安全起到重要的作用。常规的安防方式是采用人员巡查,人力投入成本大而且效率低。周界一旦被破坏或入侵,会影响园区人员和资产安全,…...
2024/5/2 9:47:31 - VB.net WebBrowser网页元素抓取分析方法
在用WebBrowser编程实现网页操作自动化时,常要分析网页Html,例如网页在加载数据时,常会显示“系统处理中,请稍候..”,我们需要在数据加载完成后才能继续下一步操作,如何抓取这个信息的网页html元素变化&…...
2024/5/2 9:47:31 - 【Objective-C】Objective-C汇总
方法定义 参考:https://www.yiibai.com/objective_c/objective_c_functions.html Objective-C编程语言中方法定义的一般形式如下 - (return_type) method_name:( argumentType1 )argumentName1 joiningArgument2:( argumentType2 )argumentName2 ... joiningArgu…...
2024/5/2 6:03:07 - 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】
👨💻博客主页:花无缺 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 本文由 花无缺 原创 收录于专栏 【洛谷算法题】 文章目录 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】🌏题目描述🌏输入格…...
2024/5/2 9:47:30 - 【ES6.0】- 扩展运算符(...)
【ES6.0】- 扩展运算符... 文章目录 【ES6.0】- 扩展运算符...一、概述二、拷贝数组对象三、合并操作四、参数传递五、数组去重六、字符串转字符数组七、NodeList转数组八、解构变量九、打印日志十、总结 一、概述 **扩展运算符(...)**允许一个表达式在期望多个参数࿰…...
2024/5/1 11:24:00 - 摩根看好的前智能硬件头部品牌双11交易数据极度异常!——是模式创新还是饮鸩止渴?
文 | 螳螂观察 作者 | 李燃 双11狂欢已落下帷幕,各大品牌纷纷晒出优异的成绩单,摩根士丹利投资的智能硬件头部品牌凯迪仕也不例外。然而有爆料称,在自媒体平台发布霸榜各大榜单喜讯的凯迪仕智能锁,多个平台数据都表现出极度异常…...
2024/5/2 5:31:39 - Go语言常用命令详解(二)
文章目录 前言常用命令go bug示例参数说明 go doc示例参数说明 go env示例 go fix示例 go fmt示例 go generate示例 总结写在最后 前言 接着上一篇继续介绍Go语言的常用命令 常用命令 以下是一些常用的Go命令,这些命令可以帮助您在Go开发中进行编译、测试、运行和…...
2024/5/1 20:22:59 - 用欧拉路径判断图同构推出reverse合法性:1116T4
http://cplusoj.com/d/senior/p/SS231116D 假设我们要把 a a a 变成 b b b,我们在 a i a_i ai 和 a i 1 a_{i1} ai1 之间连边, b b b 同理,则 a a a 能变成 b b b 的充要条件是两图 A , B A,B A,B 同构。 必要性显然࿰…...
2024/5/2 9:47:28 - 【NGINX--1】基础知识
1、在 Debian/Ubuntu 上安装 NGINX 在 Debian 或 Ubuntu 机器上安装 NGINX 开源版。 更新已配置源的软件包信息,并安装一些有助于配置官方 NGINX 软件包仓库的软件包: apt-get update apt install -y curl gnupg2 ca-certificates lsb-release debian-…...
2024/5/2 9:47:27 - Hive默认分割符、存储格式与数据压缩
目录 1、Hive默认分割符2、Hive存储格式3、Hive数据压缩 1、Hive默认分割符 Hive创建表时指定的行受限(ROW FORMAT)配置标准HQL为: ... ROW FORMAT DELIMITED FIELDS TERMINATED BY \u0001 COLLECTION ITEMS TERMINATED BY , MAP KEYS TERMI…...
2024/5/2 0:07:22 - 【论文阅读】MAG:一种用于航天器遥测数据中有效异常检测的新方法
文章目录 摘要1 引言2 问题描述3 拟议框架4 所提出方法的细节A.数据预处理B.变量相关分析C.MAG模型D.异常分数 5 实验A.数据集和性能指标B.实验设置与平台C.结果和比较 6 结论 摘要 异常检测是保证航天器稳定性的关键。在航天器运行过程中,传感器和控制器产生大量周…...
2024/5/2 8:37:00 - --max-old-space-size=8192报错
vue项目运行时,如果经常运行慢,崩溃停止服务,报如下错误 FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory 因为在 Node 中,通过JavaScript使用内存时只能使用部分内存(64位系统&…...
2024/5/2 9:47:26 - 基于深度学习的恶意软件检测
恶意软件是指恶意软件犯罪者用来感染个人计算机或整个组织的网络的软件。 它利用目标系统漏洞,例如可以被劫持的合法软件(例如浏览器或 Web 应用程序插件)中的错误。 恶意软件渗透可能会造成灾难性的后果,包括数据被盗、勒索或网…...
2024/5/2 9:47:25 - JS原型对象prototype
让我简单的为大家介绍一下原型对象prototype吧! 使用原型实现方法共享 1.构造函数通过原型分配的函数是所有对象所 共享的。 2.JavaScript 规定,每一个构造函数都有一个 prototype 属性,指向另一个对象,所以我们也称为原型对象…...
2024/5/1 14:33:22 - C++中只能有一个实例的单例类
C中只能有一个实例的单例类 前面讨论的 President 类很不错,但存在一个缺陷:无法禁止通过实例化多个对象来创建多名总统: President One, Two, Three; 由于复制构造函数是私有的,其中每个对象都是不可复制的,但您的目…...
2024/5/2 18:46:52 - python django 小程序图书借阅源码
开发工具: PyCharm,mysql5.7,微信开发者工具 技术说明: python django html 小程序 功能介绍: 用户端: 登录注册(含授权登录) 首页显示搜索图书,轮播图࿰…...
2024/5/2 7:30:11 - 电子学会C/C++编程等级考试2022年03月(一级)真题解析
C/C++等级考试(1~8级)全部真题・点这里 第1题:双精度浮点数的输入输出 输入一个双精度浮点数,保留8位小数,输出这个浮点数。 时间限制:1000 内存限制:65536输入 只有一行,一个双精度浮点数。输出 一行,保留8位小数的浮点数。样例输入 3.1415926535798932样例输出 3.1…...
2024/5/1 20:56:20 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下:1、长按电脑电源键直至关机,然后再按一次电源健重启电脑,按F8健进入安全模式2、安全模式下进入Windows系统桌面后,按住“winR”打开运行窗口,输入“services.msc”打开服务设置3、在服务界面,选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。
%读入6幅图像(每一幅图像的大小是564*564) f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面,在等待界面中我们需要等待操作结束才能关机,虽然这比较麻烦,但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows,请勿关闭计算机”的提示,要过很久才能进入系统,有的用户甚至几个小时也无法进入,下面就教大家这个问题的解决方法。第一种方法:我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题,电脑时发现开机屏幕显现“正在配置Windows Update,请勿关机”(如下图所示),而且还需求等大约5分钟才干进入系统。这是怎样回事呢?一切都是正常操作的,为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示,没过几秒后电脑自动重启,每次开机都这样无法进入系统,此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一:开机按下F8,在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况,就是电脑提示正在准备windows请勿关闭计算机,碰到这样的问题该怎么解决呢,现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法:1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后,每次关机的时候桌面上都会显示一个“配置Windows Update的界面,提示请勿关闭计算机”,每次停留好几分钟才能正常关机,导致什么情况引起的呢?出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着,别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚,只能是考虑备份数据后重装系统了。解决来方案一:管理员运行cmd:net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?
原标题:电脑提示“配置Windows Update请勿关闭计算机”怎么办?win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢?一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了,具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面,长时间没反应,无法进入系统。这个问题原来帮其他同学也解决过,网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法,并在最后教给你1种保护系统安全的好方法,一起来看看!电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中,添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候,开启电脑发现电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机。。.这要怎么办呢?下面小编就带着大家一起看看吧!如果能够正常进入系统,建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题,就是我们的win7系统在关机的时候,总是喜欢显示“准备配置windows,请勿关机”这样的一个页面,没有什么大碍,但是如果一直等着的话就要两个小时甚至更久都关不了机,非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时,一般是您正对windows进行升级,但是这个要是长时间没有反应,我们不能再傻等下去了。可能是电脑出了别的问题了,来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况,当我们打开电脑之后,发现一直停留在一个界面:“配置Windows Update失败,还原更改请勿关闭计算机”,等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57