saveAsHadoopDataset和saveAsNewAPIHadoopDataset源码分析及用法说明
在研究Spark Streaming保存数据到HBase的时候,其中一种方案用到了Spark的两个算子,分别是saveAsHadoopDataset
和saveAsNewAPIHadoopDataset
,它们可以将RDD输出到Hadoop支持的存储系统中。
本文对这两个算子进行一些源码分析,并以HBase为目标存储系统描述算子的使用方法。
Spark版本:2.11-2.4.0-cdh6.3.2。
HBase版本:2.1.0-cdh6.3.2。
Hadoop版本:3.0.0-cdh6.3.2。
前置知识
在分析这两个算子之前,需要先补充一下Hadoop MapReduce的一些知识。
Hadoop MapReduce分为两套API,分别是:
- mapred
- mapreduce
其中mapreduce相对于mapred较新,一般称为新API。
在Hadoop生态中,大部分服务都对接了这两套API,比如本文涉及到的Spark。
对应关系:
MapReduce API | Spark API |
---|---|
mapred | saveAsHadoopDataset |
mapreduce | saveAsNewAPIHadoopDataset |
源码分析
两个算子的源码位置:core/src/main/scala/org/apache/spark/rdd/PairRDDFunctions.scala
saveAsNewAPIHadoopDataset和saveAsHadoopDataset的源码:
/**
* Output the RDD to any Hadoop-supported storage system with new Hadoop API, using a Hadoop
* Configuration object for that storage system. The Conf should set an OutputFormat and any
* output paths required (e.g. a table name to write to) in the same way as it would be
* configured for a Hadoop MapReduce job.
*
* @note We should make sure our tasks are idempotent when speculation is enabled, i.e. do
* not use output committer that writes data directly.
* There is an example in https://issues.apache.org/jira/browse/SPARK-10063 to show the bad
* result of using direct output committer with speculation enabled.
*/
def saveAsNewAPIHadoopDataset(conf: Configuration): Unit = self.withScope {
val config = new HadoopMapReduceWriteConfigUtil[K, V](new SerializableConfiguration(conf))
SparkHadoopWriter.write(rdd = self,config = config)
}/**
* Output the RDD to any Hadoop-supported storage system, using a Hadoop JobConf object for
* that storage system. The JobConf should set an OutputFormat and any output paths required
* (e.g. a table name to write to) in the same way as it would be configured for a Hadoop
* MapReduce job.
*/
def saveAsHadoopDataset(conf: JobConf): Unit = self.withScope {
val config = new HadoopMapRedWriteConfigUtil[K, V](new SerializableJobConf(conf))
SparkHadoopWriter.write(rdd = self,config = config)
}
代码注释描述的很清楚。两个方法都可以将RDD输出到Hadoop支持的存储系统,不过使用的配置有些不同,而这个不同的地方就是mapreduce两套API之间的差异所在。
saveAsNewAPIHadoopDataset
方法接收一个Hadoop Configuration对象。Configuration应该设置一个OutputFormat和输出路径,输出路径可以是一个表名。在代码注释中提到了注意事项,感兴趣的可以自行研究。
saveAsHadoopDataset
方法接收一个Hadoop JobConf对象。JobConf应该设置一个OutputFormat和输出路径,输出路径可以是一个表名。
仔细观察代码,可以发现,重点是HadoopMapReduceWriteConfigUtil
和HadoopMapRedWriteConfigUtil
,以及SparkHadoopWriter
,它们的源码位置在org/apache/spark/internal/io/SparkHadoopWriter.scala。
其中HadoopMapReduceWriteConfigUtil
读取Configuration,创建一个输出工作流;HadoopMapRedWriteConfigUtil
读取JobConf,创建一个输出工作流。
SparkHadoopWriter
负责读取这个输出工作流,构建Job,然后将RDD输出到Hadoop支持的存储系统中。
这里分析下SparkHadoopWriter
的输出逻辑,关键代码如下:
// Try to write all RDD partitions as a Hadoop OutputFormat.
try {val ret = sparkContext.runJob(rdd, (context: TaskContext, iter: Iterator[(K, V)]) => {// SPARK-24552: Generate a unique "attempt ID" based on the stage and task attempt numbers.// Assumes that there won't be more than Short.MaxValue attempts, at least not concurrently.val attemptId = (context.stageAttemptNumber << 16) | context.attemptNumberexecuteTask(context = context,config = config,jobTrackerId = jobTrackerId,commitJobId = commitJobId,sparkPartitionId = context.partitionId,sparkAttemptNumber = attemptId,committer = committer,iterator = iter)})committer.commitJob(jobContext, ret)logInfo(s"Job ${jobContext.getJobID} committed.")
} catch {case cause: Throwable =>logError(s"Aborting job ${jobContext.getJobID}.", cause)committer.abortJob(jobContext)throw new SparkException("Job aborted.", cause)
}
在上述代码中,sparkContext.runJob
会创建一组tasks(详见SparkContext源码),每个task都会执行executeTask
这个函数,这个函数会将一个RDD分区的数据输出。tasks组创建完成后,提交整个Job。
算子用法示例
在应用开发中,我们其实更关注算子的配置构造,也就是如何构造一个JobConf或Configuration。
接下来结合HBase描述一下这两个算子的实际用法。
saveAsNewAPIHadoopDataset用法
上文提到,saveAsNewAPIHadoopDataset
方法接收一个Hadoop Configuration对象。Configuration应该设置一个OutputFormat和输出路径,输出路径可以是一个表名。
所以,我们需要创建一个HBase的Hadoop Configuration对象,并设置OutputFormat和输出表名。
示例:
public static void saveToHBase1(JavaPairRDD<String, Integer> rdd, List<String> resources, String hbaseTableName) {Configuration config = HBaseConfiguration.create();// 添加必要的配置文件 (hbase-site.xml, core-site.xml)for (int i = 0; i < resources.size(); i++) {config.addResource(new Path(resources.get(i)));}config.set("mapreduce.job.outputformat.class", "org.apache.hadoop.hbase.mapreduce.TableOutputFormat");config.set("hbase.mapred.outputtable", hbaseTableName);JavaPairRDD<ImmutableBytesWritable, Put> hbasePuts = rdd.mapToPair(line -> {Put put = new Put(Bytes.toBytes(line._1));put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(line._2.toString()));return new Tuple2<>(new ImmutableBytesWritable(), put);});hbasePuts.saveAsNewAPIHadoopDataset(config);
}
首先,我们创建Hadoop Configuration对象,然后设置OutputFormat和输出表名。
saveAsNewAPIHadoopDataset
对应mapreduce API,所以我们应该使用Hadoop mapreduce API的设置方法,
通过分析Hadoop mapreduce API和源码,我发现Job类的setOutputFormatClass
可以设置OutputFormat,源码如下:
/*** Set the {@link OutputFormat} for the job.* @param cls the <code>OutputFormat</code> to use* @throws IllegalStateException if the job is submitted*/
public void setOutputFormatClass(Class<? extends OutputFormat> cls
) throws IllegalStateException {ensureState(JobState.DEFINE);conf.setClass(OUTPUT_FORMAT_CLASS_ATTR, cls,OutputFormat.class);
}
设置方法是将OUTPUT_FORMAT_CLASS_ATTR
设置为我们需要的值,但是这对应用来说是无法使用的,我们需要了解OUTPUT_FORMAT_CLASS_ATTR
的真面目。通过继续分析源码,发现Job类实现了JobContext接口,而这个接口继承自MRJobConfig接口,到此,我们找到了,源码如下:
public static final String OUTPUT_FORMAT_CLASS_ATTR = "mapreduce.job.outputformat.class";
所以,在应用中,我们可以使用mapreduce.job.outputformat.class
来设置OutputFormat。
找到了key,那value应该是什么?
答案是Hadoop mapreduce API的OutputFormat的子类。
HBase实现了mapreduce API的OutputFormat的子类,是org.apache.hadoop.hbase.mapreduce.TableOutputFormat。
在这个类中,提供了设置输出表名的方法,源码如下:
/** Job parameter that specifies the output table. */
public static final String OUTPUT_TABLE = "hbase.mapred.outputtable";
saveAsHadoopDataset用法
上文提到,saveAsHadoopDataset
方法接收一个Hadoop JobConf对象。JobConf应该设置一个OutputFormat和输出路径,输出路径可以是一个表名。
所以,我们需要创建一个HBase的Hadoop Configuration对象,并设置OutputFormat和输出表名。
示例:
public static void saveToHBase2(JavaPairRDD<String, Integer> rdd, List<String> resources, String hbaseTableName) {Configuration config = HBaseConfiguration.create();// 添加必要的配置文件 (hbase-site.xml, core-site.xml)for (int i = 0; i < resources.size(); i++) {config.addResource(new Path(resources.get(i)));}JobConf jobConfig = new JobConf(config);jobConfig.setOutputFormat(TableOutputFormat.class);jobConfig.set(TableOutputFormat.OUTPUT_TABLE, hbaseTableName);JavaPairRDD<ImmutableBytesWritable, Put> hbasePuts = rdd.mapToPair(line -> {Put put = new Put(Bytes.toBytes(line._1));put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(line._2.toString()));return new Tuple2<>(new ImmutableBytesWritable(), put);});hbasePuts.saveAsHadoopDataset(jobConfig);
}
首先,我们创建Hadoop Configuration对象,然后设置OutputFormat和输出表名。
saveAsHadoopDataset
对应mapred API,所以我们应该使用Hadoop mapred API的设置方法,
通过分析Hadoop mapred API和源码,我发现JobConf类的setOutputFormatClass
可以设置OutputFormat,源码如下:
/*** Set the {@link OutputFormat} implementation for the map-reduce job.** @param theClass the {@link OutputFormat} implementation for the map-reduce * job.*/
public void setOutputFormat(Class<? extends OutputFormat> theClass) {setClass("mapred.output.format.class", theClass, OutputFormat.class);
}
由于我们需要创建JobConf的实例,所以可以直接使用这个方法设置:
jobConfig.setOutputFormat(TableOutputFormat.class);
这个TableOutputFormat
来自org.apache.hadoop.hbase.mapred.TableOutputFormat。
设置输出表名:
jobConfig.set(TableOutputFormat.OUTPUT_TABLE, hbaseTableName);
其他
在上面的实例代码中,有一点需要注意:
JavaPairRDD<ImmutableBytesWritable, Put> hbasePuts = rdd.mapToPair(line -> {Put put = new Put(Bytes.toBytes(line._1));put.addColumn(Bytes.toBytes("cf"), Bytes.toBytes("col"), Bytes.toBytes(line._2.toString()));return new Tuple2<>(new ImmutableBytesWritable(), put);});
这里构造了可以保存到HBase的RDD。
对于org.apache.hadoop.hbase.mapred.TableOutputFormat,继承自FileOutputFormat<ImmutableBytesWritable, Put>
,所以需要构造符合输出格式的RDD。
对于org.apache.hadoop.hbase.mapreduce.TableOutputFormat,继承自OutputFormat<KEY, Mutation>
,其中KEY
被忽略,Mutation
必须是Put
或Delete
实例。
代码注释如下:
/*** Convert Map/Reduce output and write it to an HBase table. The KEY is ignored* while the output value <u>must</u> be either a {@link Put} or a* {@link Delete} instance.*/
总结
本文主要讨论了saveAsNewAPIHadoopDataset
和saveAsHadoopDataset
的源码分析和用法,同时向外做了一些拓展性的讨论。
其中记录了探索的过程,希望可以帮助读者理解的更好。
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
相关文章
- 内存的读写速度是硬盘的多少倍
内存的读写速度是硬盘的多少倍: DDR3内存读写速度大概10G每秒(10000M) 固态硬盘速度是300M每秒,是内存的三十分之一 机械硬盘的速度是100M每秒,是内存的百分之一 DDR4内存读写速度大概50G每秒(50000M&am…...
2024/5/8 16:35:39 - Git & GitHub (Git基本原理)
搬运工… … (讲不明白原理但是还想水一篇…) 文章目录一、哈希是什么?二、 机制原理1.版本数据管理机制2.分支管理机制一、哈希是什么? 哈希的特点是不论输入的文本 / 数据有多么大 , 经过hash算法之后 , 返回的内容都是一个16字节的内容 . 并且hash算…...
2024/4/7 10:47:25 - Filecoin资讯:太空竞赛第二阶段已开始,本周五或下周初公布第一轮奖励结果
星际原社区9.17日讯: 9月17日上午,Filecoin团队再次面向社区发起AMA活动。官方在回答提问时表示,太空竞赛第二阶段已经开始了。预计是本周五或下周初公布太空竞赛1奖励的结果。 在被问及“在太空竞赛中由矿工完成的扇区中,有多少…...
2024/5/8 15:32:01 - STM32—cubeIDE+DMA+USART 接收任意长度的数据
关于usart串口收发信息网上能搜到很多相关资料,但大都是只能是有限的字符,有的能发不限字符,但大部分不能直接用,对新手来说不是很友好。按以下做,其实很简单就能实现 1、配置USART1,选择异步asynchronous,…...
2024/5/8 17:15:34 - Hyper-v虚拟网络设置
1、先关闭虚拟机...
2024/5/9 1:27:12 - 记一次Spring的只读事务(mysql readonly)
Spirng加只读事务最简捷方式:Transactional(readOnly true) 那么,加了这个玩意,到底起了什么作用呢?来看下源码: Spring里带事务的service方法会先进入org.springframework.transaction.support.AbstractPlatformTr…...
2024/4/30 17:25:10 - Gradle项目打包并Docker部署
1.父级build.gradle 注:gradle-docker-plugin下载比较缓慢,可以从中央仓库下载下来之后传到本地私服 buildscript {ext {springBootVersion 2.2.1.RELEASE}repositories {maven {url "http://192.168.6.135:8081/nexus/content/groups/public/…...
2024/5/8 19:49:57 - Tensorflow2.0 感知机梯度计算
单输出感知机 梯度计算 """单一输出 单层感知机 """ import tensorflow as tf# 准备数据 x tf.random.normal([1, 3]) w tf.ones([3, 1]) b tf.ones([1]) y tf.constant([1])# 计算梯度 with tf.GradientTape() as tape:tape.watch([w, b])…...
2024/4/7 10:57:07 - 基于python的开源商业软件套装 Odoo 简介
首先引用一段比较流行的介绍:Odoo是一系列开源商业应用程序套装,此套装可满足中小型企业的一切应用需求,例如,企业基本的进销存、采购、销售、MRP生产制造、品保质量保障、企业招聘、员工合同、休假、午餐管理、内部论坛、车队管理…...
2024/4/23 18:47:28 - Linux驱动编译错误:implicit declaration of function “copy_form_user”,“copy_to_user“
编译驱动,报错:implicit declaration of function “copy_form_user”, implicit declaration of function “copy_to_user”, 原因很简单是缺少头文件。 添加头文件即可: #include <linux/uaccess.h> 报错&am…...
2024/5/7 21:40:00 - ORACLE数据库主备两库重启操作步骤
数据库重启操作过程中,每一个步骤都是先操作备库,确认无误后操作主库 主库实例名:orcl 备库实例名:standby 服务名:orcale service orcl 服务名:oracle service standby 主库用户名:sys 备库…...
2024/4/7 10:57:04 - eclipse安装Activiti Designer插件
eclipse安装Activiti Designer插件 这里写图片描述 ##方法一:在线安装(翻墙后安装成功) 打开eclipse,在Help->Install New Software后的弹出窗点击add按钮。 在弹出窗口的文本框里输入一下内容 Name:Activiti …...
2024/4/7 10:57:03 - 登录密码框 内容的显示隐藏
逻辑:input自带的password属性,只需要点击眼睛,控制type属性即可;注意点:当typepassword时,给input的value一个挂靠在state中的类型,不需要具体值 /*** name Pass_word* description 登录类验证…...
2024/4/7 10:57:04 - 项目管理学习总结(2)
项目管理学习总结(2) 一、项目管理的关键要素 1.项目阶段 (1)定义:一组具有逻辑关系的项目活动的集合,通常以一个或多个可交付成果的完成为结束 (2)关键组成部分:阶段审查 (3&#…...
2024/4/21 9:17:47 - burp suite
2020/9/17 Repeater板块 在proxy模块抓到包后,点击Action按钮,选择 Send to Repeater 转到Repeater板块,点击go按钮,在Response区域内,可以看到服务器返回的信息 Intruder板块 同上,Action按钮 -->…...
2024/4/7 10:57:00 - layui富文本编辑器在Java项目中的应用
需求: 在线反馈功能,为了更好描述问题,因此问题提交前有一个图文描述(能支持视频最好)。 工具: 后端:Java 前端:LayUI 插件:thymeleaf 文本编辑器用:kz.layedit 富文本编辑器拓展 H…...
2024/5/9 1:45:56 - 通过汇编程序理解汇编和链接过程
一个标准C程序到最终的可执行文件包含如下几个过程: 但今天我们要从汇编程序开始讨论,所以不讨论预编译和编译过程,直接从汇编代码开始,讨论汇编和链接过程。 汇编代码简析 通过编写汇编程序,然后分析它的汇编和链接…...
2024/4/14 14:51:25 - 阿里Druid Datasource访问RDS安全级别受限
RDS是关系型数据库服务(Relational Database Service)的简称,是一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。具有多重安全防护措施和完善的性能监控体系,并提供专业的数据库备份、恢复及优化方案,使您能专注…...
2024/4/12 22:40:40 - 如果快速删除node_modules文件
方法一:使用rimraf模块的命令 在全局安装rimraf模块,然后通过其命令来快速删除node_modules目录: npm install rimraf -g rimraf node_modules方法二:Windows下使用命令来删除目录 首先在cmd窗口中进入到node_modules文件夹所在…...
2024/4/26 2:26:59 - :App:mergeDebugResours 卡住不动 ionic cordova build android执行时卡住
gradle的版本调整,修改了这个问题。修改了这个问题。同事那拷过来的项目,用的是4.1的版本。本地android的项目用的是4.10.1版本。修改为本地版本。终于不卡了。修改platform/android下的build.gradle 和 platform/android/app下的build.gradle的gradle版…...
2024/4/24 12:51:14
最新文章
- 力扣简单题
393. 判断子序列 给定字符串 s 和 t ,判断 s 是否为 t 的子序列。 字符串的一个子序列是原始字符串删除一些(也可以不删除)字符而不改变剩余字符相对位置形成的新字符串。(例如,"ace"是"abcde"的…...
2024/5/9 4:08:28 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言,在此感激不尽。 权重和梯度的更新公式如下: w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/5/7 10:36:02 - cocos 数字滚动、数字过渡动画
代码: //数字滚动 let sdk: any { a: start_score, } tween(sdk).to(1, { a: this.score }, { progress: (start, end, current, time) > { // this.lab.string Math.round(start (end - start) * time) ;//修改页面上的值 // console.log(修改ing, start (…...
2024/5/4 6:23:29 - C++ 【原型模式】
简单介绍 原型模式是一种创建型设计模式 | 它使你能够复制已有对象,客户端不需要知道要复制的对象是哪个类的实例,只需通过原型工厂获取该对象的副本。 以后需要更改具体的类或添加新的原型类,客户端代码无需改变,只需修改原型工…...
2024/5/7 14:08:47 - 实现窗口拖拽移动
import Vue from "vue"; /* * 定义公共js里,在入口文件main.js中import; * 给elementUI的dialog上加上 v-dialogDrag 指令就可以实现弹窗的全屏和拉伸了。 */ // v-dialogDrag: 弹窗拖拽水平方向伸缩 Vue.directive(dialogDrag, { bind(e…...
2024/5/4 10:53:59 - 416. 分割等和子集问题(动态规划)
题目 题解 class Solution:def canPartition(self, nums: List[int]) -> bool:# badcaseif not nums:return True# 不能被2整除if sum(nums) % 2 ! 0:return False# 状态定义:dp[i][j]表示当背包容量为j,用前i个物品是否正好可以将背包填满ÿ…...
2024/5/8 19:32:33 - 【Java】ExcelWriter自适应宽度工具类(支持中文)
工具类 import org.apache.poi.ss.usermodel.Cell; import org.apache.poi.ss.usermodel.CellType; import org.apache.poi.ss.usermodel.Row; import org.apache.poi.ss.usermodel.Sheet;/*** Excel工具类** author xiaoming* date 2023/11/17 10:40*/ public class ExcelUti…...
2024/5/7 22:31:36 - Spring cloud负载均衡@LoadBalanced LoadBalancerClient
LoadBalance vs Ribbon 由于Spring cloud2020之后移除了Ribbon,直接使用Spring Cloud LoadBalancer作为客户端负载均衡组件,我们讨论Spring负载均衡以Spring Cloud2020之后版本为主,学习Spring Cloud LoadBalance,暂不讨论Ribbon…...
2024/5/9 2:44:26 - TSINGSEE青犀AI智能分析+视频监控工业园区周界安全防范方案
一、背景需求分析 在工业产业园、化工园或生产制造园区中,周界防范意义重大,对园区的安全起到重要的作用。常规的安防方式是采用人员巡查,人力投入成本大而且效率低。周界一旦被破坏或入侵,会影响园区人员和资产安全,…...
2024/5/8 20:33:13 - VB.net WebBrowser网页元素抓取分析方法
在用WebBrowser编程实现网页操作自动化时,常要分析网页Html,例如网页在加载数据时,常会显示“系统处理中,请稍候..”,我们需要在数据加载完成后才能继续下一步操作,如何抓取这个信息的网页html元素变化&…...
2024/5/9 3:15:57 - 【Objective-C】Objective-C汇总
方法定义 参考:https://www.yiibai.com/objective_c/objective_c_functions.html Objective-C编程语言中方法定义的一般形式如下 - (return_type) method_name:( argumentType1 )argumentName1 joiningArgument2:( argumentType2 )argumentName2 ... joiningArgu…...
2024/5/7 16:57:02 - 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】
👨💻博客主页:花无缺 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 本文由 花无缺 原创 收录于专栏 【洛谷算法题】 文章目录 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】🌏题目描述🌏输入格…...
2024/5/7 14:58:59 - 【ES6.0】- 扩展运算符(...)
【ES6.0】- 扩展运算符... 文章目录 【ES6.0】- 扩展运算符...一、概述二、拷贝数组对象三、合并操作四、参数传递五、数组去重六、字符串转字符数组七、NodeList转数组八、解构变量九、打印日志十、总结 一、概述 **扩展运算符(...)**允许一个表达式在期望多个参数࿰…...
2024/5/8 20:58:56 - 摩根看好的前智能硬件头部品牌双11交易数据极度异常!——是模式创新还是饮鸩止渴?
文 | 螳螂观察 作者 | 李燃 双11狂欢已落下帷幕,各大品牌纷纷晒出优异的成绩单,摩根士丹利投资的智能硬件头部品牌凯迪仕也不例外。然而有爆料称,在自媒体平台发布霸榜各大榜单喜讯的凯迪仕智能锁,多个平台数据都表现出极度异常…...
2024/5/9 1:35:21 - Go语言常用命令详解(二)
文章目录 前言常用命令go bug示例参数说明 go doc示例参数说明 go env示例 go fix示例 go fmt示例 go generate示例 总结写在最后 前言 接着上一篇继续介绍Go语言的常用命令 常用命令 以下是一些常用的Go命令,这些命令可以帮助您在Go开发中进行编译、测试、运行和…...
2024/5/8 1:37:35 - 用欧拉路径判断图同构推出reverse合法性:1116T4
http://cplusoj.com/d/senior/p/SS231116D 假设我们要把 a a a 变成 b b b,我们在 a i a_i ai 和 a i 1 a_{i1} ai1 之间连边, b b b 同理,则 a a a 能变成 b b b 的充要条件是两图 A , B A,B A,B 同构。 必要性显然࿰…...
2024/5/7 16:05:05 - 【NGINX--1】基础知识
1、在 Debian/Ubuntu 上安装 NGINX 在 Debian 或 Ubuntu 机器上安装 NGINX 开源版。 更新已配置源的软件包信息,并安装一些有助于配置官方 NGINX 软件包仓库的软件包: apt-get update apt install -y curl gnupg2 ca-certificates lsb-release debian-…...
2024/5/8 18:06:50 - Hive默认分割符、存储格式与数据压缩
目录 1、Hive默认分割符2、Hive存储格式3、Hive数据压缩 1、Hive默认分割符 Hive创建表时指定的行受限(ROW FORMAT)配置标准HQL为: ... ROW FORMAT DELIMITED FIELDS TERMINATED BY \u0001 COLLECTION ITEMS TERMINATED BY , MAP KEYS TERMI…...
2024/5/8 1:37:32 - 【论文阅读】MAG:一种用于航天器遥测数据中有效异常检测的新方法
文章目录 摘要1 引言2 问题描述3 拟议框架4 所提出方法的细节A.数据预处理B.变量相关分析C.MAG模型D.异常分数 5 实验A.数据集和性能指标B.实验设置与平台C.结果和比较 6 结论 摘要 异常检测是保证航天器稳定性的关键。在航天器运行过程中,传感器和控制器产生大量周…...
2024/5/9 1:42:21 - --max-old-space-size=8192报错
vue项目运行时,如果经常运行慢,崩溃停止服务,报如下错误 FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory 因为在 Node 中,通过JavaScript使用内存时只能使用部分内存(64位系统&…...
2024/5/8 1:37:31 - 基于深度学习的恶意软件检测
恶意软件是指恶意软件犯罪者用来感染个人计算机或整个组织的网络的软件。 它利用目标系统漏洞,例如可以被劫持的合法软件(例如浏览器或 Web 应用程序插件)中的错误。 恶意软件渗透可能会造成灾难性的后果,包括数据被盗、勒索或网…...
2024/5/8 1:37:31 - JS原型对象prototype
让我简单的为大家介绍一下原型对象prototype吧! 使用原型实现方法共享 1.构造函数通过原型分配的函数是所有对象所 共享的。 2.JavaScript 规定,每一个构造函数都有一个 prototype 属性,指向另一个对象,所以我们也称为原型对象…...
2024/5/8 12:44:41 - C++中只能有一个实例的单例类
C中只能有一个实例的单例类 前面讨论的 President 类很不错,但存在一个缺陷:无法禁止通过实例化多个对象来创建多名总统: President One, Two, Three; 由于复制构造函数是私有的,其中每个对象都是不可复制的,但您的目…...
2024/5/8 9:51:44 - python django 小程序图书借阅源码
开发工具: PyCharm,mysql5.7,微信开发者工具 技术说明: python django html 小程序 功能介绍: 用户端: 登录注册(含授权登录) 首页显示搜索图书,轮播图࿰…...
2024/5/8 1:37:29 - 电子学会C/C++编程等级考试2022年03月(一级)真题解析
C/C++等级考试(1~8级)全部真题・点这里 第1题:双精度浮点数的输入输出 输入一个双精度浮点数,保留8位小数,输出这个浮点数。 时间限制:1000 内存限制:65536输入 只有一行,一个双精度浮点数。输出 一行,保留8位小数的浮点数。样例输入 3.1415926535798932样例输出 3.1…...
2024/5/7 17:09:45 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下:1、长按电脑电源键直至关机,然后再按一次电源健重启电脑,按F8健进入安全模式2、安全模式下进入Windows系统桌面后,按住“winR”打开运行窗口,输入“services.msc”打开服务设置3、在服务界面,选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。
%读入6幅图像(每一幅图像的大小是564*564) f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面,在等待界面中我们需要等待操作结束才能关机,虽然这比较麻烦,但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows,请勿关闭计算机”的提示,要过很久才能进入系统,有的用户甚至几个小时也无法进入,下面就教大家这个问题的解决方法。第一种方法:我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题,电脑时发现开机屏幕显现“正在配置Windows Update,请勿关机”(如下图所示),而且还需求等大约5分钟才干进入系统。这是怎样回事呢?一切都是正常操作的,为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示,没过几秒后电脑自动重启,每次开机都这样无法进入系统,此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一:开机按下F8,在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况,就是电脑提示正在准备windows请勿关闭计算机,碰到这样的问题该怎么解决呢,现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法:1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后,每次关机的时候桌面上都会显示一个“配置Windows Update的界面,提示请勿关闭计算机”,每次停留好几分钟才能正常关机,导致什么情况引起的呢?出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着,别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚,只能是考虑备份数据后重装系统了。解决来方案一:管理员运行cmd:net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?
原标题:电脑提示“配置Windows Update请勿关闭计算机”怎么办?win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢?一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了,具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面,长时间没反应,无法进入系统。这个问题原来帮其他同学也解决过,网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法,并在最后教给你1种保护系统安全的好方法,一起来看看!电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中,添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候,开启电脑发现电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机。。.这要怎么办呢?下面小编就带着大家一起看看吧!如果能够正常进入系统,建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题,就是我们的win7系统在关机的时候,总是喜欢显示“准备配置windows,请勿关机”这样的一个页面,没有什么大碍,但是如果一直等着的话就要两个小时甚至更久都关不了机,非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时,一般是您正对windows进行升级,但是这个要是长时间没有反应,我们不能再傻等下去了。可能是电脑出了别的问题了,来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况,当我们打开电脑之后,发现一直停留在一个界面:“配置Windows Update失败,还原更改请勿关闭计算机”,等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57