详解一条查询select语句和更新update语句的执行流程
- 前言
- 一条select语句的执行流程
- 建立连接
- 查询缓存
- 解析器和预处理器
- 词法解析和语法解析(Parser)
- 预处理器(Preprocessor)
- 查询优化器(Query Optimizer)
- 优化器可以做哪些优化
- 优化器并不是万能的
- 优化器如何得到查询计划
- 存储引擎查询
- 返回结果
- 一条update语句的执行流程
- Buffer Pool
- redo log
- Write-Ahead Logging(WAL)
- redo log是如何刷盘的
- bin log
- bin log和redo log的区别
- update语句的执行流程
- 两阶段提交
- 假如不采用两阶段提交法
- 宕机后的数据恢复规则
- 总结
前言
本文基于MySQL5.7版本。
前面几篇MySQL系列的文章介绍了索引,事务和锁相关知识,那么今天就让我们来看看当我们执行一条select语句和一条update语句的时候,MySQL要经过哪些步骤,才能返回我们想要的数据。
一条select语句的执行流程
MySQL从大方向来说,可以分为 Server 层和存储引擎层。而Server层包括连接器、查询缓存、解析器、预处理器、优化器、执行器等,最后Server层再通过API接口形式调用对应的存储引擎层提供的接口。如下图所示(图片来源于《高性能MySQL》):
在这里插入图片描述
根据流程图,一条select查询大致经过以下六个步骤:
1、客户端发起一个请求时,首先会建立一个连接
2、服务端会检查缓存,如果命中则直接返回,否则继续之后后面步骤
3、服务器端根据收到的sql语句进行解析,然后对其进行词法分析,语法分析以及预处理
4、由优化器生成执行计划
5、调用存储引擎层API来执行查询
6、返回查询到的结果
查询流程也可以通过如下图表示(图片来源于丁奇MySQL45将):
在这里插入图片描述
建立连接
第一步建立连接,这个很容易理解,需要特别指出的是MySQL服务端和客户端的通信方式采用的是半双工协议。
通信方式主要可以分为三种:单工,半双工,全双工,如下图:
在这里插入图片描述
- 单工:通信的时候,数据只能单向传输。比如说遥控器,我们只能用遥控器来控制电视机,而不能用电视机来控制遥控器。
- 半双工:通信的时候,数据可以双向传输,但是同一时间只能有一台服务器在发送数据,当A给B发送数据的时候,那么B就不能给A发送数据,必须等到A发送结束之后,B才能给A发送数据。比如说对讲机。
- 全双工:通信的时候,数据可以双向传输,并且可以同时传输。比如说我们打电话或者用通信软件进行语音和视频通话等。
半双工协议让MySQL通信简单快速,但是也在一定程度上限制了MySQL的性能,因为一旦从一端开始发送数据,另一端必须要接收完全部数据才能做出响应。所以说我们批量插入的时候尽量拆分成多次插入而不要一次插入太大数据,同样的查询语句最好也带上limit限制条数,避免一次返回过多数据。
MySQL单次传输数据包的大小可以通过参数max_allowed_packet控制,默认大小为4MB
SHOW VARIABLES LIKE 'max_allowed_packet';
在这里插入图片描述
查询缓存
连接上了之后,如果缓存是打开的,那么就会进入查询缓存阶段,可以通过如下命令查看缓存是否开启:
SHOW VARIABLES LIKE 'query_cache_type';
在这里插入图片描述
我们可以看到,缓存默认是关闭的。这是因为MySQL的缓存使用条件非常苛刻,是通过一个大小写敏感的哈希值去匹配的,这样就是说一条查询语句哪怕只是有一个空格不一致,都会导致无法使用缓存。而且一旦表里面有一行数据变动了,那么关于这种表的所有缓存都会失效。所以一般我们都是不建议使用缓存,MySQL最新的8.0版本已经将缓存模块去掉了。
解析器和预处理器
跳过了缓存模块之后,查询语句会进入解析器进行解析。
词法解析和语法解析(Parser)
这一步主要的工作就是检查sql语句的语法对不对,在这里,首先会把我们整个SQL语句打碎,比如:select name from test where id=1,就会被打散成select,name,from,test,where,id,=,1 这8个字符,并且能识别出关键字和非关键字,然后根据sql语句生成一个数据结构,也叫做解析树(select_lex),如下图:
在这里插入图片描述
预处理器(Preprocessor)
经过了前面的词法和语法解析,那么至少我们一条sql语句的语法格式是满足要求了,接下来我们还需要做什么呢?自然是检查表名,列名以及其他一些信息等是不是真实存在的,预处理就是做一个表名和字段名等相关信息合法性的检测。
查询优化器(Query Optimizer)
经过上面的步骤,到这里就得到了一句有效的sql语句了。而对一个查询语句,尤其是复杂的多表查询语句,我们可以有很多种执行方式,每种执行方式的效率也不一样,所以这时候就需要查询优化器去选择一种它认为最高效的执行方式。
查询优化器的目的就是根据解析树生成不同的执行计划(Execution Plan),然后选择一种最优的执行计划,MySQL 里面使用的是基于开销(cost)的优化器,哪种执行计划开销最小,就选择哪种。
我们可以通过变量Last_query_cost来查询开销:
SELECT * FROM test;
show status like 'Last_query_cost';
在这里插入图片描述
上图中展示的结果就表示MySQL认为SELECT * FROM test 查询语句需要做至少2个数据页的随机查找才能完成上面的查询。
这个结果是通过一系列复杂的运算得到的,包括每个表或者索引的页面个数,索引的基数,索引和数据行的长度,索引分布的情况。
优化器在评估成本的时候,不会考虑任何缓存的作用,而是假设读取任何数据都需要经过一次IO操作。
优化器可以做哪些优化
优化器可以替我们做很多优化,下面列举一些常用的优化:
- 重新定义关联的顺序。优化器并不一定按照我们写的查询关联语句中的关联顺序,而是会按照优化后的顺序进行查询。
- 将外连接转为为内连接。
- 使用等价转换原则。比如a<b and a=5会被转换为a=5 and b>5
- 优化COUNT(),MIN()和MAX()
- 预估并转化为常数表达式
- 覆盖索引扫描。想要详细了解覆盖索引的可以点击这里。
- 的查询优化。
- 提前终止查询。比如我们使用了一个不成立的条件,则会立刻返回空。
- 等值传播。
- 优化IN()语句。在其他很多数据库中in等同于or语句,但是MySQL中会讲in中的值先进行排序,然后按照二分查找的方法来确定是否满足条件。
实际当中优化器能做的优化远远比上面列举的更多,所以有时候我们不要觉得比优化器更聪明,所以大部分情况下我们都可以让优化器做出优化就可以了,如果有些我们确定优化器没有选择最优的查询方案,我们也可以在查询中通过添加hint提示告知到优化器,比如通过force index强制使用索引或者straight_join语句强制优化器按我们想要的表顺序进行关联。
优化器并不是万能的
MySQL优化器也并不是万能的,并不是总能把我们写的糟糕的sql语句优化成一个高效的查询语句,而且也有很多种原因会导致优化器做出错误的选择:
- 统计信息不准确。MySQL评估成本依赖于存储引擎提供的的统计信息,然而存储引擎提供的统计信息有时候会有较大偏差。
- 执行计划的成本估算不等于实际的执行成本。比如估算成本的时候不考虑缓存,而实际执行有些数据在缓存中。
- 优化器认为的最优可能并不是我们需要的最优。比如有时候我们想要时间最短,但是优化器
- 优化器从不考虑其他并发的查询。
- 优化器并不总是基本成本的优化。有时候也会基于规则,比如当存在全文索引,查询时使用了match()子句时,即使选择其他索引更优,优化器仍然会选择全文索引。
- 优化器不将不受其控制的操作计算为成本。如执行存储过程或者用户自定义函数的成本。
- 优化器有时候无法估算所有的执行计划,所以也有可能错过最优执行计划。
优化器如何得到查询计划
优化器听起来比较抽象,给人一种看不见摸不着的感觉,但是实际上我们也可以通过参数打开优化器追踪,优化器追踪默认是关闭的,因为开启后会影响性能,所以建议是在需要定位问题的时候开启,并及时关闭。
SHOW VARIABLES LIKE 'optimizer_trace';
set optimizer_trace='enabled=on';
接下来执行一句查询语句:
SELECT t1.name AS name1,t2.name AS name2 FROM test t1 INNER JOIN test2 t2 ON t1.id=t2.id
这时候优化器的分析过程已经被记录下来了,可以通过下面语句查询:
SELECT * FROM information_schema.optimizer_trace;
得到如下结果:
上面的图是为了看数据效果,如果需要自己操作的话,需要用shelll命令窗口去执行,sqlyog工具中直接查询出来TRACE列是空的,shell中返回的TRACE列信息如下:
从截图中的轮廓可以看出来这是一个json数据格式。
跟踪信息主要分为以下三部分(上图并未将全部内容展示出来,感兴趣的可以自己去尝试一下,开启之后记得及时关闭哦):
- 准备阶段(join_preparation):expanded_query中的查询语句就是优化后的sql
- 优化阶段(join_optimization):considered_execution_plans中列出来所有的执行计划
- 执行阶段(join_execution)
存储引擎查询
当Server层得到了一条sql语句的执行计划后,这时候就会去调用存储引擎层对应的API,执行查询了。因为MySQL的存储引擎是插件式的,所以每种存储引擎都会对Server提供了一些对应的API调用。
返回结果
最后,将查询出得到的结果返回Server层,如果开启了缓存,Server层返回数据的同时还会写入缓存。
MySQL将查询结果返回是一个增量的逐步返回过程。例如:当我们处理完所有查询逻辑并开始执行查询并且生成第一条结果数据的时候,MySQL就可以开始逐步的向客户端传输数据了。这么做的好处是服务端无需存储太多结果,从而减少内存消耗(这个操作可以通过sql _buffer_result来提示优化器,和上文说的force index,straight_join一样都是人为强制优化器执行我们想要的操作)。
一条update语句的执行流程
一条更新语句,其实是增,删,查的综合体,查询语句需要经过的流程,更新语句全部需要执行一次,因为更新之前必须要先拿到(查询)需要更新的数据。
Buffer Pool
InnnoDB的数据都是放在磁盘上的,而磁盘的速度和CPU的速度之间有难以逾越的鸿沟,为了提升效率,就引入了缓冲池技术,在InnoDB中称之为Buffer Pool。
从磁盘中读取数据的时候,会先将从磁盘中读取到的页放在缓冲池中,这样下次读相同的页的时候,就可以直接从Buffer Pool中获取。
更新数据的时候首先会看数据在不在缓冲池中,在的话就直接修改缓冲池中的数据,注意,前提是我们不需要对这条数据进行唯一性检查(因为如果要进行唯一性检查就必须加载磁盘中的数据来判断是否唯一了)
如果只修改了Buffer Pool中的数据而不修改磁盘中数据,这时候就会造成内存和磁盘中数据不一致,这种也叫做脏页。InnoDB 里面有专门的后台线程把 Buffer Pool 的数据写入到磁盘, 每隔一段时间就一次性地把多个修改写入磁盘,这个动作就叫做刷脏。
那么现在有一个问题,假如我们更新都需要把数据写入数据磁盘,然后磁盘也要找到对应的那条记录,然后再更新,整个过程 IO 成本、查找成本都很高。为了解决这个问题,InnoDB就有了redo log,并且采用了Write-Ahead Logging(WAL)方案实现。
redo log
redo log,即重做日志,是InnoDB引擎所特有,主要用于崩溃修复(crash-safe)。
Write-Ahead Logging(WAL)
Write-Ahead Logging,即先写日志,也就是说我们执行一个操作的时候会先将操作写入日志,然后再写入数据磁盘,那么有人就会问了,写入数据表是磁盘操作,写入redo log也是磁盘操作,同样都是写入磁盘,为什么不直接写入数据,而要先写入日志呢?这不是多此一举吗?
设想一下,假如我们所需要的数据是随机分散在不同页的不同扇区中,那么我们去找数据的时候就是随机IO操作,而redo log是循环写入的,也就是顺序IO。一句话:
刷盘是随机 I/O,而记录日志是顺序 I/O,顺序 I/O 效率更高。因此先把修改写入日 志,可以延迟刷盘时机,进而提升系统吞吐
redo log是如何刷盘的
InnoDB中的 redo log是固定大小的,也就是说redo log并不是随着文件写入慢慢变大,而是一开始就分配好了空间,空间一旦写满了,前面的空间就会被覆盖掉,刷盘的操作是通过Checkpoint实现的。如下图:
check point 是当前要覆盖的位置。write pos是当前写入日志的位置。写日志的时候是循环写的,覆盖旧记录前要把记录更新到数据文件。如果write pos和 check point 重叠,说明redo log 已经写满,这时候需要同步redo log刷到磁盘中。
bin log
MySQL整体来看,其实就有两块:一块是 Server 层,它主要做的是 MySQL功能层面的事情;还有一块是引擎层,负责存储相关的具体事宜。上面讲的redo log是InnoDB 引擎特有的日志,而Server 层也有自己的日志,称为 binlog(归档日志),也叫做二进制日志。
可能有人会问,为什么会有两份日志呢?
因为最开始 MySQL 里并没有 InnoDB 引擎。MySQL 自带的引擎是 MyISAM,但是 MyISAM是不支持事物的,也没有崩溃恢复(crash-safe)的能力,binlog日志只能用于归档。那么既然InnoDB是需要支持事务的,那么就必须要有崩溃恢复(crash-safe)能力,所以就使用另外一套自己的日志系统,也就是基于redo log 来实现 crash-safe 能力。
bin log和redo log的区别
1、redo log 是 InnoDB 引擎特有的;binlog 是 MySQL 的Server层实现的,所有引擎都可以使用。
2、redo log 是物理日志,记录的是“在某个数据页上做了什么修改”;binlog 是逻辑日志,记录的是这个语句的原始逻辑,比如“给id=2 这一行的c字段加 1 ”。
3、redo log 是循环写的,空间固定会用完;binlog 是可以追加写入的。“追加写”是指 binlog 文件写到一定大小后会切换到下一个,并不会覆盖以前的日志。
update语句的执行流程
前面铺垫了这么多,主要是想让大家先理解redo log和big log这两个概念,因为更新操作离不开这两个文件,接下来我们正式回到正题,一条update语句到底是如何执行的,可以通过下图表示:
上图可以大概概括为以下几步:
1、先根据更新语句的条件,查询出对应的记录,如果有缓存,也会用到缓存
2、Server端调用InnoDB引擎API接口,InnoDB引擎将这条数据写到内存,同时写入redo log,并将redo log状态设置为prepare
3、通知Server层,可以正式提交数据了
4、Server层收到通知后立刻写入bin log,然后调用InnoD对应接口发出commit请求
5、InnoDB收到commit请求后将数据设置为commit状态
上面的步骤中,我们注意到,redo log会经过两次提交,这就是两阶段提交。
两阶段提交
两阶段提交是分布式事务的设计思想,就是首先会有请求方发出请求到各个服务器,然后等其他各个服务器都准备好之后再通知请求方可以提交了,请求方收到请求后再发出指令,通知所有服务器一起提交。
而我们这里redo log是属于存储引擎层的日志,bin log是属于Server层日志,属于两个独立的日志文件,采用两阶段提交就是为了使两个日志文件逻辑上保持一致
假如不采用两阶段提交法
假如有一条语句id=1,age=18,我们现在要把这条数据的age更新为19:
- 先写 redo log 后写 binlog
假设在redo log 写完,binlog还没有写完的时候,MySQL发生了宕机(crash)。重启后因为redo log写完了,所以会自动进行数据恢复,也就是age=19。但是由于binlog没写完就宕机( crash)了,这时候 binlog 里面就没有记录这个语句。因此,之后备份日志的时候,存起来的 binlog 里面就没有这条语句。然后某一天假如我们把数据丢失了,需要用bin log进行数据恢复就会发现少了这一次更新。 - 先写binlog后写redo log
假如在binlog写完,redo log还没有写完的时候,MySQL发生了宕机(crash)。重启后因为redo log没写完,所以无法进行自动恢复,那么数据就还是age=18了,然后某一天假如我们把数据丢失了,需要用binlog进行恢复又会发现恢复出来的数据age=19了。
通过以上的两个假设我们就会发现,假如不采用两阶段提交法就会出现数据不一致的情况,尤其是在有主从库的时候,因为主从复制是基于binlog实现的,如果redo log和bin log不一致,就会导致主从库数据不一致。
宕机后的数据恢复规则
1、如果 redo log 里面的事务是完整的,也就是已经有了 commit 标识,则直接提交;
2、如果 redo log 里面的事物只有完整的 prepare,则判断对应的事务 binlog 是否存在并完整:如果是,则提交事务;否则,回滚事务。
总结
本文主要分析了select和update语句的执行过程,而在分析update语句执行过程中,又简单介绍了redo log和bin log相关概念,这一部分内容在本文中没有过多深入的讲解,仅仅只是为了让大家去理解更新流程而做了简单的介绍,像redo log和其对应的缓存之间的关系,redo log刷盘策略,bin log写入策略,有了bin log为何还需要redo log等等问题本文中并没有给出明确的解释,因为本文篇幅有限,深入之后就会涉及到InnoDB引擎的存储结构以及更底层的一些知识
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
相关文章
- HTTPS,HTTP追加协议 - 重学计算机网络系列(4)
前言本篇文章主要讲HTTPS,HTTP和HTTPS区别,认证,SPDY的AJAX与Comet,WebsocketHTTPS HTTP的缺点 通信使用明文可能会被窃听 由于HTTP本身不具备加密的功能,所以也无法做到对通信整体(使用HTTP协议通信的请求和响应的内容)进行加密。即,HTTP报文使用明文(指未经过加密的…...
2024/5/2 0:03:08 - 常见的Web攻击及防御办法 - 重学计算机网络系列(5)
Web攻击分类 简单的HTTP协议本身并不存在安全性问题,因此协议本身几乎不会成为攻击的对象。应用HTTP协议的服务器和客户端,以及运行在服务器上的Web应用等资源才是攻击目标。 web应用的攻击模式有以下两种主动攻击(主要攻击服务器上的资源)SQL注入攻击 OS命令注入攻击 其他被…...
2024/4/13 15:10:54 - 浏览器系列(上)- 前端发展历史,渲染进程
前端发展历史 早期时代(1990-)Web 1.0 时代,非常适合创业型小项目,不分前后端,经常 3-5 人搞定所有开发。页面由 JSP、PHP 等工程师在服务端生成,浏览器负责展现。基本上是服务端给什么浏览器就展现什么,展现的控制在 Web Server 层。 这种模式的好处是简单明快,适合小…...
2024/5/2 1:32:02 - 浏览器系列(中) - 浏览器缓存,WebStorage
缓存定义缓存是一种保存资源副本并在下次请求时直接使用该副本的技术。从一次完整的HTTP请求看缓存分类客户端缓存存在于客户端本地,如果客户端命中缓存,甚至不需要发起HTTP请求,相当于直接在本地拿数据。一般在这里的缓存技术有Cookie,localstorage,sessionstorage,本地文件…...
2024/5/1 23:04:04 - 离散(时间)线性系统、离散化、Z域、差分方程
离散(时间)控制系统: 一个控制系统中,有一处或者几处的喜好形式是脉冲序列信号或者编码序列信号(统称为离散信号),这个系统就称为离散(时间)控制系统。 分类: 采样控制系统 数字控制系统: 系统中具有数字式控制器或者计算机的控制系统。例如,四旋翼控制系统中,飞控…...
2024/4/13 15:13:07 - 2020年最新人事管理软件排名(建议收藏)!
今年受疫情影响,很多企业第一第二季度基本算是没了,剩下第三第四季度,可想而知企业的压力有多么的大,稍有松懈就会面临淘汰或者倒闭的风险。很多企业这段时间也都面临人才管理的压力,企业压力大,员工的压力也大,如何合理平衡企业与员工之间的关系至关重要。什么是人事管…...
2024/4/22 14:59:13 - 使用frp无域名http内网穿透配置
简单说就是直接使用tcp穿透,使用本方法的前提是必须要有一台有公网ip的电脑 配置如下:client端[common] server_addr = 外网服务器ip server_port = 7000 [web] type = tcp local_ip = 127.0.0.1 local_port = 80 remote_port = 80server端[common] bind_addr = 0.0.0.0 bind…...
2024/4/27 15:03:47 - CG CTF-Web-综合题2
前言 这道题主要涉及了文件包含、代码审计、SQL注入、回调后门等内容。 这道题是CG CTF里面出的比较好的一个题目了,对于我这样的萌新来说,虽然不能独立做出来,但是看了WP之后真的学到了很多东西,也知道了自己欠缺的在哪里。 WP 打开环境,看到是Xlcteam客户留言板。我们先…...
2024/4/13 17:37:48 - 注解版的springaop实操讲解(赋完整测试代码)
aop是个很强的东西,我们可以用来实现日志收集,鉴权,敏感词过滤等等功能。在说注解版的springaop使用之前,一些专业术语我用大白话来复述一遍,希望大家不要嫌弃。切面:切入点+通知 连接点:目标对象中被增强的某个方法 切点:连接点的集合 目标对象:被增强的对象 织入:把…...
2024/4/17 23:25:29 - 映像租赁系统
映像租赁系统:在美国,由于知识产权得到了很好的保护,所以一般不会出现盗版的问题。美国人除去在电影院看电影之外就是在影像店租碟回家去看。在这种情况下,影相出租的店铺就比较多。在信息化的背景下,设计一套系统管理影像出租业务成了当务之急,于是通过和店铺经理沟通,…...
2024/4/22 0:30:45 - JVM内存结构 - Java内存模型 - Java对象模型
Java的内存结构Java作为一种面向对象的,跨平台语言,其对象、内存等一直是比较难的知识点。而且很多概念的名称看起来又那么相似,很多人会傻傻分不清楚。比如本文我们要讨论的JVM内存结构、Java内存模型和Java对象模型,这就是三个截然不同的概念,但是很多人容易弄混。可以这…...
2024/4/17 15:53:29 - IBatis异常: Cannot find class: VARCHAR || Error starting ApplicationContext. To display the conditio
我的问题再于主要就是 类型 jdbcType 写成了javaType,然后就没有然后了, 上异常,给大家参考 "D:\Program Files\Java\jdk1.8.0_131\bin\java.exe" -XX:TieredStopAtLevel=1 -noverify -Dspring.output.ansi.enabled=always -Dcom.sun.management.jmxremote -Dsp…...
2024/4/13 21:04:59 - 前端初步入门spring-------06-代理
一、什么是代理 代理,是OOP里面,很重要的一个设计模式,成为代理模式 就是生成一个和真实角色 相同的 代理角色 真实角色负责自己业务有关的事情 代理角色负责一些边角的事情,来为真实业务辅助比如 医生 和 护士 医生算是一个真实角色,护士算是 医生的代理,也就是代理角色…...
2024/4/28 8:59:56 - 字符串解析省市区
字符串解析省市区,工具类,复制粘贴可直接使用import java.util.*; import java.util.regex.Matcher; import java.util.regex.Pattern;/*** @author zqh*/ public class AddressResolutionUtil {private static String regex = "(?<province>[^省]+自治区|.*?省…...
2024/4/18 10:04:11 - 数学建模预热:在MATLAB中使用GUI界面演示α粒子散射实验
数学建模预热:在MATLAB中使用GUI界面演示α粒子散射实验前言 原子物理课上,老师对于卢瑟福原子模型以及库伦散射公式进行了推导,作为一个废物, 在走神半分钟后终究没能跟上老师的思路,导致整节课暴毙 临近数学建模,因为非计算机专业,MATLAB已经很久没有动用过了,故将之…...
2024/4/25 20:40:58 - Linux到底该怎么学?RHCA架构师整理了300页学习笔记
RHCARHCA:Red Hat Certified Architect红帽认证架构师(RHCA)红帽企业架构师课程主要面向那些负责部署和管理大型企业环境中众多系统的高级Linux系统管理员提供深入的实际操作培训,也是Linux领域公认的最受欢迎的、最成熟的认证。内容简介本书基于红帽RHEL系统编写,且内容通…...
2024/4/13 20:54:00 - 这个轮子让SpringBoot实现api加密So Easy!
SpringBoot的API加密对接在项目中,为了保证数据的安全,我们常常会对传递的数据进行加密。常用的加密算法包括对称加密(AES)和非对称加密(RSA),博主选取码云上最简单的API加密项目进行下面的讲解。下面请出我们的最亮的项目rsa-encrypt-body-spring-boot项目介绍该项目使…...
2024/4/13 21:34:40 - 通灵学院|研习7:兴趣曲线★(1200字)
通灵学院|研习7:兴趣曲线★本文为暗夜琉璃NightRuri原创,侵权必究。往期研习:研习1:人类的需求与动机 https://blog.csdn.net/ctq310396634/article/details/107509119研习2:人类的外在人群特征 https://blog.csdn.net/ctq310396634/article/details/107601600研习3:人类…...
2024/4/13 20:54:02 - 【2020顶会KDD】用于属性图嵌入的自适应图形编码器
题目:Adaptive Graph Encoder for Attributed Graph Embedding文章作者信息:预览摘要:属性图嵌入是一项具有挑战性的图分析任务,它从图的拓扑结构和节点特征中学习向量表示。近年来,基于图卷积网络(GCNs)的方法在这方面取得了很大的进展。然而,现有的基于GCN的方法主要有…...
2024/4/12 19:32:02 - ray
一、简单开始 首先来看一下最简单的Ray程序是如何编写的。 # 导入ray,并初始化执行环境 import ray ray.init()# 定义ray remote函数 @ray.remote def hello():return "Hello world !"# 异步执行remote函数,返回结果id object_id = hello.remote()# 同步获取计算结…...
2024/4/12 16:36:18
最新文章
- UnityWebGL使用sherpa-ncnn实时语音识别
k2-fsa/sherpa-ncnn:在没有互联网连接的情况下使用带有 ncnn 的下一代 Kaldi 进行实时语音识别。支持iOS、Android、Raspberry Pi、VisionFive2、LicheePi4A等。 (github.com) 如果是PC端可以直接使用ssssssilver大佬的 https://github.com/ssssssilver/sherpa-ncn…...
2024/5/2 6:19:06 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言,在此感激不尽。 权重和梯度的更新公式如下: w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/3/20 10:50:27 - 第十二届蓝桥杯省赛真题(C/C++大学B组)
目录 #A 空间 #B 卡片 #C 直线 #D 货物摆放 #E 路径 #F 时间显示 #G 砝码称重 #H 杨辉三角形 #I 双向排序 #J 括号序列 #A 空间 #include <bits/stdc.h> using namespace std;int main() {cout<<256 * 1024 * 1024 / 4<<endl;return 0; } #B 卡片…...
2024/5/1 3:56:21 - 产品推荐 | 中科亿海微推出亿迅®A8000金融FPGA加速卡
01、产品概述 亿迅A8000金融加速卡,是中科亿海微联合金融证券领域的战略合作伙伴北京睿智融科,将可编程逻辑芯片与金融行业深度结合,通过可编程逻辑芯片对交易行情加速解码,实现低至纳秒级的解码引擎,端到端的处理时延…...
2024/5/2 2:35:23 - 416. 分割等和子集问题(动态规划)
题目 题解 class Solution:def canPartition(self, nums: List[int]) -> bool:# badcaseif not nums:return True# 不能被2整除if sum(nums) % 2 ! 0:return False# 状态定义:dp[i][j]表示当背包容量为j,用前i个物品是否正好可以将背包填满ÿ…...
2024/5/1 10:25:26 - 【Java】ExcelWriter自适应宽度工具类(支持中文)
工具类 import org.apache.poi.ss.usermodel.Cell; import org.apache.poi.ss.usermodel.CellType; import org.apache.poi.ss.usermodel.Row; import org.apache.poi.ss.usermodel.Sheet;/*** Excel工具类** author xiaoming* date 2023/11/17 10:40*/ public class ExcelUti…...
2024/5/1 13:20:04 - Spring cloud负载均衡@LoadBalanced LoadBalancerClient
LoadBalance vs Ribbon 由于Spring cloud2020之后移除了Ribbon,直接使用Spring Cloud LoadBalancer作为客户端负载均衡组件,我们讨论Spring负载均衡以Spring Cloud2020之后版本为主,学习Spring Cloud LoadBalance,暂不讨论Ribbon…...
2024/5/1 21:18:12 - TSINGSEE青犀AI智能分析+视频监控工业园区周界安全防范方案
一、背景需求分析 在工业产业园、化工园或生产制造园区中,周界防范意义重大,对园区的安全起到重要的作用。常规的安防方式是采用人员巡查,人力投入成本大而且效率低。周界一旦被破坏或入侵,会影响园区人员和资产安全,…...
2024/5/1 4:07:45 - VB.net WebBrowser网页元素抓取分析方法
在用WebBrowser编程实现网页操作自动化时,常要分析网页Html,例如网页在加载数据时,常会显示“系统处理中,请稍候..”,我们需要在数据加载完成后才能继续下一步操作,如何抓取这个信息的网页html元素变化&…...
2024/4/30 23:32:22 - 【Objective-C】Objective-C汇总
方法定义 参考:https://www.yiibai.com/objective_c/objective_c_functions.html Objective-C编程语言中方法定义的一般形式如下 - (return_type) method_name:( argumentType1 )argumentName1 joiningArgument2:( argumentType2 )argumentName2 ... joiningArgu…...
2024/5/2 6:03:07 - 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】
👨💻博客主页:花无缺 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 本文由 花无缺 原创 收录于专栏 【洛谷算法题】 文章目录 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】🌏题目描述🌏输入格…...
2024/5/1 6:35:25 - 【ES6.0】- 扩展运算符(...)
【ES6.0】- 扩展运算符... 文章目录 【ES6.0】- 扩展运算符...一、概述二、拷贝数组对象三、合并操作四、参数传递五、数组去重六、字符串转字符数组七、NodeList转数组八、解构变量九、打印日志十、总结 一、概述 **扩展运算符(...)**允许一个表达式在期望多个参数࿰…...
2024/5/1 11:24:00 - 摩根看好的前智能硬件头部品牌双11交易数据极度异常!——是模式创新还是饮鸩止渴?
文 | 螳螂观察 作者 | 李燃 双11狂欢已落下帷幕,各大品牌纷纷晒出优异的成绩单,摩根士丹利投资的智能硬件头部品牌凯迪仕也不例外。然而有爆料称,在自媒体平台发布霸榜各大榜单喜讯的凯迪仕智能锁,多个平台数据都表现出极度异常…...
2024/5/2 5:31:39 - Go语言常用命令详解(二)
文章目录 前言常用命令go bug示例参数说明 go doc示例参数说明 go env示例 go fix示例 go fmt示例 go generate示例 总结写在最后 前言 接着上一篇继续介绍Go语言的常用命令 常用命令 以下是一些常用的Go命令,这些命令可以帮助您在Go开发中进行编译、测试、运行和…...
2024/5/1 20:22:59 - 用欧拉路径判断图同构推出reverse合法性:1116T4
http://cplusoj.com/d/senior/p/SS231116D 假设我们要把 a a a 变成 b b b,我们在 a i a_i ai 和 a i 1 a_{i1} ai1 之间连边, b b b 同理,则 a a a 能变成 b b b 的充要条件是两图 A , B A,B A,B 同构。 必要性显然࿰…...
2024/4/30 22:14:26 - 【NGINX--1】基础知识
1、在 Debian/Ubuntu 上安装 NGINX 在 Debian 或 Ubuntu 机器上安装 NGINX 开源版。 更新已配置源的软件包信息,并安装一些有助于配置官方 NGINX 软件包仓库的软件包: apt-get update apt install -y curl gnupg2 ca-certificates lsb-release debian-…...
2024/5/1 6:34:45 - Hive默认分割符、存储格式与数据压缩
目录 1、Hive默认分割符2、Hive存储格式3、Hive数据压缩 1、Hive默认分割符 Hive创建表时指定的行受限(ROW FORMAT)配置标准HQL为: ... ROW FORMAT DELIMITED FIELDS TERMINATED BY \u0001 COLLECTION ITEMS TERMINATED BY , MAP KEYS TERMI…...
2024/5/2 0:07:22 - 【论文阅读】MAG:一种用于航天器遥测数据中有效异常检测的新方法
文章目录 摘要1 引言2 问题描述3 拟议框架4 所提出方法的细节A.数据预处理B.变量相关分析C.MAG模型D.异常分数 5 实验A.数据集和性能指标B.实验设置与平台C.结果和比较 6 结论 摘要 异常检测是保证航天器稳定性的关键。在航天器运行过程中,传感器和控制器产生大量周…...
2024/4/30 20:39:53 - --max-old-space-size=8192报错
vue项目运行时,如果经常运行慢,崩溃停止服务,报如下错误 FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory 因为在 Node 中,通过JavaScript使用内存时只能使用部分内存(64位系统&…...
2024/5/1 4:45:02 - 基于深度学习的恶意软件检测
恶意软件是指恶意软件犯罪者用来感染个人计算机或整个组织的网络的软件。 它利用目标系统漏洞,例如可以被劫持的合法软件(例如浏览器或 Web 应用程序插件)中的错误。 恶意软件渗透可能会造成灾难性的后果,包括数据被盗、勒索或网…...
2024/5/1 8:32:56 - JS原型对象prototype
让我简单的为大家介绍一下原型对象prototype吧! 使用原型实现方法共享 1.构造函数通过原型分配的函数是所有对象所 共享的。 2.JavaScript 规定,每一个构造函数都有一个 prototype 属性,指向另一个对象,所以我们也称为原型对象…...
2024/5/1 14:33:22 - C++中只能有一个实例的单例类
C中只能有一个实例的单例类 前面讨论的 President 类很不错,但存在一个缺陷:无法禁止通过实例化多个对象来创建多名总统: President One, Two, Three; 由于复制构造函数是私有的,其中每个对象都是不可复制的,但您的目…...
2024/5/1 11:51:23 - python django 小程序图书借阅源码
开发工具: PyCharm,mysql5.7,微信开发者工具 技术说明: python django html 小程序 功能介绍: 用户端: 登录注册(含授权登录) 首页显示搜索图书,轮播图࿰…...
2024/5/1 5:23:20 - 电子学会C/C++编程等级考试2022年03月(一级)真题解析
C/C++等级考试(1~8级)全部真题・点这里 第1题:双精度浮点数的输入输出 输入一个双精度浮点数,保留8位小数,输出这个浮点数。 时间限制:1000 内存限制:65536输入 只有一行,一个双精度浮点数。输出 一行,保留8位小数的浮点数。样例输入 3.1415926535798932样例输出 3.1…...
2024/5/1 20:56:20 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下:1、长按电脑电源键直至关机,然后再按一次电源健重启电脑,按F8健进入安全模式2、安全模式下进入Windows系统桌面后,按住“winR”打开运行窗口,输入“services.msc”打开服务设置3、在服务界面,选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。
%读入6幅图像(每一幅图像的大小是564*564) f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面,在等待界面中我们需要等待操作结束才能关机,虽然这比较麻烦,但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows,请勿关闭计算机”的提示,要过很久才能进入系统,有的用户甚至几个小时也无法进入,下面就教大家这个问题的解决方法。第一种方法:我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题,电脑时发现开机屏幕显现“正在配置Windows Update,请勿关机”(如下图所示),而且还需求等大约5分钟才干进入系统。这是怎样回事呢?一切都是正常操作的,为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示,没过几秒后电脑自动重启,每次开机都这样无法进入系统,此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一:开机按下F8,在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况,就是电脑提示正在准备windows请勿关闭计算机,碰到这样的问题该怎么解决呢,现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法:1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后,每次关机的时候桌面上都会显示一个“配置Windows Update的界面,提示请勿关闭计算机”,每次停留好几分钟才能正常关机,导致什么情况引起的呢?出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着,别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚,只能是考虑备份数据后重装系统了。解决来方案一:管理员运行cmd:net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?
原标题:电脑提示“配置Windows Update请勿关闭计算机”怎么办?win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢?一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了,具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面,长时间没反应,无法进入系统。这个问题原来帮其他同学也解决过,网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法,并在最后教给你1种保护系统安全的好方法,一起来看看!电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中,添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候,开启电脑发现电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机。。.这要怎么办呢?下面小编就带着大家一起看看吧!如果能够正常进入系统,建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题,就是我们的win7系统在关机的时候,总是喜欢显示“准备配置windows,请勿关机”这样的一个页面,没有什么大碍,但是如果一直等着的话就要两个小时甚至更久都关不了机,非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时,一般是您正对windows进行升级,但是这个要是长时间没有反应,我们不能再傻等下去了。可能是电脑出了别的问题了,来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况,当我们打开电脑之后,发现一直停留在一个界面:“配置Windows Update失败,还原更改请勿关闭计算机”,等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57