Encoding Human Domain Knowledge to Warm Start Reinforcement Learning
目录
- 1.研究动机是什么
- 2.主要解决了什么问题
- 3.所提方法是什么
- 3.1总体流程
- 3.2PROLONET决策树网络
- 3.2.1PROLONET初始化
- 3.2.2PROLONET推理
- 3.2.3PROLONET动态增长
- 4.关键结果及结论是什么
- 4.1实验环境及对比算法
- 4.1.1 Cart Pole
- 4.1.2 Lunar Lander
- 4.1.3 FindAndDefeatZerglings
- 4.1.4 SC2LE
- 4.2实验结果
- 5.创新点在哪里
- 6.有值得阅读的相关文献吗
- 7.综合评价又如何?
相关资料
- 论文链接:Encoding Human Domain Knowledge to Warm Start Reinforcement Learning
- 代码地址:算法地址ProLoNets
1.研究动机是什么
在许多强化学习任务中,当面临新的挑战时,智能体往往从“零”开始学习,忽略了许多可以从领域专家那里获得的丰富的现成知识。这些知识可以帮助智能体快速启动学习过程,减少不必要的探索,加速智能体训练,缩短训练时间。
2.主要解决了什么问题
使用专家知识构造决策树策略来初始化神经网络,通过这种方式对智能体进行指导,起到warm-start的作用;同时,随着训练的进行,决策树会不断生长,增加新知识,最终超过用来初始化的专家知识。
3.所提方法是什么
作者提出了一种新的强化学习技术,通过人工初始化神经网络权重和结构。将领域知识直接编码进入神经网络决策树,并通过策略梯度更新对该知识进行改进。同时,随着训练的进行,神经网络决策树不断生长,发现新知识,最终超过专家知识。
3.1总体流程
总体流程如图所示:1.需要提供分层形式的决策规则集合。这些策略是通过简单的用户交互来指定指令的。2.每条规则被转换为网络参数,每条规则的表达式为权重和判断条件为偏差,形成初始化的决策树神经网络。3.利用初始化网络与环境进行交互收集数据,更新网络参数,对知识改进。4.每次迭代更新,检查决策树纯度,当纯度过低,增长树,原来的树节点复制网络参数,新的节点随机初始化参数,形成新的决策树神经网络。重复3-4,直至训练结束。
3.2PROLONET决策树网络
首先用户需要提供分层形式的决策过程。随后用户的决策过程被转换为神经网络,每条规则由网络权重ωn→∈W\overrightarrow{\omega_n}\in Wωn∈W和比较值(偏差)cn∈Cc_n \in Ccn∈C表示。如图传统的决策树和PROLONET。决策节点变成线性层,叶子节点变成动作概率,最终的输出是路径概率加权的叶子之和。
对于每一个决策节点DnD_nDn来说,整个网络被表示为Dn=σ[α(w⃗nT∗X⃗−cn)]D_{n}=\sigma\left[\alpha\left(\vec{w}_{n}^{T} * \vec{X}-c_{n}\right)\right]Dn=σ[α(wnT∗X−cn)],其中,X→\overrightarrow{X}X是输入数据,为环境状态,σ\sigmaσ是sigmoid函数,α\alphaα是用于抑制决策节点的置信度,对树的置信度越低,决策的不确定性就越大,从而导致更多的探索。w⃗nT∗X⃗−cn\vec{w}_{n}^{T} * \vec{X}-c_{n}wnT∗X−cn计算状态是否满足不等式,α\alphaα与σ\sigmaσ进行放缩。α\alphaα值大强调比较器和加权输入之间的差异,往中心反方向移动,概率区分度增大,从而推动树更布尔。α\alphaα值越低,差异向中心方向移动,概率接近0.5,树越平滑,而α=0\alpha=0α=0则产生一致的随机决策 。下面将以Cartpole为例,对文章提出的方法详细解读。Cartpole的状态空间是4维向量{cart position, cart velocity, pole angle, pole velocity};动作空间是2维向量{left, right}。
3.2.1PROLONET初始化
现有一条规则:如果小车的位置在中心的右边,向左移动;否则,向右移动,中心为0。用户指明位置是输入4维状态特征的第一个元素。初始化决策节点D1D_1D1,权重和偏差为w1→=[1,0,0,0]\overrightarrow{w_{1}}=[1,0,0,0]w1=[1,0,0,0],c1=0c_{1}=0c1=0如Alg1的5-8。接下来的11-13创造一个新的叶节点l1→=[1,0]\overrightarrow{l_{1}}=[1,0]l1=[1,0]表示向左,l2→=[0,1]\overrightarrow{l_{2}}=[0,1]l2=[0,1]表示向右。最后,初始化路Z(l1→)=D1Z\left(\overrightarrow{l_{1}}\right)=D_{1}Z(l1)=D1和(l2→)=(¬D1)\left(\overrightarrow{l_{2}}\right)=\left(\neg D_{1}\right)(l2)=(¬D1)。由此产生的智能体动作的概率分布是一个softmax函数(D1∗l1→+(1−D1)∗l2→)\left(D_{1} * \overrightarrow{l_{1}}+\left(1-D_{1}\right) * \overrightarrow{l_{2}}\right)(D1∗l1+(1−D1)∗l2)。处理完所有决策节点后,每个节点DnD_nDn的值表示该条件为TRUE的可能性,(1−Dn)(1-D_n)(1−Dn)为FALSE。有了这些可能性,然后乘出不同路径到所有叶节点的概率。每个叶节点包含了一条路z∈Zz \in Zz∈Z,这是一组决策节点,应该是TRUE或FALSE,以便达到叶节点lll,计算每个输出动作的先验权值。例如,在上图中,z1=D1∗D2z_1=D_1*D_2z1=D1∗D2,z3=(1−D1)∗D3z_3=(1-D_1)*D_3z3=(1−D1)∗D3.在叶子节点中,通过将到达的概率乘以在叶节点内的输出的先验权重来确定。在计算每一个叶子的输出后,这些叶子被求和并通过一个softmax函数传递,以提供最终的输出分布。
3.2.2PROLONET推理
假设小车当前状态为X=[2,1,0,3]X=[2,1,0,3]X=[2,1,0,3],决策树只有1个决策节点2个叶节点。根据决策节点的公式,在经过第一个节点D1D_1D1之后,σ([1,0,0,0]∗[2,1,0,3]−0)=0.88\sigma([1,0,0,0] *[2,1,0,3]-0)=0.88σ([1,0,0,0]∗[2,1,0,3]−0)=0.88,这意味着“基本是正确的"。这个概率通过各自的路径传播到两个叶子节点,使得网络的输出概率为
Pout =L1→(σ1∗σ2)+L2→(σ1∗(1−σ2)))=0.88∗[1,0]+(1−0.88)∗[0,1])=[0.88,0.12]P_{\text {out }} =\overrightarrow{L_{1}}\left(\sigma_{1} * \sigma_{2}\right)+\overrightarrow{L_{2}}\left(\sigma_{1} *\left(1-\sigma_{2}\right)\right))\\ =0.88 *[1,0]+(1-0.88) *[0,1])=[0.88,0.12] Pout =L1(σ1∗σ2)+L2(σ1∗(1−σ2)))=0.88∗[1,0]+(1−0.88)∗[0,1])=[0.88,0.12]
因此,智能体以0.880.880.88的概率选择第一个动作,以0.120.120.12概率选择第二个动作。
参照文中的Cartpole启发式算法,绘制了PROLONET网络,如下所示。与作者提供的代码中建立的决策树不同,少1个决策节点和1个叶节点。转换规则如下:if条件语句不等号左用权重ωn→\overrightarrow{\omega_n}ωn表示,对应位置元素为1,其余为0;不等号右用cnc_ncn表示;若符号为小于,ωn→\overrightarrow{\omega_n}ωn和cnc_ncn都乘−1-1−1.
在实际应用时,每个叶子节点会保存从初试节点到该叶子节点的路z∈Zz \in Zz∈Z的信息,方便计算Li→\overrightarrow{L_{i}}Li
3.2.3PROLONET动态增长
为了使PROLONET体系结构能够在其初始定义的基础上继续增长,作者引入了一个动态增长过程,在Algorithm2和图3中描述了这个过程。初始化之后,PROLONET智能体会维护决策树网络两个副本。第一个是初始化的浅层网络,第二个是动态增长的深层网络,动态增长时,第二个网络每个叶子节点转化为随机初始化决策节点,并随机初始化决策节点的两个新的叶子节点。在每一Episode之后,在浅层和深层的网络上更新网络。更新后,比较浅层的叶子的熵和深层叶子的熵,当较深的叶子比较浅的叶子不均匀时,有选择地加深(第3-7行)。作者认为这种动态增长机制能提高稳定性和平均累积报酬。这会产生更多的参数学习更复杂的策略,但会增加随机性和不确定性,降低智能初始化的效用。由于智能体与环境交互,它依赖于较浅的网络来产生动作,因为较浅的网络代表了人类的领域知识。
决策树动态增长机制依据ID3,以信息增益为准则来优化决策树。当浅层网络发现了一个局部最小值l1=[0.5,0.5]l_{1}=[0.5,0.5]l1=[0.5,0.5],我们希望决策树的决策节点对样本的分类越清晰越好,即纯度越来越高。显然,l1=[0.5,0.5]l_{1}=[0.5,0.5]l1=[0.5,0.5]不满足要求,对向左向右走模棱两可,需要深化决策树。当深化的网络发现了l3=[0.9,0.1]l_{3}=[0.9,0.1]l3=[0.9,0.1]和l4=[0.1,0.9]l_{4}=[0.1,0.9]l4=[0.1,0.9],对向左向右走划分的十分清晰,此时节点纯度较高。我们用信息熵H(li)H\left(l_{i}\right)H(li)对树的这种特性进行度量。
H=∑plog2pH=\sum plog_2p H=∑plog2p
HHH的值越小,则纯度越高,树的分类效果越好。如Algorithm2中8行,浅层的决策树的熵H(li)>(H(ld1)+H(ld2)+ϵ)H\left(l_{i}\right)>\left(H\left(l_{d 1}\right)+H\left(l_{d 2}\right)+\epsilon\right)H(li)>(H(ld1)+H(ld2)+ϵ),说明深化后树熵减小,信息增益,纯度提高,决策更准确。
4.关键结果及结论是什么
作者对提出的RL框架进行了两个互补的评估。第一个是具有专家初始化的受控研究。第二个评估是一个用户研究。这里主要介绍第一组评估实验。实验环境为《星际争霸2》(SC2)中宏观和微观战斗以及OpenAl Gym月球登陆器和推车杆环境。对比算法:除了上面所述的具有专家初始化PROLONET,还评估了多层感知器(MLP)和长短期记忆(LSTM) 智能体,带有随机初始化的PROLONET (random PROLONET),启发式(Heuristic)算法,LOKI框架下训练的IL agent和DJJINN。LOKI代理使用与初始化PROLONET智能体相同的启发式进行监督。DJJINN最初的框架需要一个决策树学习标签数据集,作者进行了修改,允许初始化与手工决策树,为了比较,DJJINN初始化与PROLONET相同。
4.1实验环境及对比算法
4.1.1 Cart Pole
Cart Pole | 说明 |
---|---|
状态空间 | cart position, cart velocity, pole angle, pole velocity |
动作空间 | left, right |
算法 | 参数设置 |
---|---|
PROLONET | 强化参数: PPO RMSProp γ=0.99 lr=0.01 parallels=2 PROLONET: α=1α=1α=1 ε=0.19ε=0.19ε=0.19 决策节点9,叶子节点11 |
Random PROLONET | 强化参数: PPO RMSProp γ=0.99 lr=0.01 parallels=2 |
LOKI | 强化参数: PPO RMSProp γ=0.99 lr=0.01 parallels=2 模仿次数N=200 |
DJJINN | 同 PROLONET |
LSTM | PPO ReLU LSTM: 3-layer 4x4 – LSTM(4x4) – 4x2 |
MLP | PPO ReLU MLP: 3-layer 4x4 – 4x4 – 4x2 |
Heuristic(规则) | |
4.1.2 Lunar Lander
Lunar Lander | 说明 |
---|---|
状态空间 | 8D:X_position, Y_position, velocity, angle, angular velocity, whether the left leg have touched down, whether the left leg have touched down |
动作空间 | 4D:do nothing, left engine, main engine,right engine |
算法 | 参数设置 |
---|---|
PROLONET | 强化参数: PPO RMSProp γ=0.99 lr=0.01 parallels=4 batch_size=4 PROLONET: α=1α=1α=1 ε=0.19ε=0.19ε=0.19 决策节点14,叶子节点15 |
Random PROLONET | 强化参数: PPO RMSProp γ=0.99 lr=0.01 parallels=4 batch_size=4 |
LOKI | 强化参数: PPO RMSProp γ=0.99 lr=0.01 parallels=4 batch_size=4 模仿次数:N=300 |
DJJINN | 同 PROLONET |
LSTM | PPO ReLU LSTM: 3-layer 8x8 – LSTM(8x8) – 8x4 |
MLP | PPO ReLU MLP: 3-layer 8x8 – 8x8 – 8x4 |
Heuristic(规则) | |
4.1.3 FindAndDefeatZerglings
FindAndDefeatZerglings | 说明 |
---|---|
状态空间 | 37D: allied units 3*{x_position, y_position, health,weapon_cooldown} nearest visible enemy units 5*{x_position, y_position, health,weapon_cooldown, is_baneling} |
动作空间 | 10D:north, east, south, west, attack1, attack2, attack3, attack4, attack5, do nothing for every allied units |
算法 | 参数设置 |
---|---|
PROLONET | 强化参数: PPO RMSProp γ=0.99 lr=0.001 parallels=4 batch_size=4 time_steps=50 PROLONET: α=1α=1α=1 ε=0.19ε=0.19ε=0.19 决策节点10,叶子节点11 |
Random PROLONET | 强化参数: PPO RMSProp γ=0.99 lr=0.001 parallels=4 batch_size=4 time_steps=50 |
LOKI | 强化参数: PPO RMSProp γ=0.99 lr=0.001 parallels=4 batch_size=4 time_steps=50 模仿次数:N=500 |
DJJINN | 同 PROLONET |
LSTM | PPO ReLU LSTM: 7-layer 37x37 – LSTM(37x37) – 37x37 – 37x37 – 37x37 – 37x37– 37x10 |
MLP | PPO ReLU MLP: 7-layer 37x37 – 37x37 – 37x37 – 37x37 – 37x37 – 37x37 – 37x10 |
Heuristic(规则) | |
4.1.4 SC2LE
SC2LE(神族) | 说明 |
---|---|
状态空间 | 联合单位数:36x1向量,其中每个索引对应于一种联合单位类型,值对应于这些单位的数量 等待单位数:如上所述,但用于当前正在生产中且还不存在的单元。 敌方单位数:112x1向量,其中每个索引对应于一种单位类型,值对应于这些类型中有多少是可见的。 玩家状态:9x1向量,玩家状态信息,包括矿物,瓦斯,供应等。 |
动作空间 | 如果考虑到每个单位动作数量可以达到数千个。 简单地将动作抽象为44个可用的动作:包括35个建筑和单位生产命令,4个研究命令,5个攻击、防御、收获资源、侦察和什么都不做的命令。 |
算法 | 参数设置 |
---|---|
PROLONET | 强化参数: PPO RMSProp γ=0.99 lr=0.0001 parallels=4 batch_size=4 time_steps=4 episodes PROLONET: α=1α=1α=1 ε=0.19ε=0.19ε=0.19 决策节点9,叶子节点10 |
Random PROLONET | 强化参数: PPO RMSProp γ=0.99 lr=0.0001 parallels=4 batch_size=4 time_steps=4 episodes |
LOKI | 强化参数: PPO RMSProp γ=0.99 lr=0.0001 parallels=4 batch_size=4 time_steps=4 episodes 模仿次数:N=1000 |
DJJINN | 同 PROLONET |
LSTM | LSTM: 7-layer 37x37 – LSTM(37x37) – 37x37 – 37x37 – 37x37 – 37x37– 37x10 |
MLP | PPO ReLU MLP: 7-layer 193x193 – 193x193 – 193x193 – 193x193 – 193x193 –193x193 – 193x44 |
Heuristic(规则) |
4.2实验结果
cart pole、lunar lander和FindAndDefeatZerglings的架构比较。随着领域复杂性的增加,智能初始化变得越来越重要。
为了评估动态生长和智能初始化的影响,我们进行了消融研究,并将这些实验的结果包括在表1。对于每个N错误智能体,权重、比较器和叶子根据N随机负,每个类别最大为2N。
在《星际争霸2》的AI游戏中获胜率“All Others”包括4.1节中的所有其他智能体模型。
注意最后的策略并不是原始政策的翻版;相反,在整个训练过程中,它们会改变和偏离原来的内容。在下面的图中,比较了检查点模型和原始初始化。x轴对应的是检查点在实验中的距离,y轴对应的是初始化和检查点之间的平均均方误差。由于权重向量、比较器值和叶权值的均方误差可能存在显著差异,因此在y轴上使用对数尺度,以便无论原始值如何,都能清楚地看到趋势。注意,在每25%的训练或agent按照OpenAl Gym标准“解决”了域(推车杆500,月球登陆器200+)后进行检查点,这说明推车杆域的检查点密度更大。
5.创新点在哪里
- 提出一种在可训练的RL框架中捕获人类领域的专业知识的方法PROLoNETS。
- 我们将动态知识增长引入到PROLoNETS中,随着时间的推移,使其具有更强的表达能力,超过最初的初始化,并在月球着陆器领域产生两倍的平均回报。
6.有值得阅读的相关文献吗
LOKI:Cheng, C.-A.; Yan, X.; Wagener, N.; and Boots, B. 2018.Fast Policy Learning through Imitation and Reinforcement.arXiv preprint arXiv:1805.10413 .
DJINN:Humbird, K. D.; Peterson, J. L.; and McClarren, R. G. 2018.Deep Neural Network Initialization With Decision Trees.IEEE transactions on neural networks and learning systems .
7.综合评价又如何?
文章提出了一种新的DRL代理体系结构PROLONETS,它允许智能体的智能初始化。PROLONETS赋予智能体在必要时增长网络容量的能力。PROLONETS允许普通用户初始化,并通过人工指令和RL的混合实现了高性能的策略。首先,该方法直接利用现有专家知识,优于在传统架构上的模仿和强化学习,更像人类学习方式。其次,智能初始化允许深度RL智能体在对随机初始化智能体来说过于复杂的环境中探索和学习,为Fast reinforcement learning提供了一条可用之路。
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
相关文章
- 利用archetype创建maven脚手架和新项目
一、基于maven脚手架创建新的项目(如何生成maven脚手架本文后面会有详细说明): 1、在maven的本地环境(比如C:\Users\dell\.m2)下新建文件archetype-catalog.xml,其中version的值按照实际情况填入: Java代码 <?…...
2024/4/20 13:23:15 - 2016年终总结与来年计划
光阴似箭,日月如梭!眨眼间已到年底,今年感慨颇丰,获益良多。因为我认为努力了就肯定会有收获,哪怕是收获那一滴滴辛勤的汗水。 我在公司任务轻松时,加了些前端群(重点推荐豪情群)&am…...
2024/4/28 4:14:18 - Pure and Mixed States 纯态与混合态
1. Pure States A pure state is any state that can be represented by a single state vector ∣ψ⟩|\psi \rangle∣ψ⟩. What this means in practice is that at any time we can say for certain (with 100% probability) that our system is in state ∣ψ⟩|\psi \ra…...
2024/4/20 16:24:33 - 苏州埋线双眼皮来 爱思特
...
2024/4/21 12:31:38 - 苏州爱思特苏州割双眼皮来 爱思特
...
2024/4/27 6:48:42 - angular 路由项目例子
angular 路由是我在工作中体验非常便捷的一点, 这是详细的API ,查看API 可以了解很多东西, https://github.com/angular-ui/ui-router/wiki/Quick-Reference#ui-view 下面是我使用angular ui-route 做到 开发例子,代码都未压缩可以…...
2024/4/21 12:31:36 - 埋线双眼皮前后要注意什么
...
2024/4/20 14:00:27 - 微创双眼皮手术好的医院
...
2024/4/24 19:24:27 - 微创双眼皮手术 医院哪家好
...
2024/4/21 12:31:33 - 苏州双眼皮修复紫馨一流r
...
2024/4/21 12:31:34 - 您应该了解的基本JavaScript库和框架
JavaScript已经存在20多年了,它是其中一种永不停止发展的语言。 该语言最近经历了快速的增长,这使我想知道今天众所周知的现代前端JavaScript技术是否会在几年后成为现实。 尽管如此,通过使用最新的工具和框架来领先于游戏,对于更…...
2024/4/21 12:31:31 - 安卓日期转化及月数差、天数差计算
将2019-01-15 00:00:00 转为为只有年月日形式的try {SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd", Locale.getDefault());Date date = sdf.parse(tempBean.getBeginDate());Date date1 = sdf.parse(tempBean.getEndDate());Date datebegin = new Date…...
2024/4/20 19:02:28 - [转] 2016前端开发技术巡礼
2016年马上过去了,像过去六年中的每一年一样,Web前端领域又产生了“面目全非”而又“耳目一新”的变化,不但旧事物持续不断地被淘汰,新事物也难保坐久江山,大有岌岌可危之势。开源界如群雄逐鹿,不断生产新的…...
2024/4/21 12:31:30 - 转载:2016前端开发技术巡礼
本文转自前端之巅,作者殷勇。 2016年马上过去了,像过去六年中的每一年一样,Web前端领域又产生了“面目全非”而又“耳目一新”的变化,不但旧事物持续不断地被淘汰,新事物也难保坐久江山,大有岌岌可危之势。…...
2024/4/21 12:31:30 - React最佳实践系列 —— Dva快速入门
Dva最佳实践 -- 快速入门一. 门槛React 技术栈二. Hello World三. 一个简单H51. 安装 antd ui组件库2. 在开始之前,先了解dva的目录结构。3. 关于model使用的简单例子:(1)将 model 注册进入dva实例。(2)在页…...
2024/4/21 12:31:27 - angularjs实时数据_使用AngularJS构建实时SignalR仪表板
angularjs实时数据让我们构建一个实时服务仪表板! 我们的服务仪表板将实时向我们显示真实数据。 它将以近实时,异步,非阻塞的方式向我们展示服务器和微服务上发生的事情。 看看什么是完整的客户端可以像在这里 。 在这里可以看到服务器的演…...
2024/4/20 16:24:57 - 使用AngularJS构建实时SignalR仪表板
让我们构建一个实时服务仪表板! 我们的服务仪表板将实时向我们显示真实数据。 它将以接近实时,异步,非阻塞的方式向我们展示服务器和微服务上发生的事情。 看看什么是完整的客户端可以像在这里 。 在这里可以看到服务器的演示。 我们将使用An…...
2024/4/20 16:24:56 - HighChar 详解-双Y轴-及各
网上的例子,数据都是写死的,有点不实用吧 我在这里举一个,展示功能需求的数据。按需从数据库获取并画图展示 (本例子结合 angular.js,其他前台框架同理 从后台获取数据即可) 1.首先要引入Jquery.JS,再引入相关highC…...
2024/4/20 16:24:54 - Augular初探
一年多前,巧遇angular,觉得是个非常优秀的mv*框架,当时项目使用了MooTools.因此也没继续研究。刚好最近,同事组中有用到ng,并且要做个分享。因此就将from Why Does Angular.js Rock? 重新看了遍,加之中文的翻译有点问…...
2024/4/26 12:36:51 - AngularJS 为什么如此火呢?
在本文中让我们来逐步发掘angular为什么如此火: AngularJS是一个MV*(Model-View-Whatever,不管是MVC或者MVVM,统归MDV(model Drive View))JavaScript框架,其是Google推出的SPA(single-page-appl…...
2024/4/20 16:24:53
最新文章
- 沪深websocket level2/level1行情推送测试代码
引入行情包 package mainimport ("hangqing""log""time" )const token "***"//level1行情处理入口 func onLv1(s string) {//todo 处理逻辑log.Println(s) }//level2行情处理入口 func onLv2(s string) {//todo 处理逻辑log.Println…...
2024/4/28 8:56:49 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言,在此感激不尽。 权重和梯度的更新公式如下: w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/3/20 10:50:27 - [C++][算法基础]模拟队列(数组)
实现一个队列,队列初始为空,支持四种操作: push x – 向队尾插入一个数 x;pop – 从队头弹出一个数;empty – 判断队列是否为空;query – 查询队头元素。 现在要对队列进行 M 个操作,其中的每…...
2024/4/22 21:35:57 - 流域生态系统水-碳-氮耦合过程模拟
流域是一个相对独立的自然地理单元,它是以水系为纽带,将系统内各自然地理要素连结成一个不可分割的整体。碳和氮是陆地生态系统中最重要的两种化学元素,而在流域系统内,水-碳-氮是相互联动、不可分割的耦合体。随着流域内人类活动…...
2024/4/27 20:57:45 - 【外汇早评】美通胀数据走低,美元调整
原标题:【外汇早评】美通胀数据走低,美元调整昨日美国方面公布了新一期的核心PCE物价指数数据,同比增长1.6%,低于前值和预期值的1.7%,距离美联储的通胀目标2%继续走低,通胀压力较低,且此前美国一季度GDP初值中的消费部分下滑明显,因此市场对美联储后续更可能降息的政策…...
2024/4/26 18:09:39 - 【原油贵金属周评】原油多头拥挤,价格调整
原标题:【原油贵金属周评】原油多头拥挤,价格调整本周国际劳动节,我们喜迎四天假期,但是整个金融市场确实流动性充沛,大事频发,各个商品波动剧烈。美国方面,在本周四凌晨公布5月份的利率决议和新闻发布会,维持联邦基金利率在2.25%-2.50%不变,符合市场预期。同时美联储…...
2024/4/28 3:28:32 - 【外汇周评】靓丽非农不及疲软通胀影响
原标题:【外汇周评】靓丽非农不及疲软通胀影响在刚结束的周五,美国方面公布了新一期的非农就业数据,大幅好于前值和预期,新增就业重新回到20万以上。具体数据: 美国4月非农就业人口变动 26.3万人,预期 19万人,前值 19.6万人。 美国4月失业率 3.6%,预期 3.8%,前值 3…...
2024/4/26 23:05:52 - 【原油贵金属早评】库存继续增加,油价收跌
原标题:【原油贵金属早评】库存继续增加,油价收跌周三清晨公布美国当周API原油库存数据,上周原油库存增加281万桶至4.692亿桶,增幅超过预期的74.4万桶。且有消息人士称,沙特阿美据悉将于6月向亚洲炼油厂额外出售更多原油,印度炼油商预计将每日获得至多20万桶的额外原油供…...
2024/4/27 4:00:35 - 【外汇早评】日本央行会议纪要不改日元强势
原标题:【外汇早评】日本央行会议纪要不改日元强势近两日日元大幅走强与近期市场风险情绪上升,避险资金回流日元有关,也与前一段时间的美日贸易谈判给日本缓冲期,日本方面对汇率问题也避免继续贬值有关。虽然今日早间日本央行公布的利率会议纪要仍然是支持宽松政策,但这符…...
2024/4/27 17:58:04 - 【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响
原标题:【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响近日伊朗局势升温,导致市场担忧影响原油供给,油价试图反弹。此时OPEC表态稳定市场。据消息人士透露,沙特6月石油出口料将低于700万桶/日,沙特已经收到石油消费国提出的6月份扩大出口的“适度要求”,沙特将满…...
2024/4/27 14:22:49 - 【外汇早评】美欲与伊朗重谈协议
原标题:【外汇早评】美欲与伊朗重谈协议美国对伊朗的制裁遭到伊朗的抗议,昨日伊朗方面提出将部分退出伊核协议。而此行为又遭到欧洲方面对伊朗的谴责和警告,伊朗外长昨日回应称,欧洲国家履行它们的义务,伊核协议就能保证存续。据传闻伊朗的导弹已经对准了以色列和美国的航…...
2024/4/28 1:28:33 - 【原油贵金属早评】波动率飙升,市场情绪动荡
原标题:【原油贵金属早评】波动率飙升,市场情绪动荡因中美贸易谈判不安情绪影响,金融市场各资产品种出现明显的波动。随着美国与中方开启第十一轮谈判之际,美国按照既定计划向中国2000亿商品征收25%的关税,市场情绪有所平复,已经开始接受这一事实。虽然波动率-恐慌指数VI…...
2024/4/27 9:01:45 - 【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试
原标题:【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试美国和伊朗的局势继续升温,市场风险情绪上升,避险黄金有向上突破阻力的迹象。原油方面稍显平稳,近期美国和OPEC加大供给及市场需求回落的影响,伊朗局势并未推升油价走强。近期中美贸易谈判摩擦再度升级,美国对中…...
2024/4/27 17:59:30 - 【原油贵金属早评】市场情绪继续恶化,黄金上破
原标题:【原油贵金属早评】市场情绪继续恶化,黄金上破周初中国针对于美国加征关税的进行的反制措施引发市场情绪的大幅波动,人民币汇率出现大幅的贬值动能,金融市场受到非常明显的冲击。尤其是波动率起来之后,对于股市的表现尤其不安。隔夜美国股市出现明显的下行走势,这…...
2024/4/25 18:39:16 - 【外汇早评】美伊僵持,风险情绪继续升温
原标题:【外汇早评】美伊僵持,风险情绪继续升温昨日沙特两艘油轮再次发生爆炸事件,导致波斯湾局势进一步恶化,市场担忧美伊可能会出现摩擦生火,避险品种获得支撑,黄金和日元大幅走强。美指受中美贸易问题影响而在低位震荡。继5月12日,四艘商船在阿联酋领海附近的阿曼湾、…...
2024/4/28 1:34:08 - 【原油贵金属早评】贸易冲突导致需求低迷,油价弱势
原标题:【原油贵金属早评】贸易冲突导致需求低迷,油价弱势近日虽然伊朗局势升温,中东地区几起油船被袭击事件影响,但油价并未走高,而是出于调整结构中。由于市场预期局势失控的可能性较低,而中美贸易问题导致的全球经济衰退风险更大,需求会持续低迷,因此油价调整压力较…...
2024/4/26 19:03:37 - 氧生福地 玩美北湖(上)——为时光守候两千年
原标题:氧生福地 玩美北湖(上)——为时光守候两千年一次说走就走的旅行,只有一张高铁票的距离~ 所以,湖南郴州,我来了~ 从广州南站出发,一个半小时就到达郴州西站了。在动车上,同时改票的南风兄和我居然被分到了一个车厢,所以一路非常愉快地聊了过来。 挺好,最起…...
2024/4/28 1:22:35 - 氧生福地 玩美北湖(中)——永春梯田里的美与鲜
原标题:氧生福地 玩美北湖(中)——永春梯田里的美与鲜一觉醒来,因为大家太爱“美”照,在柳毅山庄去寻找龙女而错过了早餐时间。近十点,向导坏坏还是带着饥肠辘辘的我们去吃郴州最富有盛名的“鱼头粉”。说这是“十二分推荐”,到郴州必吃的美食之一。 哇塞!那个味美香甜…...
2024/4/25 18:39:14 - 氧生福地 玩美北湖(下)——奔跑吧骚年!
原标题:氧生福地 玩美北湖(下)——奔跑吧骚年!让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 啊……啊……啊 两…...
2024/4/26 23:04:58 - 扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!
原标题:扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!扒开伪装医用面膜,翻六倍价格宰客!当行业里的某一品项火爆了,就会有很多商家蹭热度,装逼忽悠,最近火爆朋友圈的医用面膜,被沾上了污点,到底怎么回事呢? “比普通面膜安全、效果好!痘痘、痘印、敏感肌都能用…...
2024/4/27 23:24:42 - 「发现」铁皮石斛仙草之神奇功效用于医用面膜
原标题:「发现」铁皮石斛仙草之神奇功效用于医用面膜丽彦妆铁皮石斛医用面膜|石斛多糖无菌修护补水贴19大优势: 1、铁皮石斛:自唐宋以来,一直被列为皇室贡品,铁皮石斛生于海拔1600米的悬崖峭壁之上,繁殖力差,产量极低,所以古代仅供皇室、贵族享用 2、铁皮石斛自古民间…...
2024/4/28 5:48:52 - 丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者
原标题:丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者【公司简介】 广州华彬企业隶属香港华彬集团有限公司,专注美业21年,其旗下品牌: 「圣茵美」私密荷尔蒙抗衰,产后修复 「圣仪轩」私密荷尔蒙抗衰,产后修复 「花茵莳」私密荷尔蒙抗衰,产后修复 「丽彦妆」专注医学护…...
2024/4/26 19:46:12 - 广州械字号面膜生产厂家OEM/ODM4项须知!
原标题:广州械字号面膜生产厂家OEM/ODM4项须知!广州械字号面膜生产厂家OEM/ODM流程及注意事项解读: 械字号医用面膜,其实在我国并没有严格的定义,通常我们说的医美面膜指的应该是一种「医用敷料」,也就是说,医用面膜其实算作「医疗器械」的一种,又称「医用冷敷贴」。 …...
2024/4/27 11:43:08 - 械字号医用眼膜缓解用眼过度到底有无作用?
原标题:械字号医用眼膜缓解用眼过度到底有无作用?医用眼膜/械字号眼膜/医用冷敷眼贴 凝胶层为亲水高分子材料,含70%以上的水分。体表皮肤温度传导到本产品的凝胶层,热量被凝胶内水分子吸收,通过水分的蒸发带走大量的热量,可迅速地降低体表皮肤局部温度,减轻局部皮肤的灼…...
2024/4/27 8:32:30 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下:1、长按电脑电源键直至关机,然后再按一次电源健重启电脑,按F8健进入安全模式2、安全模式下进入Windows系统桌面后,按住“winR”打开运行窗口,输入“services.msc”打开服务设置3、在服务界面,选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。
%读入6幅图像(每一幅图像的大小是564*564) f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面,在等待界面中我们需要等待操作结束才能关机,虽然这比较麻烦,但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows,请勿关闭计算机”的提示,要过很久才能进入系统,有的用户甚至几个小时也无法进入,下面就教大家这个问题的解决方法。第一种方法:我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题,电脑时发现开机屏幕显现“正在配置Windows Update,请勿关机”(如下图所示),而且还需求等大约5分钟才干进入系统。这是怎样回事呢?一切都是正常操作的,为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示,没过几秒后电脑自动重启,每次开机都这样无法进入系统,此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一:开机按下F8,在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况,就是电脑提示正在准备windows请勿关闭计算机,碰到这样的问题该怎么解决呢,现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法:1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后,每次关机的时候桌面上都会显示一个“配置Windows Update的界面,提示请勿关闭计算机”,每次停留好几分钟才能正常关机,导致什么情况引起的呢?出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着,别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚,只能是考虑备份数据后重装系统了。解决来方案一:管理员运行cmd:net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?
原标题:电脑提示“配置Windows Update请勿关闭计算机”怎么办?win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢?一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了,具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面,长时间没反应,无法进入系统。这个问题原来帮其他同学也解决过,网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法,并在最后教给你1种保护系统安全的好方法,一起来看看!电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中,添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候,开启电脑发现电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机。。.这要怎么办呢?下面小编就带着大家一起看看吧!如果能够正常进入系统,建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题,就是我们的win7系统在关机的时候,总是喜欢显示“准备配置windows,请勿关机”这样的一个页面,没有什么大碍,但是如果一直等着的话就要两个小时甚至更久都关不了机,非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时,一般是您正对windows进行升级,但是这个要是长时间没有反应,我们不能再傻等下去了。可能是电脑出了别的问题了,来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况,当我们打开电脑之后,发现一直停留在一个界面:“配置Windows Update失败,还原更改请勿关闭计算机”,等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57