《Xception: Deep Learning with Depthwise Separable Convolutions》论文翻译
论文地址:https://arxiv.org/abs/1512.03385 这篇基本是直译,很多意思不到位,还需要改进。
深度可分卷积的深度学习
摘要
我们将卷积神经网络中的初始模块解释为常规卷积和深度可分离卷积(深度卷积后是点态卷积)之间的一个中间步骤。在这种情况下,深度可分离卷积可以被理解为具有最大数量塔的初始模块。这一发现促使我们提出了一种新的深度卷积神经网络架构,灵感来自于Inception,其中Inception模块被深度可分离的卷积所取代。我们展示了这个被称为Xception的架构,在ImageNet数据集上(Inception V3就是为这个数据集设计的)的性能略优于Inception V3,而在一个更大的图像分类数据集上(包括3.5亿幅图像和1.7万个类别)的性能则显著优于Inception V3。由于Xception架构具有与Inception V3相同数量的参数,所以性能的提高不是由于容量的增加,而是由于模型参数的更有效使用。
1.介绍
卷积神经网络近年来已成为计算机视觉领域的主要算法,开发设计卷积神经网络的方案一直是一个备受关注的课题。卷积神经网络设计的历史始于LeNet-style model[10],它是用于特征提取的简单卷积堆栈和用于空间子采样的最大池操作。2012年,这些想法被提炼到AlexNet架构[9]中,在最大池操作之间,卷积操作被重复多次,允许网络在每个空间尺度上学习更丰富的特性。随之而来的是一种趋势,使这种风格的网络越来越深入,主要是由每年的ILSVRC竞争;首先是2013年的Zeiler和Fergus,然后是2014年[18]的VGG架构。
此时,一种新型的网络出现了,即Inception架构,由Szegedy等人在2014年引入的[20]称为GoogLeNet (Inception V1),后来被改进为Inception V2 [7], Inception V3[21],以及最近的incep- resnet[19]。Inception本身受到早期网络-网络架构[11]的启发。自首次引入以来,Inception一直是ImageNet数据集[14]以及谷歌中使用的内部数据集(特别是JFT[5])上性能最好的模型系列之一。
入门风格模型的基本构建块是Inception模块,它有几个不同的版本。在图1中,我们显示了在先启模块的规范形式,正如在在先启V3架构中所发现的那样。先启模型可以被理解为这样的模块的堆栈。这与早期的vggstyle网络不同,后者是一堆简单的卷积层。
图1 规范的初始模块(Inception V3)
虽然在先启模块在概念上与卷积相似(它们是卷积的特征提取器),但从经验来看,它们似乎能够用更少的参数学习更丰富的表示。它们是如何工作的,它们与常规卷积有何不同?奠基之后会出现什么设计策略?
1.1 初始的假设
卷积层试图学习一个三维空间中的过滤器,有两个空间维度(宽度和高度)和一个通道维度;因此,单个卷积核的任务是同时映射跨通道相关性和空间相关性。
Inception模块背后的想法是通过明确地将其分解为一系列操作,独立地查看跨通道关联和空间关联,从而使这个过程更简单、更高效。更准确地说,典型的Inception模块首先着眼于跨渠道的相关性通过一组1 x1旋转,将输入数据映射到3或4单独的空间小于原始输入空间,然后地图所有这些较小的3 d空间的相关性,通过定期3 x3或5 x5的隆起。如图1所示。实际上,《盗梦空间》背后的基本假设是,交叉通道相关性和空间相关性是完全解耦的,所以最好不要共同映射它们。
考虑一个Inception模块的简化版本,它只使用一个卷积大小(例如3x3),不包括一个平均池塔(图2)。这个Inception模块可以被重新描述为一个大的1x1卷积,然后是空间卷积,它将在输出信道的非重叠段上工作(图3)。这个观察结果自然地提出了一个问题:分区中的段数(及其大小)有什么影响?是否有理由提出一个比初始假设更强的假设,并假设跨通道相关性和空间相关性可以完全分开映射?
图2 简化的Inception模块。
图3 一个严格等效的简化Inception模块的重新表述。
1.2 卷积与可分离卷积之间的连续体
一个“极端”版本的Inception模块,基于这个更强的假设,将首先使用1x1卷积来映射跨信道相关性,然后分别映射每个输出信道的空间相关性。如图4所示。我们注意到,初始模块的这种极端形式几乎等同于深度可分离卷积,这种操作早在2014年就已用于神经网络设计[15],自2016年被纳入TensorFlow框架[1]后,该操作变得更加流行。
深度可分离卷积,在TensorFlow和Keras等深度学习框架中通常称为“可分离卷积”,包括深度卷积,即在输入的每个通道上独立执行的空间卷积,然后是逐点卷积,即1x1卷积,将深度卷积输出的信道投影到新的信道空间。这不应与空间上可分离卷积混淆,后者在图像处理领域也通常称为“可分离卷积”。
Inception模块和深度可分离卷积的“极端”版本之间的两个小区别是:
•操作顺序:通常执行的深度可分离卷积(例如在TensorFlow中)执行第一个信道方向的空间卷积,然后执行1x1个卷积,而Inception首先执行1x1个卷积。
•首次运行后出现非线性。在Inception阶段,这两种操作都是一个相对非线性的,然而深度可分离卷积通常是在没有非线性的情况下实现的。
我们认为第一个区别并不重要,特别是因为这些操作是在堆叠的环境中使用的。第二个差异可能很重要,我们在实验部分对其进行了研究(特别是见图10)。
我们还注意到,位于规则初始模块和深度可分离卷积之间的初始模块的其他中间公式也是可能的:实际上,在规则卷积和深方向可分离卷积之间存在离散谱,参数化为所使用的独立信道空间段的数量用于执行空间卷积。在该频谱的一个极端处,规则卷积(前面是1x1卷积)对应于单段情况;深度可分离卷积对应于另一个极端,每个通道有一个段;Inception模块位于这两个极端之间,将几百个信道分成3或4个段。这种中间模的性质似乎还没有被探索。
在进行了这些观察之后,我们建议可以通过用深度可分离的卷积替换Inception模块来改进初始体系结构族,即通过构建将是纵向可分离卷积的堆栈的模型。TensorFlow中有效的深度卷积实现使其成为现实。接下来,我们提出了一种基于这种思想的卷积神经网络结构,其参数数目与Inception V3相似,并针对Inception V3在两个大规模图像分类任务中的性能进行了评估。
2前期工作
目前的工作在很大程度上依赖于以下领域的前期工作:
•卷积神经网络[10,9,25],尤其是VGG-16架构[18],它在一些方面与我们提出的架构类似。
•卷积神经网络的Inception架构家族[20,7,21,19],它首先证明了将卷积分解为多个分支的优势,这些分支依次在信道上和空间上运行。
•深度分离可分离卷积,我们提出的架构完全基于此。虽然空间可分离卷积在神经网络中的应用由来已久,至少可以追溯到2012年[12](但可能更早),而深度卷积的使用则是最近的版本。2013年,Laurent Sifre在Google Brain实习期间开发了depthwise可分离卷积,并将其用于AlexNet,在精确度上获得了小幅度的提高,在收敛速度上获得了较大的提高,同时模型尺寸也显著减小。他在2014年ICLR的一次演讲中首次公开了他的工作概况[23]。详细的实验结果在Sifre的论文第6.2节[15]中报告。这项关于深度可分离卷积的最初工作是受到Sifre和Mallat关于变换不变散射的先前研究的启发[16,15]。后来,深度可分离卷积被用作Inception V1和Inception V2的第一层[20,7]。在Google内部,Andrew Howard[6]引入了一种高效的移动模型MobileNets,它使用depthwise可分离卷积。Jin等人。2014年[8]和Wang等人。2016年[24]还做了相关工作,旨在使用可分离卷积来减小卷积神经网络的规模和计算成本。另外,我们的工作是可能的,因为在TensorFlow框架中包含了一个有效的深度可分离卷积的实现[1]。
•残余连接,由He等人介绍。在[4]中,我们提出的体系结构广泛使用。
3 Xception体系结构
我们提出了一个完全基于深度可分离卷积层的卷积神经网络结构。实际上,我们提出了以下假设:卷积神经网络的特征映射中的跨通道相关性和空间相关性映射可以完全解耦。因为这个假设是Inception架构下的假设的一个更强大的版本,我们将我们提出的架构Xception命名为“Extreme Inception”。
图5给出了网络规范的完整描述。Xception结构有36个卷积层构成网络的特征提取库。在我们的实验评估中,我们将专门研究图像分类,因此我们的卷积基础将是一个逻辑回归层。可选地,可以在logistic回归层之前插入完全连接的层,这在实验评估部分进行了探讨(特别是,见图7和图8)。36个卷积层被构造成14个模块,除第一个和最后一个模块外,所有模块周围都有线性剩余连接。
简而言之,Xception体系结构是一个具有剩余连接的深度可分离卷积层的线性堆栈。这使得架构非常容易定义和修改;使用Keras[2]或TensorFlow Slim[17]这样的高级库只需要30到40行代码,这与VGG-16[18]等架构没有什么不同,而是不像Inception V2或V3这样的架构,后者的定义要复杂得多。使用Keras和TensorFlow的Xception的开源实现作为Keras应用程序模块2的一部分,在MIT许可下提供。
4实验评价
我们选择将Xception与Inception V3架构进行比较,因为它们的规模相似:Xception和Inception V3的参数数目几乎相同(表3),因此任何性能差距都不能归因于网络容量的差异。我们对两个图像分类任务进行了比较:一个是著名的ImageNet数据集上的1000级单标签分类任务,另一个是在大规模JFT数据集上的17000级多标签分类任务。
4.1 JFT数据集
JFT是Google内部的大规模图像分类数据集,由Hinton等人首次引入。在[5]中,它包含了超过3.5亿张高分辨率图像,这些图像用来自17000个类的标签进行了注释。为了评估在JFT上训练的模型的性能,我们使用了一个辅助数据集FastEval14k。
FastEval14k是一个由14000幅图像组成的数据集,其中包含来自大约6000个类的密集注释(平均每个图像36.5个标签)。在这个数据集中,我们使用前100个预测的平均精度来评估性能(地图@100),我们衡量每个班级对地图@100用一个分数来评估这个班级在社交媒体形象中的普遍性(因此也很重要)。这个评估过程的目的是从社交媒体上获取频繁出现的标签的性能,这对谷歌的产品模型至关重要。
4.2 优化配置
ImageNet和JFT使用了不同的优化配置:
•在ImageNet上:
–优化器:SGD
–动量:0.9
–初始学习速率:0.045
–学习速率衰减:每2个周期速率衰减0.94
•在JFT上:
–Optimizer:RMSprop[22]
–动量:0.9
–初始学习率:0.001
–学习速率衰减:每3000000个样本衰减率为0.9
对于这两个数据集,Xception和Inception V3都使用了完全相同的优化配置。请注意,这个配置是为Inception V3的最佳性能而优化的;我们没有尝试为Xception优化超参数。由于网络具有不同的训练配置文件(图6),这可能是次优的,尤其是在ImageNet数据集上,使用的优化配置已经针对Inception V3进行了仔细调整。
此外,所有模型在推断时都使用Polyak平均值[13]进行评估。
4.3 正则化构形
•权重衰减:Inception V3模型使用4e−5的权重衰减(L2正则化)速率,该速率已针对ImageNet的性能进行了仔细调整。我们发现这个比率对于例外情况来说是非常不理想的,相反,我们将其定为1e−5。我们没有对最佳的重量衰减率进行广泛的搜索。JFT的净重量和衰减率都是相同的。
•Dropout::对于ImageNet实验,这两个模型在逻辑回归层之前都包括一个速率为0.5的丢失层。对于JFT实验,由于数据集大,在任何合理的时间内都不太可能出现过度拟合,因此没有数据丢失。
•辅助损失塔:Inception V3架构可选择性地包括一个辅助塔,该辅助塔在网络中较早地反向传播分类损失,作为附加的正则化机制。为了简单起见,我们选择不在任何模型中包含此辅助塔。
4.4 训练基础设施
所有的网络都是使用TensorFlow框架[1]实现的,并分别在60个NVIDIA K80 gpu上进行训练。在ImageNet实验中,我们使用数据并行性与同步梯度下降来获得最佳的分类性能,而在JFT中,我们使用异步梯度下降来加速训练。ImageNet实验每次大约花费3天时间,而JFT实验每次花费一个多月时间。JFT模型没有被训练到完全收敛,每次实验都要花上三个月的时间。
图5 Xception架构:数据首先通过入口流,然后通过重复8次的中间流,最后通过出口流。注意,所有的卷积和可分离的褶积层都跟着批处理归一化[7](不包括在图中)。所有可分离的图层都使用1的深度倍增器(没有深度扩展)。
4.5 与Inception V3的比较
4.5.1 分类性能
所有的评估都是在单一的输入图像作物和单一的模型下进行的。ImageNet的结果报告在验证集而不是测试集上(即ILSVRC 2012验证集中未被列入黑名单的图像)。JFT结果在3000万次迭代(一个月的训练)之后才会报告,而不是在完全收敛之后。结果见表1、表2,以及图6、图7、图8。在JFT上,我们测试了两种版本的网络,一种是不包含任何完全连接层的网络,另一种是包含两个完全连接层的网络,每个层在logistic回归层之前都有4096个单元。
在ImageNet上,Xception的结果比Inception V3稍微好一些。在JFT上,Xception相对FastEval14k MAP@100指标有4.3%的改进。我们还注意到,对于ResNet-50、ResNet-101和ResNet152 [4], Xception优于He等人报道的ImageNet结果。
表1。在ImageNet(单作物、单模型)上的分类性能比较。VGG-16和ResNet-152号码仅作为提醒。被基准测试的Inception V3版本不包括辅助塔。
与ImageNet数据集相比,Xception架构在JFT数据集上显示了更大的性能改进。我们认为这可能是由于Inception V3的开发重点是ImageNet,因此可能在设计上过于适合这个特定的任务。另一方面,这两种架构都没有为JFT进行优化。在ImageNet上搜索更好的超参数(特别是优化参数和再流化参数)可能会带来显著的额外改进。
表2 JFT(单作物、单模式)分类性能比较
图6 ImageNet上的培训资料
图7 在JFT上的培训简介,没有全连接层
4.5.2 尺寸和速度
表3 大小和训练速度的比较。
在表3中,我们比较了Inception V3和Xception的大小和速度。在ImageNet上报告参数计数(1000个类,没有完全连接的层),在运行同步梯度下降的60 K80个gpu上报告每秒的训练步骤(梯度更新)数。这两种架构的大小大致相同(在3.5%以内),而Xception稍微慢一些。我们期望在深度卷积操作级别上的工程优化可以使Xception在不久的将来比Inception V3更快。这两种架构具有几乎相同数量的参数这一事实表明,在ImageNet和JFT上看到的改进不是来自增加的容量,而是来自更有效地使用模型参数。
4.6 剩余连接的影响
图9 有和没有剩余的联系的培训档案。
为了量化Xception架构中残余连接的好处,我们在ImageNet上对不包含任何残余连接的修改版本进行了基准测试。结果如图9所示。在速度和最终分类性能方面,残余连接在帮助收敛方面显然是必不可少的。然而,我们将注意到,使用与剩余模型相同的优化配置对非剩余模型进行基准测试可能是不仁慈的,更好的优化配置可能产生更有竞争力的结果。
另外,让我们注意到这个结果仅仅显示了剩余连接对于这个特定架构的重要性,并且剩余连接对于构建深度可分离的卷积堆的模型并不是必需的。在非残留vggstyle模型中,所有卷积层都替换为深度可分离卷积(深度乘子为1),在参数计数相等的情况下优于InceptionV3。
4.7 点态曲后中间激活的效应
图10 可分离卷积层的深度和点态操作的不同激活的训练轮廓。
我们之前提到过,深度可分离卷积和Inception模块之间的类比表明,深度可分离卷积应该潜在地包括深度和点态操作之间的非线性。在目前报道的实验中,没有包含这样的非线性。然而,我们也通过实验测试了ReLU或ELU[3]作为中间非线性。在ImageNet上的结果如图10所示,结果表明,没有任何非线性会导致更快的收敛速度和更好的最终性能。
这是一个值得注意的观察,因为Szegedy等人在Inception模块的[21]中报告了相反的结果。可能的中间特征空间的深度空间运算应用至关重要有用的非线性:深功能空间(如发现《Inception》里的模块)非线性是有用的,但对于浅的(例如1通道深功能空间通过卷积切除可分)它变得有害,可能由于信息的损失。
5. 未来的发展方向
我们先前注意到在规则卷积和深度可分离卷积之间存在一个离散谱,由用于执行空间卷积的独立信道空间段的数量参数化。Inception模块是这个范围中的一点。在经验计算中,我们证明了Xception,即深度可分离卷积,可能比正则启始模有更大的优势。然而,没有理由相信深度上的可分离卷积是最佳的。可能是频谱上位于规则先启模块和深度可分离卷积之间的中间点具有进一步的优势。这个问题留待以后研究。
6. 结论
我们展示了卷积和深度可分离卷积如何位于离散谱的两个极端,先启模块是两者之间的一个中间点。这一观察结果促使我们提出用深度可分离的卷积来代替神经计算机视觉结构中的初始模块。我们提出了一种基于此思想的新架构,名为Xception,它的参数计数与Inception V3相似。与Inception V3相比,Xception在ImageNet数据集的分类性能上有小的提升,而在JFT数据集上有大的提升。我们期望深度可分离卷积成为未来卷积神经网络架构设计的基石,因为它们提供了与Inception模块相似的特性,但也像常规卷积层一样易于使用。
References
[1] M. Abadi, A. Agarwal, P. Barham, E. Brevdo, Z. Chen,C. Citro, G. S. Corrado, A. Davis, J. Dean, M. Devin, S. Ghe-
mawat, I. Goodfellow, A. Harp, G. Irving, M. Isard, Y. Jia,R. Jozefowicz, L. Kaiser, M. Kudlur, J. Levenberg, D. Man ´ e,
R. Monga, S. Moore, D. Murray, C. Olah, M. Schuster,J. Shlens, B. Steiner, I. Sutskever, K. Talwar, P. Tucker, V. Van-
houcke, V. Vasudevan, F. Vi ´ egas, O. Vinyals, P. Warden,M. Wattenberg, M. Wicke, Y. Yu, and X. Zheng. Tensor-
Flow: Large-scale machine learning on heterogeneous sys-tems, 2015. Software available from tensorflow.org.
[2] F. Chollet. Keras. https://github.com/fchollet/keras, 2015.
[3] D.-A. Clevert, T. Unterthiner, and S. Hochreiter. Fast andaccurate deep network learning by exponential linear units(elus). arXiv preprint arXiv:1511.07289, 2015.
[4] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual learning for image recognition. arXiv preprint arXiv:1512.03385,
2015.
[5] G. Hinton, O. Vinyals, and J. Dean. Distilling the knowledge in a neural network, 2015.
[6] A. Howard. Mobilenets: Efficient convolutional neural net-works for mobile vision applications. Forthcoming.
[7] S. Ioffe and C. Szegedy. Batch normalization: Accelerating deep network training by reducing internal covariate shift.
In Proceedings of The 32nd International Conference on Machine Learning, pages 448–456, 2015.
[8] J. Jin, A. Dundar, and E. Culurciello. Flattened convolutional neural networks for feedforward acceleration. arXiv preprint
arXiv:1412.5474, 2014.
[9] A. Krizhevsky, I. Sutskever, and G. E. Hinton. Imagenet classification with deep convolutional neural networks. In
Advances in neural information processing systems, pages1097–1105, 2012.
[10] Y. LeCun, L. Jackel, L. Bottou, C. Cortes, J. S. Denker,H. Drucker, I. Guyon, U. Muller, E. Sackinger, P. Simard,
et al. Learning algorithms for classification: A comparison on handwritten digit recognition. Neural networks: the statistical
mechanics perspective, 261:276, 1995.
[11] M. Lin, Q. Chen, and S. Yan. Network in network. arXiv preprint arXiv:1312.4400, 2013.
[12] F. Mamalet and C. Garcia. Simplifying ConvNets for Fast Learning. In International Conference on Artificial Neural
Networks (ICANN 2012), pages 58–65. Springer, 2012.
[13] B. T. Polyak and A. B. Juditsky. Acceleration of stochas-tic approximation by averaging. SIAM J. Control Optim.,
30(4):838–855, July 1992.
[14] O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S. Ma,Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, et al. Ima-
genet large scale visual recognition challenge. 2014.
[15] L. Sifre. Rigid-motion scattering for image classification,2014. Ph.D. thesis.
[16] L. Sifre and S. Mallat. Rotation, scaling and deformation invariant scattering for texture discrimination. In 2013 IEEE
Conference on Computer Vision and Pattern Recognition,Portland, OR, USA, June 23-28, 2013, pages 1233–1240,
2013.
[17] N. Silberman and S. Guadarrama. Tf-slim, 2016.
[18] K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition. arXiv preprint
arXiv:1409.1556, 2014.
[19] C. Szegedy, S. Ioffe, and V. Vanhoucke. Inception-v4,inception-resnet and the impact of residual connections on
learning. arXiv preprint arXiv:1602.07261, 2016.
[20] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov,D. Erhan, V. Vanhoucke, and A. Rabinovich. Going deeper
with convolutions. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 1–9, 2015.
[21] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna.Rethinking the inception architecture for computer vision.
arXiv preprint arXiv:1512.00567, 2015.
[22] T. Tieleman and G. Hinton. Divide the gradient by a run-ning average of its recent magnitude. COURSERA: Neural
Networks for Machine Learning, 4, 2012. Accessed: 2015-11-05.
[23] V. Vanhoucke. Learning visual representations at scale. ICLR,2014.
[24] M. Wang, B. Liu, and H. Foroosh. Factorized convolutionalneural networks. arXiv preprint arXiv:1608.04337, 2016.
[25] M. D. Zeiler and R. Fergus. Visualizing and understanding convolutional networks. In Computer Vision–ECCV 2014,
pages 818–833. Springer, 2014.
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
相关文章
- Java笔记
java基础 1.标识符对各种变量、方法和类等要素命名时使用的字符序列称为标识符。 2.命名规则类名:每个单词第一个字符大写。变量,函数:第一个单词的首字母不大写,其他单词的首字母要大写。常量:全大写。java标识符大小写敏感,长度无限制。由字母,下划线,美元符,数字组…...
2024/4/14 13:59:45 - 小朋友拿礼物
题目描述每年六一儿童节,牛客都会准备一些小礼物去看望孤儿院的小朋友,今年亦是如此。HF作为牛客的资深元老,自然也准备了一些小游戏。其中,有个游戏是这样的:首先,让小朋友们围成一个大圈。然后,他随机指定一个数m,让编号为0的小朋友开始报数。每次喊到m-1的那个小朋友要出列唱…...
2024/4/25 1:40:44 - 7/16数字图像处理之图像分割
图像分割概述间断检测图像分割的方法:边缘检测阈值处理基于区域的分割区域生长用形态学分水岭的分割 概述 1.在对图像的研究和应用中,人们往往仅对图像中的某些部分感兴趣,这些部分一般称为目标或前景。 2.为了辨识和分析目标,需要将有关区域分离提取出来,在此基础上对目标…...
2024/5/3 15:19:00 - Qs II将工程文件打包发送给别人和解包总结
1. 对工程文件进行打包 在QS界面,一次打开project——Archive project;在弹出的新的窗口中,对包进行命名,并且选择存放地址。打包结束后,会看到两个文件,分别是qar和qarlog结尾; 其中QAR就是工程文件的压缩包。2. 对包进行解压和打开 当别人收到我们上面的压缩包后,最快…...
2024/4/21 19:29:35 - nodejs异步处理
我们先来看一个例子:const fs = require(fs) fs.readFile(a.txt, utf8, function(err, data) {console.log(data) })这是一个从文件中读取文件的代码,fs.readFile的第三个参数是个回调函数,当文件读取成功后,会调用改回调。为什么会有回调函数主要原因是因为js是单线程的,…...
2024/5/4 3:43:13 - 前端学习笔记三:JavaScript(2)变量的分类和作用域+利用浏览器调试模式测试+HTML事件+表示特殊字符(+运算符+各种循环和条件语句【略】)
第五段: <!DOCTYPE html> <html><head><meta charset="utf-8" /><meta name="viewport" content="width=device-width, initial-scale=1"><title></title><script type="text/javascript&qu…...
2024/4/25 7:14:12 - Redis--数据结构--Hash
Redis--数据结构--Hash1. 介绍2. 命令2.1 赋值2.2 取值2.3 键是否存在2.4 统计键的数量2.5 删除键2.6 不存在赋值2.7 值增加x2.8 获取所有键值对2.9 获取所有的键2.10 获取所有的值2.11 批量赋值2.12 批量获取3. 示例3.1 抢优惠券3.2 激活码3.3 用户名是否被占用 1. 介绍 可以把…...
2024/4/9 0:27:33 - 微服务架构之「 访问安全 」
应用程序的访问安全又是我们每一个研发团队都必须关注的重点问题。尤其是在我们采用了微服务架构之后,项目的复杂度提升了N个级别,相应的,微服务的安全工作也就更难更复杂了。并且我们以往擅长的单体应用的安全方案对于微服务来说已经不再适用了。我们必须有一套新的方案来保…...
2024/4/28 12:29:23 - day05-内部类和Lambda表达式
1.内部类 1.1 内部类的基本使用(理解)内部类概念在一个类中定义一个类。举例:在一个类A的内部定义一个类B,类B就被称为内部类内部类定义格式格式&举例: /*格式:class 外部类名{修饰符 class 内部类名{}} */class Outer {public class Inner {} }内部类的访问特点内部…...
2024/4/9 0:27:31 - 报表为什么会没完没了?怎么解决这个问题?
可以先想一下自己的部门或项目组是否面临这些问题: 1. 投入很多技术力量做报表,却还是疲于应付 2. 用了高端报表工具和敏捷 BI,却还是不够用 3. 技术高手用来做报表,感觉很浪费 4. 对于频繁多变的报表需求,需要低成本应对方案专门用于统计分析的报表业务有一个特点,就是业…...
2024/4/22 16:42:45 - 常用的Vue插件分享
1.Chinese (Simplified) Language Pack for Visual Studio Code 他是将编译器翻译成汉字,相当于一个汉化包,直接在如下,搜索即可这是对我这样一个英语不好的人来说的福音,感谢汉化组。 2.Live Server 有了它之后可以直接右键打开服务器,运行网页,非常方便。 3.open in br…...
2024/4/9 0:27:29 - Spark 的安装
官网:http://spark.apache.org/downloads.html安装:tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz #配置环境变量(vim ~/.bashrc): export SPARK_HOME="/opt/spark-2.4.3-bin-hadoop2.7" export PATH="$PATH:$SPARK_HOME"#修改配置cd spark-2.4.3-bin-ha…...
2024/4/9 0:27:29 - 金融数据库TDSQL
tdsql 三层: 网关层: 路由表 + 解析mysql(类似无状态的server) 存储层:真实的mysql,添加agent用以容灾备份数据切换 控制层:zookeeper用以存储状态,加一个keeper用以进行调度 扩容: 水平扩容 垂直扩容 谁扩容 扩容到哪 怎么扩 一般来说 CPU打到了100的话,扩容整张表…...
2024/4/22 12:56:09 - Git创建本地仓库和上传GitHub(二)
创建本地仓库创建版本管理目录创建一个目录,这个目录的内容都可以被我们Git管理起来。 可以手动创建,也可以使用命令 folder文件夹自己命名 mkdir folder cd folder pwd #查看文件位置初始化仓库git init这样我们的仓库就建立好了,但他是一个空的仓库,同时在目录下就多了一…...
2024/4/9 0:27:26 - Spring MVC 实现文件的上传与下载
Spring MVC 实现文件的上传与下载 文件的上传 SpringMVC 提供了上传文件的支持,并且这种支持是可插拔式的。这个可插拔式的组件时 MutilpartResolver 实现的。Spring 使用 FileUpload 实现了 MutilpartResolver 。类名称为 CommonsMultipartResolver。 默认请求下,SpringMVC…...
2024/4/26 21:32:39 - JavaScript正则
JavaScript 正则 了解正则正则表达式也叫作规则表达式 就是我们自己按照语法书写一套规则 用来检测字符串是不是符合规则的 从字符串里面捕获出来一部分符合规则的内容 正则表达式作用于字符串查找、替换、检测等等操作正则的用处正则表达式用来检测字符串 至于你的字符串是不是…...
2024/4/9 0:27:24 - SpringMVC进行文件下载
在SpringMVC中,提供了两种方式进行文件下载ResponseEntity @ResponseBody注解前端请求界面: <a href="${pageContext.request.contextPath }/testFileDownLoad">Download file</a>第一种方式实现:@RequestMapping("testFileDownLoad")publi…...
2024/4/12 10:45:35 - 【erlang】根据奇数位的概率随机求偶数位
记录一个工作中遇到的小问题,奇数位是概率,偶数位是数值,给一个列表根据概率求数值。%% 根据奇数位的概率随机求偶数位 列表如:[50,3,30,5,20,10] getRand(WeightList) ->%% 求出奇数位总和WeightSum = sum_odd(WeightList),%% 求随机数RandNumber = rand:uniform(Weight…...
2024/4/16 18:55:22 - Linux 引导过程与服务控制;超详细的理论+超详细的实验!
Linux引导过程与服务控制一、Linux操作系统引导过程1.1、系统引导1.2、系统初始化进程1.3、systemd单元类型1.4、运行级别所对应的systemd目标二、修复MBR扇区故障2.1、修复MBR扇区故障三、备份MBR扇区数据,模拟故障,恢复数据实验 一、Linux操作系统引导过程 1.1、系统引导开…...
2024/4/26 2:54:51 - 2020腾讯后端面试题以及解答(golang方向)
1、goalng相关Q:context作用,原理,超时控制A: golang context的理解,context主要用于父子任务之间的同步取消信号,本质上是一种协程调度的方式。另外在使用context时有两点值得注意:上游任务仅仅使用context通知下游任务不再需要,但不会直接干涉和中断下游任务的执行,由…...
2024/4/9 0:27:20
最新文章
- @dataclass装饰器的作用
dataclass dataclass: 这是一个装饰器,用于自动为类生成特殊方法,例如 __init__()、__repr__() 等。在这里使用 dataclass 装饰器可以自动为 ReplayBuffer 类生成初始化方法和字符串表示方法,而无需手动编写。 dataclass class ReplayBuffer…...
2024/5/4 4:18:31 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言,在此感激不尽。 权重和梯度的更新公式如下: w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/3/20 10:50:27 - 如何转行成为产品经理?
转行NPDP也是很合适的一条发展路径,之后从事新产品开发相关工作~ 一、什么是NPDP? NPDP 是产品经理国际资格认证,美国产品开发与管理协会(PDMA)发起的,是目前国际公认的唯一的新产品开发专业认证ÿ…...
2024/5/1 13:02:24 - 最新在线工具箱网站系统源码
内容目录 一、详细介绍二、效果展示1.部分代码2.效果图展示 三、学习资料下载 一、详细介绍 系统内置高达72种站长工具、开发工具、娱乐工具等功能。此系统支持本地调用API,同时还自带免费API接口, 是一个多功能性工具程序,支持后台管理、上…...
2024/5/3 2:32:18 - 416. 分割等和子集问题(动态规划)
题目 题解 class Solution:def canPartition(self, nums: List[int]) -> bool:# badcaseif not nums:return True# 不能被2整除if sum(nums) % 2 ! 0:return False# 状态定义:dp[i][j]表示当背包容量为j,用前i个物品是否正好可以将背包填满ÿ…...
2024/5/3 11:50:27 - 【Java】ExcelWriter自适应宽度工具类(支持中文)
工具类 import org.apache.poi.ss.usermodel.Cell; import org.apache.poi.ss.usermodel.CellType; import org.apache.poi.ss.usermodel.Row; import org.apache.poi.ss.usermodel.Sheet;/*** Excel工具类** author xiaoming* date 2023/11/17 10:40*/ public class ExcelUti…...
2024/5/2 16:04:58 - Spring cloud负载均衡@LoadBalanced LoadBalancerClient
LoadBalance vs Ribbon 由于Spring cloud2020之后移除了Ribbon,直接使用Spring Cloud LoadBalancer作为客户端负载均衡组件,我们讨论Spring负载均衡以Spring Cloud2020之后版本为主,学习Spring Cloud LoadBalance,暂不讨论Ribbon…...
2024/5/2 23:55:17 - TSINGSEE青犀AI智能分析+视频监控工业园区周界安全防范方案
一、背景需求分析 在工业产业园、化工园或生产制造园区中,周界防范意义重大,对园区的安全起到重要的作用。常规的安防方式是采用人员巡查,人力投入成本大而且效率低。周界一旦被破坏或入侵,会影响园区人员和资产安全,…...
2024/5/3 16:00:51 - VB.net WebBrowser网页元素抓取分析方法
在用WebBrowser编程实现网页操作自动化时,常要分析网页Html,例如网页在加载数据时,常会显示“系统处理中,请稍候..”,我们需要在数据加载完成后才能继续下一步操作,如何抓取这个信息的网页html元素变化&…...
2024/5/3 11:10:49 - 【Objective-C】Objective-C汇总
方法定义 参考:https://www.yiibai.com/objective_c/objective_c_functions.html Objective-C编程语言中方法定义的一般形式如下 - (return_type) method_name:( argumentType1 )argumentName1 joiningArgument2:( argumentType2 )argumentName2 ... joiningArgu…...
2024/5/3 21:22:01 - 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】
👨💻博客主页:花无缺 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 本文由 花无缺 原创 收录于专栏 【洛谷算法题】 文章目录 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】🌏题目描述🌏输入格…...
2024/5/3 23:17:01 - 【ES6.0】- 扩展运算符(...)
【ES6.0】- 扩展运算符... 文章目录 【ES6.0】- 扩展运算符...一、概述二、拷贝数组对象三、合并操作四、参数传递五、数组去重六、字符串转字符数组七、NodeList转数组八、解构变量九、打印日志十、总结 一、概述 **扩展运算符(...)**允许一个表达式在期望多个参数࿰…...
2024/5/2 23:47:43 - 摩根看好的前智能硬件头部品牌双11交易数据极度异常!——是模式创新还是饮鸩止渴?
文 | 螳螂观察 作者 | 李燃 双11狂欢已落下帷幕,各大品牌纷纷晒出优异的成绩单,摩根士丹利投资的智能硬件头部品牌凯迪仕也不例外。然而有爆料称,在自媒体平台发布霸榜各大榜单喜讯的凯迪仕智能锁,多个平台数据都表现出极度异常…...
2024/5/3 13:26:06 - Go语言常用命令详解(二)
文章目录 前言常用命令go bug示例参数说明 go doc示例参数说明 go env示例 go fix示例 go fmt示例 go generate示例 总结写在最后 前言 接着上一篇继续介绍Go语言的常用命令 常用命令 以下是一些常用的Go命令,这些命令可以帮助您在Go开发中进行编译、测试、运行和…...
2024/5/3 1:55:15 - 用欧拉路径判断图同构推出reverse合法性:1116T4
http://cplusoj.com/d/senior/p/SS231116D 假设我们要把 a a a 变成 b b b,我们在 a i a_i ai 和 a i 1 a_{i1} ai1 之间连边, b b b 同理,则 a a a 能变成 b b b 的充要条件是两图 A , B A,B A,B 同构。 必要性显然࿰…...
2024/5/4 2:14:16 - 【NGINX--1】基础知识
1、在 Debian/Ubuntu 上安装 NGINX 在 Debian 或 Ubuntu 机器上安装 NGINX 开源版。 更新已配置源的软件包信息,并安装一些有助于配置官方 NGINX 软件包仓库的软件包: apt-get update apt install -y curl gnupg2 ca-certificates lsb-release debian-…...
2024/5/3 16:23:03 - Hive默认分割符、存储格式与数据压缩
目录 1、Hive默认分割符2、Hive存储格式3、Hive数据压缩 1、Hive默认分割符 Hive创建表时指定的行受限(ROW FORMAT)配置标准HQL为: ... ROW FORMAT DELIMITED FIELDS TERMINATED BY \u0001 COLLECTION ITEMS TERMINATED BY , MAP KEYS TERMI…...
2024/5/3 1:55:09 - 【论文阅读】MAG:一种用于航天器遥测数据中有效异常检测的新方法
文章目录 摘要1 引言2 问题描述3 拟议框架4 所提出方法的细节A.数据预处理B.变量相关分析C.MAG模型D.异常分数 5 实验A.数据集和性能指标B.实验设置与平台C.结果和比较 6 结论 摘要 异常检测是保证航天器稳定性的关键。在航天器运行过程中,传感器和控制器产生大量周…...
2024/5/2 8:37:00 - --max-old-space-size=8192报错
vue项目运行时,如果经常运行慢,崩溃停止服务,报如下错误 FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory 因为在 Node 中,通过JavaScript使用内存时只能使用部分内存(64位系统&…...
2024/5/3 14:57:24 - 基于深度学习的恶意软件检测
恶意软件是指恶意软件犯罪者用来感染个人计算机或整个组织的网络的软件。 它利用目标系统漏洞,例如可以被劫持的合法软件(例如浏览器或 Web 应用程序插件)中的错误。 恶意软件渗透可能会造成灾难性的后果,包括数据被盗、勒索或网…...
2024/5/2 9:47:25 - JS原型对象prototype
让我简单的为大家介绍一下原型对象prototype吧! 使用原型实现方法共享 1.构造函数通过原型分配的函数是所有对象所 共享的。 2.JavaScript 规定,每一个构造函数都有一个 prototype 属性,指向另一个对象,所以我们也称为原型对象…...
2024/5/4 2:00:16 - C++中只能有一个实例的单例类
C中只能有一个实例的单例类 前面讨论的 President 类很不错,但存在一个缺陷:无法禁止通过实例化多个对象来创建多名总统: President One, Two, Three; 由于复制构造函数是私有的,其中每个对象都是不可复制的,但您的目…...
2024/5/3 22:03:11 - python django 小程序图书借阅源码
开发工具: PyCharm,mysql5.7,微信开发者工具 技术说明: python django html 小程序 功能介绍: 用户端: 登录注册(含授权登录) 首页显示搜索图书,轮播图࿰…...
2024/5/3 7:43:42 - 电子学会C/C++编程等级考试2022年03月(一级)真题解析
C/C++等级考试(1~8级)全部真题・点这里 第1题:双精度浮点数的输入输出 输入一个双精度浮点数,保留8位小数,输出这个浮点数。 时间限制:1000 内存限制:65536输入 只有一行,一个双精度浮点数。输出 一行,保留8位小数的浮点数。样例输入 3.1415926535798932样例输出 3.1…...
2024/5/3 1:54:59 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下:1、长按电脑电源键直至关机,然后再按一次电源健重启电脑,按F8健进入安全模式2、安全模式下进入Windows系统桌面后,按住“winR”打开运行窗口,输入“services.msc”打开服务设置3、在服务界面,选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。
%读入6幅图像(每一幅图像的大小是564*564) f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面,在等待界面中我们需要等待操作结束才能关机,虽然这比较麻烦,但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows,请勿关闭计算机”的提示,要过很久才能进入系统,有的用户甚至几个小时也无法进入,下面就教大家这个问题的解决方法。第一种方法:我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题,电脑时发现开机屏幕显现“正在配置Windows Update,请勿关机”(如下图所示),而且还需求等大约5分钟才干进入系统。这是怎样回事呢?一切都是正常操作的,为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示,没过几秒后电脑自动重启,每次开机都这样无法进入系统,此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一:开机按下F8,在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况,就是电脑提示正在准备windows请勿关闭计算机,碰到这样的问题该怎么解决呢,现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法:1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后,每次关机的时候桌面上都会显示一个“配置Windows Update的界面,提示请勿关闭计算机”,每次停留好几分钟才能正常关机,导致什么情况引起的呢?出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着,别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚,只能是考虑备份数据后重装系统了。解决来方案一:管理员运行cmd:net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?
原标题:电脑提示“配置Windows Update请勿关闭计算机”怎么办?win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢?一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了,具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面,长时间没反应,无法进入系统。这个问题原来帮其他同学也解决过,网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法,并在最后教给你1种保护系统安全的好方法,一起来看看!电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中,添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候,开启电脑发现电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机。。.这要怎么办呢?下面小编就带着大家一起看看吧!如果能够正常进入系统,建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题,就是我们的win7系统在关机的时候,总是喜欢显示“准备配置windows,请勿关机”这样的一个页面,没有什么大碍,但是如果一直等着的话就要两个小时甚至更久都关不了机,非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时,一般是您正对windows进行升级,但是这个要是长时间没有反应,我们不能再傻等下去了。可能是电脑出了别的问题了,来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况,当我们打开电脑之后,发现一直停留在一个界面:“配置Windows Update失败,还原更改请勿关闭计算机”,等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57