【机器学习】 - CNN
什么是卷积神经网络,它为何重要?
卷积神经网络(也称作 ConvNets 或 CNN)是神经网络的一种,它在图像识别和分类等领域已被证明非常有效。 卷积神经网络除了为机器人和自动驾驶汽车的视觉助力之外,还可以成功识别人脸,物体和交通标志。
图1
如图1所示,卷积神经网络能够识别图片的场景并且提供相关标题(“足球运动员正在踢足球”),图2则是利用卷积神经网络识别日常物品、人类和动物的例子。最近,卷积神经网络在一些自然语言处理任务(如语句分类)中也发挥了很大作用。
图2
因此,卷积神经网络是当今大多数机器学习实践者的重要工具。但是,理解卷积神经网络并开始尝试运用着实是一个痛苦的过程。本文的主要目的是了解卷积神经网络如何处理图像。
对于刚接触神经网络的人,我建议大家先阅读这篇关于多层感知机的简短教程 ,了解其工作原理之后再继续阅读本文。多层感知机即本文中的“完全连接层”。
LeNet 框架(20世纪90年代)
LeNet 是最早推动深度学习领域发展的卷积神经网络之一。这项由 Yann LeCun 完成的开创性工作自1988年以来多次成功迭代之后被命名为 LeNet5。当时 LeNet 框架主要用于字符识别任务,例如阅读邮政编码,数字等。
接下来,我们将直观地了解 LeNet 框架如何学习识别图像。 近年来有人提出了几种基于 LeNet 改进的新框架,但是它们的基本思路与 LeNet 并无差别,如果您清楚地理解了 LeNet,那么对这些新的框架理解起来就相对容易很多。
图3: 一个简单的卷积神经网络
图3中的卷积神经网络在结构上与原始的 LeNet 类似,并将输入图像分为四类:狗,猫,船或鸟(原始的 LeNet 主要用于字符识别任务)。 从上图可以看出,接收船只图像作为输入时,神经网络在四个类别中正确地给船只分配了最高概率值(0.94)。输出层中所有概率的总和应该是1(之后会做解释)。
图3 的卷积神经网络中有四个主要操作:
- 卷积
- 非线性变换(ReLU)
- 池化或子采样
- 分类(完全连接层)
这些操作是所有卷积神经网络的基本组成部分,因此了解它们的工作原理是理解卷积神经网络的重要步骤。下面我们将尝试直观地理解每个操作。
一张图片就是一个由像素值组成的矩阵
实质上,每张图片都可以表示为由像素值组成的矩阵。
图4: 每张图片就是一个像素矩阵
通道(channel)是一个传统术语,指图像的一个特定成分。标准数码相机拍摄的照片具有三个通道——红,绿和蓝——你可以将它们想象为三个堆叠在一起的二维矩阵(每种颜色一个),每个矩阵的像素值都在0到255之间。
而灰度图像只有一个通道。 鉴于本文的科普目的,我们只考虑灰度图像,即一个代表图像的二维矩阵。矩阵中每个像素值的范围在0到255之间——0表示黑色,255表示白色。
卷积
卷积神经网络的名字来源于“卷积”运算。在卷积神经网络中,卷积的主要目的是从输入图像中提取特征。通过使用输入数据中的小方块来学习图像特征,卷积保留了像素间的空间关系。我们在这里不会介绍卷积的数学推导,但会尝试理解它是如何处理图像的。
正如前文所说,每个图像可以被看做像素值矩阵。考虑一个像素值仅为0和1的5 × 5大小的图像(注意,对于灰度图像,像素值范围从0到255,下面的绿色矩阵是像素值仅为0和1的特殊情况):
另外,考虑另一个 3×3 矩阵,如下图所示:
上述5 x 5图像和3 x 3矩阵的卷积计算过程如图5中的动画所示:
图5:卷积操作。输出矩阵称作“卷积特征”或“特征映射”
我们来花点时间理解一下上述计算是如何完成的。将橙色矩阵在原始图像(绿色)上以每次1个像素的速率(也称为“步幅”)移动,对于每个位置,计算两个矩阵相对元素的乘积并相加,输出一个整数并作为最终输出矩阵(粉色)的一个元素。注意,3 × 3矩阵每个步幅仅能“看到”输入图像的一部分。
在卷积神经网路的术语中,这个3 × 3矩阵被称为“过滤器”或“核”或“特征探测器”,通过在图像上移动过滤器并计算点积得到的矩阵被称为“卷积特征”或“激活映射”或“特征映射”。重要的是要注意,过滤器的作用就是原始输入图像的特征检测器。
从上面的动画可以明显看出,对于同一张输入图像,不同的过滤器矩阵将会产生不同的特征映射。例如,考虑如下输入图像:
在下表中,我们可以看到上图在不同过滤器下卷积的效果。如图所示,只需在卷积运算前改变过滤器矩阵的数值就可以执行边缘检测,锐化和模糊等不同操作 [8] —— 这意味着不同的过滤器可以检测图像的不同特征,例如边缘, 曲线等。更多此类示例可在 这里 8.2.4节中找到。
一个过滤器(红色边框)在输入图像上移动(卷积操作)以生成特征映射。在同一张图像上,另一个过滤器(绿色边框)的卷积生成了不同的特征图,如图所示。需要注意到,卷积操作捕获原始图像中的局部依赖关系很重要。还要注意这两个不同的过滤器如何从同一张原始图像得到不同的特征图。请记住,以上图像和两个过滤器只是数值矩阵。
实际上,卷积神经网络在训练过程中会自己学习这些过滤器的值(尽管在训练过程之前我们仍需要指定诸如过滤器数目、大小,网络框架等参数)。我们拥有的过滤器数目越多,提取的图像特征就越多,我们的网络在识别新图像时效果就会越好。
特征映射(卷积特征)的大小由我们在执行卷积步骤之前需要决定的三个参数[4]控制:
- 深度:深度对应于我们用于卷积运算的过滤器数量。在图7所示的网络中,我们使用三个不同的过滤器对初始的船图像进行卷积,从而生成三个不同的特征图。可以将这三个特征地图视为堆叠的二维矩阵,因此,特征映射的“深度”为3。
图7
- 步幅:步幅是我们在输入矩阵上移动一次过滤器矩阵的像素数量。当步幅为1时,我们一次将过滤器移动1个像素。当步幅为2时,过滤器每次移动2个像素。步幅越大,生成的特征映射越小。
- 零填充:有时,将输入矩阵边界用零来填充会很方便,这样我们可以将过滤器应用于输入图像矩阵的边界元素。零填充一个很好的特性是它允许我们控制特征映射的大小。添加零填充也称为宽卷积,而不使用零填充是为窄卷积。 这在[14]中有清楚的解释。
非线性部分介绍(ReLU)
如上文图3所示,每次卷积之后,都进行了另一项称为 ReLU 的操作。ReLU 全称为修正线性单元(Rectified Linear Units),是一种非线性操作。 其输出如下图所示:
图8: ReLU 函数
ReLU 是一个针对元素的操作(应用于每个像素),并将特征映射中的所有负像素值替换为零。ReLU 的目的是在卷积神经网络中引入非线性因素,因为在实际生活中我们想要用神经网络学习的数据大多数都是非线性的(卷积是一个线性运算 —— 按元素进行矩阵乘法和加法,所以我们希望通过引入 ReLU 这样的非线性函数来解决非线性问题)。
从图9可以很清楚地理解 ReLU 操作。它展示了将 ReLU 作用于图6中某个特征映射得到的结果。这里的输出特征映射也被称为“修正”特征映射。
图9: ReLU 操作
其他非线性函数诸如 tanh 或 sigmoid 也可以用来代替 ReLU,但是在大多数情况下,ReLU 的表现更好。
池化
空间池化(也称为子采样或下采样)可降低每个特征映射的维度,并保留最重要的信息。空间池化有几种不同的方式:最大值,平均值,求和等。
在最大池化的情况下,我们定义一个空间邻域(例如,一个2 × 2窗口),并取修正特征映射在该窗口内最大的元素。当然我们也可以取该窗口内所有元素的平均值(平均池化)或所有元素的总和。在实际运用中,最大池化的表现更好。
图10展示了通过2 × 2窗口在修正特征映射(卷积+ ReLU 操作后得到)上应用最大池化操作的示例。
图10: 最大池化
我们将2 x 2窗口移动2个单元格(也称为“步幅”),并取每个区域中的最大值。如图10所示,这样就降低了特征映射的维度。
在图11所示的网络中,池化操作分别应用于每个特征映射(因此,我们从三个输入映射中得到了三个输出映射)。
图11: 在修正特征映射上应用池化
图12展示了我们对图9中经过 ReLU 操作之后得到的修正特征映射应用池化之后的效果。
图12: 池化
池化的作用是逐步减少输入的空间大小[4]。具体来说有以下四点:
- 使输入(特征维度)更小,更易于管理
- 减少网络中的参数和运算次数,因此可以控制过拟合 [4]
- 使网络对输入图像微小的变换、失真和平移更加稳健(输入图片小幅度的失真不会改池化的输出结果 —— 因为我们取了邻域的最大值/平均值)。
- 可以得到尺度几乎不变的图像(确切的术语是“等变”)。这是非常有用的,这样无论图片中的物体位于何处,我们都可以检测到,(详情参阅[18]和[19])。
至此…
图13
目前为止,我们已经了解了卷积,ReLU 和池化的工作原理。这些是卷积神经网络的基本组成部分,理解这一点很重要。如图13所示,我们有两个由卷积,ReLU 和 Pooling 组成的中间层 —— 第二个卷积层使用六个过滤器对第一层的输出执行卷积,生成六个特征映射。然后将 ReLU 分别应用于这六个特征映射。接着,我们对六个修正特征映射分别执行最大池化操作。
这两个中间层的作用都是从图像中提取有用的特征,在网络中引入非线性因素,同时对特征降维并使其在尺度和平移上等变[18]。
第二个池化层的输出即完全连接层的输入,我们将在下一节讨论。
完全连接层
完全连接层是一个传统的多层感知器,它在输出层使用 softmax 激活函数(也可以使用其他分类器,比如 SVM,但在本文只用到了 softmax)。“完全连接”这个术语意味着前一层中的每个神经元都连接到下一层的每个神经元。 如果对多层感知器不甚了解,我建议您阅读这篇文章。
卷积层和池化层的输出代表了输入图像的高级特征。完全连接层的目的是利用这些基于训练数据集得到的特征,将输入图像分为不同的类。例如,我们要执行的图像分类任务有四个可能的输出,如图14所示(请注意,图14没有展示出完全连接层中节点之间的连接)
图14: 完全连接层——每个节点都与相邻层的其他节点连接
除分类之外,添加完全连接层也是一个(通常来说)比较简单的学习这些特征非线性组合的方式。卷积层和池化层得到的大部分特征对分类的效果可能也不错,但这些特征的组合可能会更好[11]。
完全连接层的输出概率之和为1。这是因为我们在完全连接层的输出层使用了 softmax 激活函数。Softmax 函数取任意实数向量作为输入,并将其压缩到数值在0到1之间,总和为1的向量。
正式开始——使用反向传播进行训练
如上所述,卷积+池化层用来从输入图像提取特征,完全连接层用来做分类器。
注意,在图15中,由于输入图像是船,对于船类目标概率为1,其他三个类为0
- 输入图像 = 船
- 目标向量 = [0, 0, 1, 0]
图15:训练卷积神经网络
卷积网络的整体训练过程概括如下:
- 步骤1:用随机值初始化所有过滤器和参数/权重
- 步骤2:神经网络将训练图像作为输入,经过前向传播步骤(卷积,ReLU 和池化操作以在完全连接层中的前向传播),得到每个类的输出概率。
- 假设上面船只图像的输出概率是 [0.2,0.4,0.1,0.3]
- 由于权重是随机分配给第一个训练样本,因此输出概率也是随机的。
- 步骤3:计算输出层的总误差(对所有4个类进行求和)
- 总误差=∑ ½(目标概率 – 输出概率)²
- 步骤4:使用反向传播计算网络中所有权重的误差梯度,并使用梯度下降更新所有过滤器值/权重和参数值,以最小化输出误差。
- 根据权重对总误差的贡献对其进行调整。
- 当再次输入相同的图像时,输出概率可能就变成了 [0.1,0.1,0.7,0.1],这更接近目标向量 [0,0,1,0]。
- 这意味着网络已经学会了如何通过调整其权重/过滤器并减少输出误差的方式对特定图像进行正确分类。
- 过滤器数量、大小,网络结构等参数在步骤1之前都已经固定,并且在训练过程中不会改变 —— 只会更新滤器矩阵和连接权值。
- 步骤5:对训练集中的所有图像重复步骤2-4。
通过以上步骤就可以训练出卷积神经网络 —— 这实际上意味着卷积神经网络中的所有权重和参数都已经过优化,可以对训练集中的图像进行正确分类。
当我们给卷积神经网络中输入一个新的(未见过的)图像时,网络会执行前向传播步骤并输出每个类的概率(对于新图像,计算输出概率所用的权重是之前优化过,并能够对训练集完全正确分类的)。如果我们的训练集足够大,神经网络会有很好的泛化能力(但愿如此)并将新图片分到正确的类里。
注1:为了给大家提供一个直观的训练过程,上述步骤已经简化了很多,并且忽略了数学推导过程。如果想要数学推导以及对卷积神经网络透彻的理解,请参阅 [4] 和 [12]。
注2:上面的例子中,我们使用了两组交替的卷积和池化层。但请注意,这些操作可以在一个卷积神经网络中重复执行多次。实际上,现在效果最好的一些卷积神经网络都包含几十个卷积和池化层! 另外,每个卷积层之后的池化层不是必需的。从下面的图16中可以看出,在进行池化操作之前,我们可以连续进行多个卷积 + ReLU 操作。另外请注意图16卷积神经网络的每一层是如何展示的。
图16
卷积神经网络的可视化
一般来说,卷积步骤越多,神经网络能够学习识别的特征就更复杂。例如,在图像分类中,卷积神经网络在第一层可能会学习检测原始像素的边缘,然后在第二层利用这些边缘检测简单形状,然后在更高级的层用这些形状来检测高级特征,例如面部形状 [14]。图17演示了这个过程 —— 这些特征是使用卷积深度信念网络学习的,这张图片只是为了演示思路(这只是一个例子:实际上卷积过滤器识别出来的对象可能对人来说并没有什么意义)。
图17: 卷积深度信念网络学习特征
Adam Harley 创建了一个基于 MNIST 手写数字数据集 [13]训练卷积神经网络的可视化。我强烈推荐大家 使用它来了解卷积神经网络的工作细节。
我们在下图中可以看到神经网络对于输入数字“8”的具体操作细节。请注意,图18中并未单独显示ReLU操作。
图18:基于手写数字训练卷积神经网络的可视化
输入图像包含 1024 个像素点(32 × 32 图像),第一个卷积层(卷积层1)由六个不同的5 × 5(步幅为1)过滤器与输入图像卷积而成。如图所示,使用六个不同的过滤器得到深度为六的特征映射。
卷积层1之后是池化层1,它在卷积层1中的六个特征映射上分别进行2 × 2最大池化(步幅为2)。将鼠标指针移动到池化层的任意像素上,可以观察到它来自于2 x 2网格在前一个卷积层中的作用(如图19所示)。注意到2 x 2网格中具有最大值(最亮的那个)的像素点会被映射到池化层。
图19:池化操作可视化
池化层1之后是十六个执行卷积操作的5 × 5(步幅为1)卷积过滤器。然后是执行2 × 2最大池化(步幅为2)的池化层2。 这两层的作用与上述相同。
然后有三个完全连接(FC)层:
- 第一个FC层中有120个神经元
- 第二个FC层中有100个神经元
- 第三个FC层中的10个神经元对应于10个数字 —— 也称为输出层
注意,在图20中,输出层的10个节点每一个都连接到第二个完全连接层中的全部100个节点(因此称为完全连接)。
另外,注意为什么输出层中唯一明亮的节点是’8’ —— 这意味着神经网络对我们的手写数字进行了正确分类(节点亮度越高表示它的输出更高,即8在所有数字中具有最高的概率)。
图20:完全连接层可视化
该可视化系统的 3D 版本在此。
其他卷积神经网络框架
卷积神经网络始于20世纪90年代初。我们已经讨论了LeNet,它是最早的卷积神经网络之一。下面列出了其他一些有影响力的神经网络框架 [3] [4]。
- LeNet (20世纪90年代):本文已详述。
- 20世纪90年代到2012年:从20世纪90年代后期到2010年初,卷积神经网络正处于孵化期。随着越来越多的数据和计算能力的提升,卷积神经网络可以解决的任务变得越来越有趣。
- AlexNet(2012) – 2012年,Alex Krizhevsky(和其他人)发布了 AlexNet,它是提升了深度和广度版本的 LeNet,并在2012年以巨大优势赢得了 ImageNet 大规模视觉识别挑战赛(ILSVRC)。这是基于之前方法的重大突破,目前 CNN 的广泛应用都要归功于 AlexNet。
- ZF Net(2013) – 2013年 ILSVRC 获奖者来自 Matthew Zeiler 和 Rob Fergus 的卷积网络。它被称为 ZFNet(Zeiler 和 Fergus Net 的简称)。它在 AlexNet 的基础上通过调整网络框架超参数对其进行了改进。
- GoogLeNet(2014) – 2014年 ILSVRC 获奖者是 Google 的 Szegedy 等人的卷积网络。其主要贡献是开发了一个初始模块,该模块大大减少了网络中的参数数量(4M,而 AlexNet 有60M)。
- VGGNet(2014) – 2014年 ILSVRC 亚军是名为 VGGNet 的网络。其主要贡献在于证明了网络深度(层数)是影响性能的关键因素。
- ResNets(2015) – 何凯明(和其他人)开发的残差网络是2015年 ILSVRC 的冠军。ResNets 是迄今为止最先进的卷积神经网络模型,并且是大家在实践中使用卷积神经网络的默认选择(截至2016年5月)。
- DenseNet(2016年8月) – 最近由黄高等人发表,密集连接卷积网络的每一层都以前馈方式直接连接到其他层。 DenseNet 已经在五项竞争激烈的对象识别基准测试任务中证明自己比之前最先进的框架有了显着的改进。具体实现请参考这个网址。
结论
本文中,我尝试着用一些简单的术语解释卷积神经网络背后的主要概念,同时简化/略过了几个细节部分,但我希望这篇文章能够让你直观地理解其工作原理。
本文最初是受 Denny Britz 《理解卷积神经网络在自然语言处理上的运用》这篇文章的启发(推荐阅读),文中的许多解释是基于这篇文章的。为了更深入地理解其中一些概念,我鼓励您阅读斯坦福大学卷积神经网络课程的笔记以及一下参考资料中提到的其他很棒的资源。如果您对上述概念的理解遇到任何问题/建议,请随时在下面留言。
文中所使用的所有图像和动画均属于其各自的作者,陈列如下。
参考
- karpathy/neuraltalk2: Efficient Image Captioning code in Torch, Examples
- Shaoqing Ren, et al, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”, 2015, arXiv:1506.01497
- Neural Network Architectures, Eugenio Culurciello’s blog
- CS231n Convolutional Neural Networks for Visual Recognition, Stanford
- Clarifai/Technology
- Machine Learning is Fun! Part 3: Deep Learning and Convolutional Neural Networks
- Feature extraction using convolution, Stanford
- Wikipedia article on Kernel (image processing)
- Deep Learning Methods for Vision, CVPR 2012 Tutorial
- Neural Networks by Rob Fergus, Machine Learning Summer School 2015
- What do the fully connected layers do in CNNs?
- Convolutional Neural Networks, Andrew Gibiansky
- W. Harley, “An Interactive Node-Link Visualization of Convolutional Neural Networks,” in ISVC, pages 867-877, 2015 (link). Demo
- Understanding Convolutional Neural Networks for NLP
- Backpropagation in Convolutional Neural Networks
- A Beginner’s Guide To Understanding Convolutional Neural Networks
- Vincent Dumoulin, et al, “A guide to convolution arithmetic for deep learning”, 2015, arXiv:1603.07285
- What is the difference between deep learning and usual machine learning?
- How is a convolutional neural network able to learn invariant features?
- A Taxonomy of Deep Convolutional Neural Nets for Computer Vision
- Honglak Lee, et al, “Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations” (link)
图13,第二次做卷积的时候,是对第一次的结果应用6个过滤器吗?那第二次卷积之后是不是应该有3*6 = 18个特征映射啊?
在原文博客评论区找到了上面问题的解答,第二次做卷积的时候,对每个过滤器,把第一次的3个映射做某种处理结合成1个,然后对这1个进行卷积。 详细可见 论文 http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf 中table1及周围的说明
以上内容参考自:https://www.cnblogs.com/kex1n/p/9083024.html
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
相关文章
- 【机器学习】 - 关于合适用均方误差(MSE)何时用交叉熵(cross-entropy)
分类问题用交叉熵,回归问题用均方误差。至于原因,可以看看它们的函数式,主要是两种损失函数对分类和回归结果误差的衡量的方式不同。比如,交叉熵,在分类时(热编码),如果分类正确,则损失值为零,否则就有个较大的损失值,然后反向传播,能够更好地更新权重;同理,均方…...
2024/4/28 8:38:41 - 明星拍激情戏假戏真做 成夫妻有人甜蜜有人愁
原标题:明星拍激情戏假戏真做 成夫妻有人甜蜜有人愁人生如戏,戏如人生,这是人们最喜欢用来比喻人生的俗话。在娱乐圈中,也不乏这样一些将荧幕故事直接搬到现实生活中的明星。 1、孙俪和邓超——幸福像花儿一样 孙俪和邓超两人之前分分合合传了许多绯闻,曾经被一些人不看好…...
2024/4/25 12:40:43 - Linux Mii management/mdio子系统分析之四 mdio总线及phy驱动模型及其开发流程
前三篇文章完成了mdio子系统概述、mdio子系统驱动模型概述、mii_bus子模块方法及驱动实现分析,本篇文章我们主要进行mdio总线驱动实现分析、phy驱动实现分析等部分,涉及的内容如下:一、mdio总线实现及相应方法分析二、phy驱动实现相应方法的分析三、phy驱动开发步骤说明一、…...
2024/4/28 19:25:03 - Linux Mii management/mdio子系统分析之五 PHY状态机分析及其与net_device的关联
前面几章基本上完成了mdio模块驱动模型的分析,本篇文章主要讲述phy device的状态机以及phy device与net_device的关联。Phy device主要是对phy的抽象,而net_device主要是对mac的抽象,而mdio总线以及mii_bus主要用于对phy设备的控制(包括设置phy设备的工作模式、速率模式、是…...
2024/4/27 23:12:14 - 智能马桶跟普通马桶大比拼
原标题:智能马桶跟普通马桶大比拼冬天到了,相信很多人都会跟小编一样面临这样一个烦恼。房间里有空调暖气,洗手有热水,但就是上洗手间的时候,那冰冰凉的马桶座圈让你迟迟没有勇气坐上去。这时候就在想,要是有一个可以加热的座圈就好了。现在智能马桶就帮你解决了这样的问…...
2024/4/27 22:04:47 - 【Python学习】 - 使用PIL, cv2, keras.preprocessing, scipy.imageio, matplotlib.image, skimage读取和保存图像的方法
python中图像处理相关库有很多,这里简单介绍PIL、cv2、scipy.imageio 、matplotlib.image、skimage等常用库,其中PIL库使用最方便,cv2库功能最强大。PIL:Python Imaging Librarypython安装:pip install Pillow 这里只给出读取、形状变化、图像转array、array转图像,以及保…...
2024/4/28 9:08:11 - 专家教你如何在家庭环境中帮助孩子全面发展
原标题:专家教你如何在家庭环境中帮助孩子全面发展一、良好的听能管理 孩子的听力状况、补偿效果、聆听能力是其语言、沟通等方面发展的重要前提。因此,家长应密切关注孩子听力变化和助听设备的工作情况。 ◆ 通过林氏六音测试、听能保养包的监测以及生活中孩子对语音和自然…...
2024/4/25 12:40:39 - 1246 Problem -AM-笨鸟先飞-入门题-数学-C++实现
问题 AM: 笨鸟先飞时间限制: 1 Sec 内存限制: 32 MB 提交: 108 解决: 41题目描述多多是一只小菜鸟,都说笨鸟先飞,多多也想来个菜鸟先飞。于是它从0点出发,一开始的飞行速度为1m/s,每过一个单位时间多多的飞行速度比上一个单位时间的飞行速度快2m/s,问n(0<n<10^5)…...
2024/4/25 12:40:37 - 2017年底选择装修公司看什么?教你四招避开套路
原标题:2017年底选择装修公司看什么?教你四招避开套路生活不止一面,想要别具一格的设计,客厅、卧室有不同的设计亮点,家里的装修是有层次有品位的,更想要厨房、阳台、卫生间的施工质量过硬,家人日常生活方便又舒心。成都上千家的装修公司怎么选到合适自己的? 施工质量有…...
2024/4/28 16:02:05 - Linux Mii management/mdio子系统分析之六 fixed-mii_bus分析(mac2mac分析)
前面几章我们介绍了MDIO模块的大部分内容,针对mii_bus、mdio_bus、phy_device、phy_driver相关的注册、注销均进行了介绍。基本上把mdio模块的内容介绍完了,而本篇介绍的内容,主要是针对虚拟mii_bus实现,并将虚拟phy_device注册至该mii_bus上。(本次分析内容基于LINUX3.10…...
2024/4/28 21:03:18 - 你家宝宝的大脑的潜力有多大?
原标题:你家宝宝的大脑的潜力有多大?~自从一百多万年前,在非洲大陆人科动物出现,人类逐渐演化至今,历经沧桑,随着历史长河的漫游,创造了无数的文明和奇迹。随之而来的是一个令人深思的问题:人类可以有多大的能力? 看看我们的周围,人们的差异随处可见。就拿说话来讲,…...
2024/4/28 11:33:47 - Linux mtd子系统专栏分析之一 概述
从今天开始,我们进行linux mtd子系统的分析。mtd子系统即为内存技术设备子系统,主要包括nor flash、nand flash等闪存设备相关的子系统模块,而针对sd、tf等存储设备,则主要由mmc子系统模块进行管理并创建对应的块设备。而针对mtd子系统,则会基于mtd原始设备,创建mtd字符设…...
2024/4/28 3:12:42 - Linux mtd子系统专栏分析之二 MTD设备驱动模型架构及数据结构说明
本篇文章我们主要说明向mtd设备驱动模型的架构及相应的数据结构,我们从数据结构入手,即可以较好的理解mtd设备驱动模型的架构,以便我们能较好的理解mtd设备驱动模。本篇主要包括如下几个部分:一、mtd设备驱动模型的架构说明二、mtd设备驱动相关的数据结构说明一、mtd设备驱…...
2024/4/28 21:39:37 - 节后上班总是那么的忙碌
原标题:节后上班总是那么的忙碌责任编辑:...
2024/4/28 17:53:28 - 关于Java事务&spring 事务的详解
事务(ACID)是在计算机术语中是指访问并可能更新数据库中各种数据项的一个程序执行单元。事务的4个特性(ACID):原子性(atomicity):事务是数据库的逻辑工作单位,而且是必须是原子工作单位,对于其数据修改,要么全部执行,要么全部不执行。一致性(consistency):事务在…...
2024/4/28 2:17:36 - 【创想跑团吴昀泽】9月19日打卡1.58公里
原标题:【创想跑团吴昀泽】9月19日打卡1.58公里责任编辑:...
2024/4/25 12:40:31 - 动手学深度学习学习笔记tf2.0版(4.5 GPU计算)
日常使用过程中往往需要涉及 GPU 进行模型训练和推理,及指定 GPU进行计算,那么:经常地,我会这么使用定义要使用的 gpu_id 和 需要消耗的显存:import tensorflow as tf import numpy as np from tensorflow import keras print(tf.__version__) import osos.environ[CUDA_VI…...
2024/4/25 12:40:28 - 蜂蜜能洗头发吗
原标题:蜂蜜能洗头发吗家里买了一瓶蜂蜜,听人说蜂蜜洗头发可以使头发顺滑,有光泽,还可以去屑,总之蜂蜜洗头好处多多,可是它真的能洗吗,那么粘稠沾怎么能沾在头发上呢? 蜂蜜有天然修复作用,被称为天然保湿剂,它的功效堪比护发素,可以修复干燥受损的头发,增加头发弹性…...
2024/4/25 12:40:27 - 创想跑团杨大庆打卡9月19日跑步5.41公里
原标题:创想跑团杨大庆打卡9月19日跑步5.41公里责任编辑:...
2024/4/14 4:26:22 - 1248 Problem -AO-美丽数-入门题-数学-C++实现
问题 AO: 美丽数时间限制: 1 Sec 内存限制: 32 MB 提交: 191 解决: 47题目描述小明很喜欢3和5这两个数字,他将能被3或5整除的数叫做美丽数。现在给你一个整数N(1<=N<=100000),你能告诉小明第N个美丽数是多少吗?输入输入包含多组测试数据。每组输入一个整数N(1<…...
2024/4/14 4:26:18
最新文章
- 易错知识点(学习过程中不断记录)
快捷键专区: 注释:ctrl/ ctrlshift/ 保存:ctrls 调试: 知识点专区: 1基本数据类型 基本数据类型有四类:整型、浮点型、字符型、布尔型(Boolean), 分为八种ÿ…...
2024/4/28 23:53:18 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言,在此感激不尽。 权重和梯度的更新公式如下: w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/3/20 10:50:27 - Kafka入门到实战-第五弹
Kafka入门到实战 Kafka常见操作官网地址Kafka概述Kafka的基础操作更新计划 Kafka常见操作 官网地址 声明: 由于操作系统, 版本更新等原因, 文章所列内容不一定100%复现, 还要以官方信息为准 https://kafka.apache.org/Kafka概述 Apache Kafka 是一个开源的分布式事件流平台&…...
2024/4/26 16:59:59 - 【虚幻引擎】C++ slate全流程开发教程
本套课程介绍了使用我们的虚幻C去开发我们的编辑器,扩展我们的编辑器,设置我们自定义样式,Slate架构设计,自定义我们的编辑器样式,从基础的Slate控件到我们的布局,一步步的讲解我们的的Slate基础知识&#…...
2024/4/25 7:07:32 - 【外汇早评】美通胀数据走低,美元调整
原标题:【外汇早评】美通胀数据走低,美元调整昨日美国方面公布了新一期的核心PCE物价指数数据,同比增长1.6%,低于前值和预期值的1.7%,距离美联储的通胀目标2%继续走低,通胀压力较低,且此前美国一季度GDP初值中的消费部分下滑明显,因此市场对美联储后续更可能降息的政策…...
2024/4/28 13:52:11 - 【原油贵金属周评】原油多头拥挤,价格调整
原标题:【原油贵金属周评】原油多头拥挤,价格调整本周国际劳动节,我们喜迎四天假期,但是整个金融市场确实流动性充沛,大事频发,各个商品波动剧烈。美国方面,在本周四凌晨公布5月份的利率决议和新闻发布会,维持联邦基金利率在2.25%-2.50%不变,符合市场预期。同时美联储…...
2024/4/28 3:28:32 - 【外汇周评】靓丽非农不及疲软通胀影响
原标题:【外汇周评】靓丽非农不及疲软通胀影响在刚结束的周五,美国方面公布了新一期的非农就业数据,大幅好于前值和预期,新增就业重新回到20万以上。具体数据: 美国4月非农就业人口变动 26.3万人,预期 19万人,前值 19.6万人。 美国4月失业率 3.6%,预期 3.8%,前值 3…...
2024/4/26 23:05:52 - 【原油贵金属早评】库存继续增加,油价收跌
原标题:【原油贵金属早评】库存继续增加,油价收跌周三清晨公布美国当周API原油库存数据,上周原油库存增加281万桶至4.692亿桶,增幅超过预期的74.4万桶。且有消息人士称,沙特阿美据悉将于6月向亚洲炼油厂额外出售更多原油,印度炼油商预计将每日获得至多20万桶的额外原油供…...
2024/4/28 13:51:37 - 【外汇早评】日本央行会议纪要不改日元强势
原标题:【外汇早评】日本央行会议纪要不改日元强势近两日日元大幅走强与近期市场风险情绪上升,避险资金回流日元有关,也与前一段时间的美日贸易谈判给日本缓冲期,日本方面对汇率问题也避免继续贬值有关。虽然今日早间日本央行公布的利率会议纪要仍然是支持宽松政策,但这符…...
2024/4/27 17:58:04 - 【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响
原标题:【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响近日伊朗局势升温,导致市场担忧影响原油供给,油价试图反弹。此时OPEC表态稳定市场。据消息人士透露,沙特6月石油出口料将低于700万桶/日,沙特已经收到石油消费国提出的6月份扩大出口的“适度要求”,沙特将满…...
2024/4/27 14:22:49 - 【外汇早评】美欲与伊朗重谈协议
原标题:【外汇早评】美欲与伊朗重谈协议美国对伊朗的制裁遭到伊朗的抗议,昨日伊朗方面提出将部分退出伊核协议。而此行为又遭到欧洲方面对伊朗的谴责和警告,伊朗外长昨日回应称,欧洲国家履行它们的义务,伊核协议就能保证存续。据传闻伊朗的导弹已经对准了以色列和美国的航…...
2024/4/28 1:28:33 - 【原油贵金属早评】波动率飙升,市场情绪动荡
原标题:【原油贵金属早评】波动率飙升,市场情绪动荡因中美贸易谈判不安情绪影响,金融市场各资产品种出现明显的波动。随着美国与中方开启第十一轮谈判之际,美国按照既定计划向中国2000亿商品征收25%的关税,市场情绪有所平复,已经开始接受这一事实。虽然波动率-恐慌指数VI…...
2024/4/28 15:57:13 - 【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试
原标题:【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试美国和伊朗的局势继续升温,市场风险情绪上升,避险黄金有向上突破阻力的迹象。原油方面稍显平稳,近期美国和OPEC加大供给及市场需求回落的影响,伊朗局势并未推升油价走强。近期中美贸易谈判摩擦再度升级,美国对中…...
2024/4/27 17:59:30 - 【原油贵金属早评】市场情绪继续恶化,黄金上破
原标题:【原油贵金属早评】市场情绪继续恶化,黄金上破周初中国针对于美国加征关税的进行的反制措施引发市场情绪的大幅波动,人民币汇率出现大幅的贬值动能,金融市场受到非常明显的冲击。尤其是波动率起来之后,对于股市的表现尤其不安。隔夜美国股市出现明显的下行走势,这…...
2024/4/25 18:39:16 - 【外汇早评】美伊僵持,风险情绪继续升温
原标题:【外汇早评】美伊僵持,风险情绪继续升温昨日沙特两艘油轮再次发生爆炸事件,导致波斯湾局势进一步恶化,市场担忧美伊可能会出现摩擦生火,避险品种获得支撑,黄金和日元大幅走强。美指受中美贸易问题影响而在低位震荡。继5月12日,四艘商船在阿联酋领海附近的阿曼湾、…...
2024/4/28 1:34:08 - 【原油贵金属早评】贸易冲突导致需求低迷,油价弱势
原标题:【原油贵金属早评】贸易冲突导致需求低迷,油价弱势近日虽然伊朗局势升温,中东地区几起油船被袭击事件影响,但油价并未走高,而是出于调整结构中。由于市场预期局势失控的可能性较低,而中美贸易问题导致的全球经济衰退风险更大,需求会持续低迷,因此油价调整压力较…...
2024/4/26 19:03:37 - 氧生福地 玩美北湖(上)——为时光守候两千年
原标题:氧生福地 玩美北湖(上)——为时光守候两千年一次说走就走的旅行,只有一张高铁票的距离~ 所以,湖南郴州,我来了~ 从广州南站出发,一个半小时就到达郴州西站了。在动车上,同时改票的南风兄和我居然被分到了一个车厢,所以一路非常愉快地聊了过来。 挺好,最起…...
2024/4/28 1:22:35 - 氧生福地 玩美北湖(中)——永春梯田里的美与鲜
原标题:氧生福地 玩美北湖(中)——永春梯田里的美与鲜一觉醒来,因为大家太爱“美”照,在柳毅山庄去寻找龙女而错过了早餐时间。近十点,向导坏坏还是带着饥肠辘辘的我们去吃郴州最富有盛名的“鱼头粉”。说这是“十二分推荐”,到郴州必吃的美食之一。 哇塞!那个味美香甜…...
2024/4/25 18:39:14 - 氧生福地 玩美北湖(下)——奔跑吧骚年!
原标题:氧生福地 玩美北湖(下)——奔跑吧骚年!让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 啊……啊……啊 两…...
2024/4/26 23:04:58 - 扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!
原标题:扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!扒开伪装医用面膜,翻六倍价格宰客!当行业里的某一品项火爆了,就会有很多商家蹭热度,装逼忽悠,最近火爆朋友圈的医用面膜,被沾上了污点,到底怎么回事呢? “比普通面膜安全、效果好!痘痘、痘印、敏感肌都能用…...
2024/4/27 23:24:42 - 「发现」铁皮石斛仙草之神奇功效用于医用面膜
原标题:「发现」铁皮石斛仙草之神奇功效用于医用面膜丽彦妆铁皮石斛医用面膜|石斛多糖无菌修护补水贴19大优势: 1、铁皮石斛:自唐宋以来,一直被列为皇室贡品,铁皮石斛生于海拔1600米的悬崖峭壁之上,繁殖力差,产量极低,所以古代仅供皇室、贵族享用 2、铁皮石斛自古民间…...
2024/4/28 5:48:52 - 丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者
原标题:丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者【公司简介】 广州华彬企业隶属香港华彬集团有限公司,专注美业21年,其旗下品牌: 「圣茵美」私密荷尔蒙抗衰,产后修复 「圣仪轩」私密荷尔蒙抗衰,产后修复 「花茵莳」私密荷尔蒙抗衰,产后修复 「丽彦妆」专注医学护…...
2024/4/26 19:46:12 - 广州械字号面膜生产厂家OEM/ODM4项须知!
原标题:广州械字号面膜生产厂家OEM/ODM4项须知!广州械字号面膜生产厂家OEM/ODM流程及注意事项解读: 械字号医用面膜,其实在我国并没有严格的定义,通常我们说的医美面膜指的应该是一种「医用敷料」,也就是说,医用面膜其实算作「医疗器械」的一种,又称「医用冷敷贴」。 …...
2024/4/27 11:43:08 - 械字号医用眼膜缓解用眼过度到底有无作用?
原标题:械字号医用眼膜缓解用眼过度到底有无作用?医用眼膜/械字号眼膜/医用冷敷眼贴 凝胶层为亲水高分子材料,含70%以上的水分。体表皮肤温度传导到本产品的凝胶层,热量被凝胶内水分子吸收,通过水分的蒸发带走大量的热量,可迅速地降低体表皮肤局部温度,减轻局部皮肤的灼…...
2024/4/27 8:32:30 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下:1、长按电脑电源键直至关机,然后再按一次电源健重启电脑,按F8健进入安全模式2、安全模式下进入Windows系统桌面后,按住“winR”打开运行窗口,输入“services.msc”打开服务设置3、在服务界面,选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。
%读入6幅图像(每一幅图像的大小是564*564) f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面,在等待界面中我们需要等待操作结束才能关机,虽然这比较麻烦,但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows,请勿关闭计算机”的提示,要过很久才能进入系统,有的用户甚至几个小时也无法进入,下面就教大家这个问题的解决方法。第一种方法:我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题,电脑时发现开机屏幕显现“正在配置Windows Update,请勿关机”(如下图所示),而且还需求等大约5分钟才干进入系统。这是怎样回事呢?一切都是正常操作的,为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示,没过几秒后电脑自动重启,每次开机都这样无法进入系统,此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一:开机按下F8,在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况,就是电脑提示正在准备windows请勿关闭计算机,碰到这样的问题该怎么解决呢,现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法:1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后,每次关机的时候桌面上都会显示一个“配置Windows Update的界面,提示请勿关闭计算机”,每次停留好几分钟才能正常关机,导致什么情况引起的呢?出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着,别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚,只能是考虑备份数据后重装系统了。解决来方案一:管理员运行cmd:net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?
原标题:电脑提示“配置Windows Update请勿关闭计算机”怎么办?win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢?一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了,具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面,长时间没反应,无法进入系统。这个问题原来帮其他同学也解决过,网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法,并在最后教给你1种保护系统安全的好方法,一起来看看!电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中,添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候,开启电脑发现电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机。。.这要怎么办呢?下面小编就带着大家一起看看吧!如果能够正常进入系统,建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题,就是我们的win7系统在关机的时候,总是喜欢显示“准备配置windows,请勿关机”这样的一个页面,没有什么大碍,但是如果一直等着的话就要两个小时甚至更久都关不了机,非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时,一般是您正对windows进行升级,但是这个要是长时间没有反应,我们不能再傻等下去了。可能是电脑出了别的问题了,来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况,当我们打开电脑之后,发现一直停留在一个界面:“配置Windows Update失败,还原更改请勿关闭计算机”,等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57