点击上方“计算机视觉工坊”,选择“星标”

干货第一时间送达

   华为诺亚,北京大学,悉尼大学共同发表了论文《A Survey on Visual Transformer》,本文针对其重点内容进行翻译概括如下。文末附论文原文和本文完整版下载方式。

导言:

    Transformer是一种主要基于自注意力机制的深度神经网络,最初是在自然语言处理领域中应用的。受到Transformer强大的表示能力的启发,研究人员提议将Transformer扩展到计算机视觉任务。与其他网络类型(例如卷积网络和循环网络)相比,基于Transformer的模型在各种视觉基准上显示出竞争性的甚至更好的性能。

    在本文中,我们通过将这些Visual Transformer模型按不同的任务分类,并分析了这些方法的优缺点,提供了文献综述。主要类别包括基本图像分类,high-level vision,low-level vision和视频处理。由于self-attention是Transformer的基本组成部分,因此也简要回顾了计算机视觉中的自注意力。包括将Transformer推向实际应用的有效Transformer方法。最后,我们讨论了Visual Transformer的进一步研究方向。

1. 总体概述

    卷积神经网络(CNN)引入了卷积层和池化层以处理图像等位移不变性的数据。递归神经网络(RNN)利用循环单元来处理顺序数据或时间序列数据。Transformer是一种新提出的神经网络,主要利用自我注意机制提取内在特征。在这些网络中,Transformer是最近发明的神经网络(2017年),对于广泛的人工智能应用具有巨大的潜力。

    Transformer最初应用于自然语言处理(NLP)任务,并带来了显着的改进。例如,Vaswani等人首先提出了一种仅基于注意力机制来实现机器翻译和英语选区解析任务的Transformer。Devlin等人引入了一种称为BERT的新语言表示模型,该模型通过共同限制左右上下文来预训练未标记文本的翻译器。BERT在当时的11个NLP任务上获得了SOTA结果。Brown等人在45TB压缩明文数据上预训练了基于巨型Transformer的GPT-3模型,该模型具有1,750亿个参数,并且无需微调即可在不同类型的下游自然语言任务上实现出色的性能。这些基于Transformer的模型显示了强大的表示能力,并在NLP领域取得了突破。

    受NLP中Transformer功能的启发,最近的研究人员将Transformer扩展到计算机视觉(CV)任务。CNN曾经是视觉应用中的基本组件,但是Transformer显示出了其作为CNN替代品的能力。Chen等人训练一个sequence Transformer去自动回归预测像素并在图像分类任务上与CNN取得竞争性结果。ViT是Dosovitskiy等人最近提出的Visual Transformer模型。ViT将一个纯粹的transformer直接用于图像块序列,并在多个图像识别基准上获得SOTA性能。除了基本的图像分类,transformer还用于解决更多计算机视觉问题,例如目标检测,语义分割,图像处理和视频理解。由于其出色的性能,提出了越来越多基于transformer的模型来改善各种视觉任务。

为了获得更好的方便研究人员研究不同的主题,我们按其应用场景对transformer模型进行分类,如表1所示。特别是,主要主题包括基本图像分类,high-level vision,low-level vision和视频处理。high-level vision对图像中可以看到的内容进行提取和解析,例如对象检测,分割和车道检测。已经有许多用于解决这些high-level vision任务的transformer模型,例如DETR,deformanble DETR用于物体检测,以及Max-DeepLab用于分割。low-level vision主要涉及从图像(通常通常表示为图像本身)中提取描述子,其典型应用包括超分辨率,图像去噪和风格迁移。在 low-level vision的transformer研究很少,需要进行更多的研究。

由于视频的顺序特性,transformer可以自然地应用于视频。与传统的CNN或RNN相比,Transformer开始在这些任务上显示出具有竞争力的性能。在这里,我们对基于transformer的视觉模型给出了一个综述,以跟上该领域的进展。Visual transformer的开发时间表如图1所示。

2. Transformer结构

详情请看另一篇文章《transformer解读》

3. Visual Transformer 

在本节中,我们将对基于transformer的计算机视觉模型进行全面回顾,包括图像分类,high-level vision,low-level vision和视频处理中的应用。我们还简要总结了自注意力机制和模型压缩方法在高效transformer中的应用。

3.1 Image Classification

受到transformer在自然语言处理方面取得巨大成功的启发,一些研究人员试图检验相似的模型是否可以学习图像的有用表示。 作为一种比文本更高维度,更嘈杂,更冗余的形式,人们认为图像很难生成模型。 iGPT 和ViT是仅使用transformer进行图像分类的两个模型。

3.1.1 iGPT

自从最初的生成式图像预训练方法浪潮问世以来,已经有很长时间了。Chen等人重新检查这类方法,并结合自我监督方法的最新进展。该方法包括一个预训练阶段,然后是一个fine-tune阶段。在预训练中,应尝试使用自回归和BERT目标。此外,在NLP中应用sequence transformer体系结构来预测像素而不是语言标记。预训练使得训练可以尽早地停止,因此可被视为有利的初始化或正则化。在fine-tune过程中,他们向模型添加了一个小的分类头,该分类头用于优化分类目标并适应所有权重。

给定一个由高维数据x =(x1,...,xn)组成的未标记数据集X。他们通过最小化数据的负对数似然来训练模型:

 

其中p(x)是图像数据的密度,可以将其建模为:

 

其中1 <= i <= n采用单位置换 πi = i,也称为栅格顺序。他们还考虑了BERT目标,该目标对子序列M⊂[1,n]进行采样,以使每个索引i独立地具有在M中出现的0.15的概率。M称为BERT掩码,模型为 通过最小化“unMasked”元素x [1,n] \ M上的“Masked”元素x[1,n]\M的负对数似然来训练:

 

在预训练中,他们选择LAR或Lbert中的一种,并在预训练数据集上最大程度地减少损失。他们使用transformer decoder模块的GPT-2公式表示。特别是,layer norms先于注意力和多层感知器(MLP)操作,并且所有操作都严格按照残差路径进行。 序列元素之间唯一的混合发生在注意力操作中,并且为了确保在训练AR目标时进行适当的调节,他们将标准的上三角mask应用于attention logits的n×n矩阵。当使用BERT目标时,不需要attention logits mask:将内容嵌入应用于输入序列后,它们会将位置清零。

在微调期间,它们平均将最终lay norm n(L)的输出在整个序列维上合并,以每个示例提取特征的d维向量:

 

他们学习了从f(L)到class logit的投影,该投影用于最小化交叉熵损失L(CLF)。 在实践中,他们凭经验发现联合目标L(GEN) + L(CLF)的效果更好,其中L(GEN)∈{L(AR),L(BERT)}。(此处括号内的内容为下标)

3.1.2 ViT

  最近,Dosovitskiy等人提出了一种pure transformer,即Vision Transformer(ViT),当直接应用于图像块的序列时,它在图像分类任务上表现良好。 它们尽可能遵循原始transformer的设计。 下图显示了Vision Transformer的框架。

为了处理2D图像,将图像x∈R H×W×C整形为一系列平坦的2D块x(p)∈R N×(P^2·C)。  (H,W)是原始图像的分辨率,(P,P)是每个图像块的分辨率。 那么N = HW / P^2是该Transformer的有效序列长度。 由于Transformer的所有层都使用恒定的宽度,因此可训练的线性投影将每个矢量化路径映射到模型尺寸D,它们的输出称为patch embeddings。

与BERT的[class]标记类似,可学习的embedding被用于embedding块的序列,其在Transformer encoder输出处的状态用作图像表示。在预训练和微调过程中,分类头的大小均相同。另外,将一维position embeddings添加到embeddings块中以保留位置信息。 他们对position embeddings的2D感知方法有不同的探索,它们没有比标准的1D position embeddings获得明显的收益。 joint embeddings作为encoder的输入。 值得注意的是,Vision Transformer仅使用标准Transformer的encoder,而MLP头后面是Transformer encoder的输出。

通常,首先在大型数据集上对ViT进行预训练,然后对较小的下游任务进行微调。 为此,去除预训练的预测头,并附加一个零初始化的D×K前馈层,其中K是下游类别的数量。 以比预训练更高的分辨率进行微调通常是有益的。 喂入更高分辨率的图像时,色块大小保持不变,这会导致更大的有效序列长度。 Vision Transformer可以处理任意序列长度,但是预训练的position embeddings可能不再有意义。 因此,作者根据预训练position embeddings在原始图像中的位置执行2D插值。 请注意,只有将分辨率调整和色块提取手动插入有关图像2D结构的感应偏置时,才能将其手动注入到Vision Transformer中。

当在中等大小的数据集(如ImageNet)上训练时,此类模型产生较差的结果,与可比较大小的ResNets相比,精度要低几个百分点。Transformer缺乏CNN固有的一些归纳偏置(inductive biases),例如翻译等方差和局部性,因此在训练不足的数据量时不能很好地概括。 但是,如果在大型数据集上训练模型(14M-300M图像),则图片会发生变化。作者发现,大规模训练胜过归纳偏置。进行足够规模的预训练并转移到数据点较少的任务时,Transformer可获得出色的结果。 在JFT-300M数据集上进行过预训练的Vision Transformer在多个图像识别基准上达到或优于SOTA,在ImageNet上达到88.36%,在CIFAR-10上达到99.50%,在CIFAR-100上达到94.55%,以及77.16% 在VTAB套件中包含19个任务。表3显示了iGPT和ViT的详细结果

 

总之,iGPT回顾了生成式预训练方法,并将其与自我监督方法相结合,结果并不十分令人满意。ViT取得了更好的结果,特别是当它使用更大的数据集(JFT-300)时。但是,ViT的结构与NLP中的Transformer基本相同 ,如何在块内部(intra-patch)和块之间(inter-patch)明确相关性仍然是一个具有挑战性的问题。此外,在ViT中将相同大小的块(patch)视为相等。 众所周知,每个块的复杂性是不同的,并且该特性目前尚未得到充分利用。

3.2 High-level Vision

最近,人们对采用Transformer执行High-level计算机视觉任务(例如对象检测,车道检测和分段)的兴趣日益增加。 在本节中,我们将对这些方法进行回顾。

3.2.1 Object Detection

根据采用Transformer体系结构的模块,可以将基于Transformer的目标检测方法粗略地分为neck-based, head-based 和 framework-based的方法。

多尺度特征融合模块(在现代检测框架中称为neck),例如特征金字塔网络(FPN),已广泛用于目标检测中,以实现更好的检测性能。 张etc 建议传统方法无法交互跨尺度特征,因此提出了特征金字塔transformer(FPT)来充分利用跨空间和尺度的特征相互作用。FPT由三种类型的Transformer组成,即self-transformer, grounding transformer 和 rendering transformer,它们分别对特征金字塔的self-level, top-down 和 bottom-up路径的信息进行编码。FPT基本上利用Transformer中的自注意模块来增强特征金字塔网络的特征融合。

预测头对于物体检测器起着重要的作用。 先前的检测方法通常利用单个视觉表示(例如边界框和角点)来预测最终结果。Chi等提出了桥接视觉表示(Bridging Visual Representations --BVR),通过多头关注模块将不同的异构表示(heterogeneous representations)组合成一个单一的表示。 具体来说,将主表示作为query输入,将辅助表示作为key输入。通过类似于Transformer中的注意模块,可以获得用于主表示的增强功能,该功能将来自辅助表示的信息桥接起来并有利于最终检测性能。

与上述利用Transformer的方法增强了现代检测器的特定模块不同,Carion 重新设计了目标检测框架,并提出了detection Transformer(DETR),它是一个简单且完全端到端的目标探测器。DETR将目标检测任务视为一个直观的集合预测问题,摆脱了传统的手工制作组件,例如锚点生成和非最大抑制(NMS)后处理。

 

如图6所示,DETR从CNN主干开始以从输入图像中提取特征。为了用位置信息补充图像特征,将固定的位置编码添加到平坦的十个特征中,然后再馈入编码解码器转换器。Transformer解码器将编码器的embedding与N个学习的positional endcodings(object queries)一起使用,并生成N个output embeddings,其中N是预定义参数,通常大于图像中对象的数量。最终预测是通过简单前馈网络(FFN)计算的,其中包括边界框坐标和类别标签以指示对象的特定类别或没有对象。与原始Transformer顺序生成预测的原始Transformer不同,DETR同时解码N个对象。DETR采用两部分匹配算法来分配预测的和真实的对象。如方程式(11)所示。匈牙利损失(Hungarian loss)被用来计算所有匹配对象对的损失函数。

 

其中y和yˆ分别是ground truth和目标的预测,σˆ是最优分配,ci和P^(Ci)是目标类别标签和预测标签,bi和b^(i)分别是ground truth和预测边界框,DETR在物体检测方面表现出令人印象深刻的性能,其精度和速度与COCO基准上广受欢迎且与公认的Faster R-CNN基线相当。

DETR是基于Transformer的目标检测框架的新设计,为社区开发完整的端到端检测器提供了参考。 但是,vanilla DETR也面临一些挑战,例如,训练时间较长,小目标的性能较差。Zhu等人提出的Deformable DETR是解决上述问题的一种流行方法,并且大大提高了检测性能。代替通过原始的多头注意力在Transformer中查看图像特征图上的所有空间位置,建议使用可变形注意模块(deformable attention module)来关注参考点周围的一小组关键位置。 这样,大大降低了计算复杂度,也有利于快速收敛。 更重要的是,可变形注意模块可轻松应用于融合多尺度功能。 与DETR相比,可变形DETR的性能更好,训练成本降低了10倍,推理速度提高了1.6倍。deformable DETR还应用了一些其他改进,包括有效的迭代边界框优化方法和two-stage方案,从而进一步提高了性能。

针对DETR的高计算复杂性问题,Zheng等人提出了一种自适应聚类变压器(Adaptive Clustering Transformer--ACT)来减少预训练的DETR的计算成本,而无需任何训练过程。 ACT使用局部敏感度哈希方法(locality sensitivity hashing method)自适应地对queries特征进行聚类,并将注意力输出广播到由所选原型表示的queries。 通过将预训练的DETR模型的自我注意模块替换为ACT,而无需进行任何重新训练,几乎不降低精度,可以显着降低计算成本。此外,可以通过使用多任务知识蒸馏(multi-task knowledge distillation--MTKD)方法进一步降低性能下降,该方法利用原始Transformer以少量的fine-tuning时间来蒸馏ACT模块。

Sun等人研究了DETR模型的慢收敛问题,并揭示了Transformer解码器中的交叉注意模块是主要原因。为此,提出了DETR的纯编码器(encoder-only)版本,并且在检测精度和训练收敛性上实现了相当大的改进。 此外,设计了一种新的二分匹配方案,以实现更稳定的训练和更快的收敛。 提出了两种基于Transformer的集合预测模型,以改进具有特征金字塔的纯编码器DETR,即TSP-FCOS和TSP RCNN,它们比原始DETR模型具有更好的性能。

Dai等人在自然语言处理中受到预训练Transformer方案的启发,提出了一种用于目标检测的无监督预训练DETR(UP-DETR)的方法。具体而言,提出了一种新的无监督借口任务,即随机query patch检测,以预训练DETR模型。通过这种方案,UP-DETR大大提高了在相对较小的数据集(即PASCAL VOC)上的检测精度。 在具有足够训练数据的COCO基准上,UP-DETR仍然无法完成DETR,这证明了无监督的预训练计划的有效性。

3.2.2 Segmentation

DETR 可以自然扩展到全景分割任务,方法是在解码器上附加一个掩码头(mask head),从而获得有竞争力的结果。  Wang等提出了Max-DeepLab来直接预测通过mask transformer实现的全景分割结果,而无需替代诸如box detection之类的子任务。 与DETR相似,Max-DeepLab以端到端的方式简化了全景分割任务,并直接预测了一组不重叠的masks和相应的标签。 使用全景率(PQ)样式损失来训练模型。此外,与现有的将transformer堆叠在CNN主干网上方的方法不同,Max-DeepLab采用双路径框架(dual-path framework)将CNN与transformer更好地结合在一起。

Wang等提出了一种基于transformer的视频实例分割(transformer-based video instance segmentation --VisTR)模型,该模型以图像序列作为输入并产生相应的姿态预测结果。提出了实例序列匹配策略,为预测分配ground truth。 要获取每个实例的掩码序列,VisTR利用实例序列分割模块从多个帧中累积掩码特征,并使用3D CNN分割掩码序列。

也有尝试将transformer用于姿态分割,这是基于DETR全景分割模型的。所提出的Cell-DETR还添加了skip connections,以在分段头中从主干CNN和CNN解码器桥接功能,以获得更好的融合功能。 Cell-DETR显示了来自显微图像的cell实例分割的SOTA性能。

Zhao等设计了一种新颖的Transformer架构(Point Transformer)来处理点云。所提出的自我注意层对于点集的排列是不变的,因此适用于点集处理任务。 Point Transformer对于3D点云的语义分割任务显示出强大的性能。

3.2.3 Lane Detection

Liu等基于PolyLaneNet 提出通过学习transformer网络的全局上下文来提高曲线车道检测的性能。 与Poly LaneNet相似,提出的方法(LSTR)将车道检测视为将车道与多项式拟合的任务,并使用神经网络预测多项式的参数。为了捕获用于车道和全局环境的细长结构,LSTR将transformer网络引入到架构中,以处理通过卷积神经网络提取的低级特征。 此外,LSTR使用匈牙利损失来优化网络参数。与仅使用0.2倍参数的PolyLaneNet相比,LSTR可以实现2.82%的更高精度和3.65倍FPS。transformer网络、卷积神经网络和匈牙利损失的结合实现了一个微小,快速而精确的车道检测框架。

3.3 Low-level Vision

除了High-level Vision任务外,很少有研究将transformer应用于low-level vision领域,例如图像超分辨率,图像生成等。与以标签或框为输出的分类,分割和检测相比,low-level vision任务 通常将图像作为输出(例如,高分辨率图像或去噪图像),这更具有挑战性。

Parmar等迈出第一步,推广transformer模型来制定图像转换和生成任务,并提出Image transformer。 Image transformer由两部分组成:用于提取图像表示的编码器和用于生成像素的解码器。对于值为0 - 255的每个像素,将学习256×d维embeddings,以将每个值编码为d维向量,将其作为编码器的输入。编码器和解码器的架构与《Advances in neural information processing systems》中的相同。解码器中每一层的详细结构如图7所示。

 

每个输出像素q0是通过计算输入像素q与先前生成的像素m1,m2,...之间的自注意力而生成的,并带有position embedding p1,p2,...。 ..对于图像条件生成,例如超分辨率和修复,使用了编码器-解码器体系结构,其中编码器的输入是低分辨率图像或损坏的图像。对于无条件和分类条件图像生成(即图像噪声),纯解码器用于输入噪声向量。由于用于解码器的输入是先前生成的像素,当生成高分辨率图像时,它将产生大量的计算成本,因此提出了一种局部自注意方案,该方案仅使用最近生成的像素作为解码器的输入。结果,Image transformer可以在图像生成和翻译任务上使用基于CNN的模型来获得竞争性能,这表明基于transformer的模型在low-level vision任务上的有效性。

与将每个像素用作transformer模型的输入相比,最近的工作使用patch(像素集)作为输入。杨等提出了用于图像超分辨率的Texture transformer网络(TTSR)。他们在基于参考的图像超分辨率问题中使用了转换器体系结构,该问题旨在将相关纹理从参考图像转移到低分辨率图像。以低分辨率图像和参考图像作为查询Q和关键字K,计算Q中每个patch qi和K中ki之间的相关性ri,j,

 

然后提出了一种硬性注意力(hard-attention)模块,以利用参考图像根据参考图像选择高分辨率特征V以匹配低分辨率图像。hard-attention map是通过下式计算

 

那么来自的最相关的参考patch是ti = ,其中T中的ti是转移的特征。之后,使用软注意力模块将V转移到低分辨率特征F。可以通过以下方式计算软注意力:

 

因此,将高分辨率纹理图像转换为低分辨率图像的公式可以表示为:

 

其中Fout和F表示低分辨率图像的输出和输入特征,S是柔和注意力,T是从高分辨率纹理图像传递的特征。通过引入基于transformer的体系结构,TTSR可以成功地将纹理信息从高分辨率参考图像传输到低分辨率图像,以进行超分辨率任务。

上述方法在单个任务上使用变压器模型,而Chen等人提出了图像处理transformer(Image Processing Transformer--IPT),通过使用大规模的预训练来充分利用transformer的优势,并在包括超分辨率,降噪和去除降水在内的多个图像处理任务中实现SOTA性能 。

 

如图8所示,IPT由multi-head、encoder、decoder和multi-tails组成。 介绍了用于不同图像处理任务的多头多尾结构和任务嵌入。 将特征分为patch以放入编码器-解码器体系结构,然后将输出reshape为具有相同大小的功能。 由于transformer模型在大规模预训练中显示出优势,因此IPT使用ImageNet数据集进行预训练。具体来说,通过手动添加噪声,雨滴或下采样将ImageNet数据集中的图像降级为生成的损坏图像。然后将降级的图像用作IPT的输入,并将干净的图像作为输出的优化目标。还引入了一种自我监督的方法来增强IPT模型的泛化能力。然后,使用相应的头,尾和任务嵌入对每个任务微调训练后的模型。 IPT极大地提高了图像处理任务的性能(例如,图像降噪任务中的2dB),这证明了基于transformer的模型在low-level vision领域中的巨大潜力。

 

3.4 Video Processing

transformer在基于序列的任务(特别是在NLP任务)上表现出奇的出色。在计算机视觉中,视频任务中青睐时空维度信息。因此,transformer适用于许多视频任务,例如帧合成,动作识别和视频检索。

3.4.1 High-level Video Processing

01

Human Action Recognition

视频人类行为任务是指识别和定位视频中的人类行为。 上下文的内容在识别人类行为中起着至关重要的作用。  Rohit等提出了一种行为transformer来对感兴趣的人和周围事物之间的潜在关系进行建模。具体来说,I3D用作提取高级特征图的主干。通过ROI Pooling从中间feature maps中提取的features被视为查询(Q)。关键字(K),值(V)由中间特征计算得出。自我注意机制在三个组成部分上进行,并输出分类和回归预测。Lohit等提出了一个可解释的微分模块,称为时间transformer网络,以减少类内方差并增加类间方差。Fayyaz和Gall提出了一个时间transformer,以在弱监督的环境下执行动作识别任务。

02

Face Alignment

  基于视频的面部对齐任务旨在定位面部标志。 时间依赖性和空间信息对于最终性能很重要。 但是,前一种方法无法同时捕获连续帧上的时间信息和静止帧上的互补空间信息。 刘等人使用双流transformer网络分别学习时间和空间特征,以端到端的方式共同优化两个流,并对特征进行加权以获得最终预测。

03

Video Retrieval

基于内容的视频检索的关键是找到视频之间的相似性。 为了克服缺点,仅利用视频级功能的图像级,Shao等人建议使用transformer来建模长范围语义依赖性。此外,引入了有监督的对比学习策略用于hard negative mining。基准数据集上的结果证明了性能和速度优势。 Gabeur等提出了一种多模式transformer,以学习不同的跨模式提示,以表示视频。

04

Acitivity Recognition

活动识别是指识别一组人的活动。 解决此问题的前一种方法是基于各个参与者的位置。  Gavrilyuk等提出了一个actor-transformer架构来学习表示。actor-transformer将2D和3D网络生成的静态和动态表示作为输入。transformer的输出是预测活动。

05

Video Object Detection

要从视频中检测对象,需要全局和局部信息。 Chen等引入了内存增强的全局局部聚集(memory enhanced global-local aggregation--MEGA)以捕获更多内容。表示性特征可增强整体性能并解决无效和不足的问题。 Yin等提出了一种时空transformer来聚合时空信息。与另一个空间特征编码组件一起,这两个组件在3D视频对象检测任务中表现良好。

06

Multi-task Learning

未修剪的视频通常包含许多与目标任务无关的帧。 因此,挖掘相关信息并删除冗余信息至关重要。 为了应对在未修剪的视频上进行多任务学习,Seong等人采用视频多任务transformer网络提取信息。对于CoVieW数据集,任务是场景识别,动作识别和重要性得分预测。ImageNet和Places365上的两个经过预先训练的网络提取了场景特征和对象特征。堆叠多任务transformer以借助类转换矩阵(class conversion matrix --CCM)融合功能。

3.4.2 Low-level Video Processing

01

Frame/Video Synthesis

  帧合成任务是指在两个连续帧之间或帧序列之后合成帧。 视频合成任务旨在合成视频。 刘等提出了ConvTrans模型,该模型包括五个部分:特征嵌入,位置编码,编码器,查询解码器和综合前馈网络。与基于LSTM的研究相比,ConvTransformer通过更可并行化的架构实现了更高的结果。 Schatz等使用循环Transformer网络从新颖的观点合成人类的行为。

02

Video Inpainting

  视频修补任务旨在完成帧中的缺失区域。 这项艰巨的任务需要沿空间和时间维度合并信息。  Zeng等为此任务提出了一个时空transformer网络。所有输入帧均作为输入,并被并行填充。时空对抗损失用于优化transformer网络。

3.4.3 Multimodality

01

Video Captioning/Summarization

     视频字幕任务的目标是为未修剪的视频生成文本。事件检测和描述模块是两个主要部分。 zhou等提出了一种端到端的优化transformer来解决密集的视频字幕任务。编码器将视频转换为表示形式。提议解码器根据编码生成事件提议。字幕解码器使用提案掩盖编码并输出描述。 Bilkhu等使用C3D和I3D网络提取特征并使用transformer生成预测。该算法在单个摘要任务和密集摘要任务上均表现良好。 Li等利用基于注意力纠缠(ETA)模块的transformer来解决图像字幕任务。Sun等提出了一种视觉语言框架来学习表示而无需监督。该模型可以应用于许多任务,包括视频字幕,动作分类等。

3.5 Self-attention for Computer Vision

在以上各节中,我们回顾了将transformer体系结构用于视觉任务的方法。 自我注意是transformer的关键部分。 在本节中,我们深入研究了基于自我注意的方法来应对计算机视觉中的挑战性任务,例如语义分割,姿势分割,对象检测,关键点检测和深度估计。

该部分内容请详见《transformer解读》的前几页ppt,里面有关于attention与self-attention的详细介绍。

3.6 Efficient Transformer

尽管Transformer模型在各种任务中都取得了成功,但仍需要高内存和计算资源,这阻碍了在资源受限的设备(例如,手机端)上的实现。 在本节中,我们回顾有关压缩和加速变压器模型以有效实施的研究,包括网络修剪,低秩分解,知识分配,网络量化,压缩体系结构设计。

  表4列出了一些用于压缩基于Transformer的模型的代表性作品。

3.6.1 Pruning & Decomposition

在基于Transformer的预训练模型(例如BERT)中,并行进行多个注意操作以独立地建模不同标记(tokens)之间的关系,而对于特定任务则不需要所有的heads。Michel等从经验上观察到,可以在测试时去除很大比例的注意力头,而不会显着影响性能。所需的attention heads在不同的层上有所不同,甚至对于某些层来说,一个 head就足够了。 考虑到attention heads上的冗余,在[85]中定义了重要性分数以估计每个head对最终输出的影响,并且可以删除不重要的head以进行有效部署。 Dalvi等进一步从两个角度分析了预训练Transformer模型中的冗余,即一般冗余和特定于任务的冗余。遵循彩票假设( lottery ticket hypothesis)等,Prasanna等分析了BERT中的彩票,并表明在基于Transformer的模型中也存在良好的子网。在[96]中减少了FFN层和attention heads,以实现高压缩率。

除了Transformer模型的宽度外,还可以减小深度(即层数)以加快推理过程。与可以按同等方式计算Transformer模型中不同attention heads的情况不同,由于下一层的输入取决于前一层的输出,因此必须顺序计算不同的层。 Fan等提出了一种逐层丢弃的策略来规范模型的训练,然后在测试阶段将整个层次一起删除。考虑到不同设备中的可用资源可能会有所不同,Hou等人提出自适应地减小预定义Transformer模型的宽度和深度,并同时获得具有不同尺寸的多个模型。重要的attention heads和神经元通过重新布线机制在不同的子网络之间共享。

  除了直接在Transformer模型中丢弃零件模块的修剪方法之外,矩阵分解还旨在根据低秩假设,对具有多个小矩阵的大矩阵进行近似。例如,Wang等分解Transformer模型中的标准矩阵乘法并获得更有效的推论。

3.6.2 Knowledge Distillation

知识蒸馏的目的是通过从巨大的教师网络中转移知识来训练学生网络。 与教师网络相比,学生网络通常具有较薄和较浅的体系结构,更易于在资源受限的资源上部署。 神经网络的输出和中间特征也可以用于将有效信息从教师传递给学生。Mukherjee等人基于Transformer模型,使用经过预训练的BERT 作为老师,借助大量未标记的数据来指导小型模型的训练。Wang等训练学生网络,以模仿预训练教师模型中的自我注意层的输出。values的点积被引入作为指导学生的一种新的知识形式。 在[127]中也引入了一个助教[86],它可以减小大型预训练的Transformer模型与紧凑的学生网络之间的差距,从而使模仿变得更加容易。考虑到Transformer模型中的各种类型的层(即,自我注意层,嵌入层,预测层),Jiao等人设计不同的目标功能,以将知识从教师传授给学生。例如,学生模型的嵌入层的输出将通过MSE损失模仿教师的输出。还施加了可学习的线性变换,以将不同的特征映射到同一空间。对于预测层的输出,采用KL散度来度量不同模型之间的差异。

3.6.3 Quantization

量化的目的是减少表示网络权重或中间特征的位数。 通用神经网络的量化方法已得到充分讨论,其性能可与原始网络媲美。 最近,如何对Transformer模型进行特殊量化已经引起了人们的广泛关注。 Shridhar等建议将输入嵌入到二进制高维向量中,然后使用二进制输入表示来训练二进制神经网络。 Cheong等通过低位(例如4位)表示来表示Transformer模型中的权重。zhao等对各种量化方法进行了实证研究,结果表明k均值量化具有巨大的发展潜力。针对机器翻译任务,Prato等人提出了一种完全量化的Transformer,这是第一个8位质量模型,而论文中声称没有翻译质量损失。

3.6.4 Compact Architecture Design

除了将预定义的Transformer模型压缩为小型Transformer模型外,一些工作还尝试直接设计紧凑模型。Jiang等通过提出一个新的模块,称为基于跨度的动态卷积(span-based dynamic convolution),简化了自注意力的计算,该模块结合了完整的连接层和卷积层,如图9所示。

 

 卷积运算可计算出不同的标记(tokens),这比标准Transformer中密集的全连接层有效得多。深度卷积还用于进一步降低计算成本。 Interesting hamburger layers在[1]中提出,它使用矩阵分解来代替原始的自我注意层。矩阵分解可以比标准的自我注意操作更有效地计算,同时很好地反映了不同标记之间的依赖性。

Transformer模型中的自注意操作计算给定序列中不同输入标记的表示之间的点积(图像识别任务中的patch),其复杂度为O(N),其中N为序列的长度。 近来,大量方法致力于将复杂度降低到O(N),以使Transformer模型可扩展到长序列。例如,Katharopoulos等将自我注意近似为内核特征图的线性点积,并通过递归神经网络揭示标记之间的关系。Zaheer等将每个标记(tokens)视为图形中的一个顶点,两个标记之间的内积计算称为边。 启发式图论和各种稀疏图被组合在一起以近似Transformer模型中的稠密图,这也实现了O(N)的复杂度。 从理论上讲,Yun等证明具有O(N)复杂度的稀疏Transformer足以反映标记之间的任何类型的关系并且可以进行通用逼近,这为进一步研究具有O(N)复杂度的Transformer提供了理论保证。

4. Conclusions and Future Prospects

与卷积神经网络相比,由于其竞争性能和巨大的潜力,Transformer正成为计算机视觉领域的热门话题。正如综述所概述的那样,为了揭示和利用Transformer的能力,近年来提出了许多解决方案。 这些方法在各种视觉任务(包括基本图像分类,high-level vision,low-level vision和视频处理)上均表现出出色的性能。 然而,用于计算机视觉的Transformer的潜力尚未得到充分的探索,还有一些挑战有待解决。尽管研究人员已经提出了许多基于Transformer的模型来解决计算机视觉任务,但是这些工作是开创性的解决方案,还有很大的改进空间。例如,ViT 中的Transformer架构遵循NLP 的标准Transformer。专门针对CV的改进版本仍有待探索。此外,还需要将Transformer用于除上述任务之外的更多任务。

此外,大多数现有的Visual transformer模型都设计用于处理单个任务。 许多NLP模型(例如GPT-3)已显示出Transformer可以在一个模型中处理多个任务的能力。  CV领域的IPT 也能够处理多种low-level vision任务,例如超分辨率,图像降噪和排水。 我们相信,一个模型可以涉及更多任务。

Last but not the least,为CV开发有效的Transformer模型也是一个未解决的问题。Transformer模块通常非常庞大且计算量很大,例如,基本的ViT模型需要18B FLOP来处理图像。相比之下,轻巧的CNN模型Ghost Net仅用大约600M FLOP就能达到类似的性能。尽管已经提出了几种压缩Transformer的方法,但是它们的复杂性仍然很大。这些最初为NLP设计的方法可能不适用于CV。因此,高效的Transformer模型是在资源受限的设备上部署Visual Transformer的基础。

在公众号中回复 transformer 即可下载论文原文与本文pdf版。

本文编辑不易,希望给个在看与点赞。

本文仅做学术分享,如有侵权,请联系删文。

下载1

在「计算机视觉工坊」公众号后台回复:深度学习,即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。

下载2

在「计算机视觉工坊」公众号后台回复:计算机视觉,即可下载计算机视觉相关17本pdf书籍,包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。

下载3

在「计算机视觉工坊」公众号后台回复:SLAM,即可下载独家SLAM相关视频课程,包含视觉SLAM、激光SLAM精品课程。

重磅!计算机视觉工坊-学习交流群已成立

扫码添加小助手微信,可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群,旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群,目前主要有ORB-SLAM系列源码学习、3D视觉CV&深度学习SLAM三维重建点云后处理自动驾驶、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、深度估计、学术交流、求职交流等微信群,请扫描下面微信号加群,备注:”研究方向+学校/公司+昵称“,例如:”3D视觉 + 上海交大 + 静静“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球:针对3D视觉领域的视频课程(三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、orb-slam3等视频课程)、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕,更有各类大厂的算法工程人员进行技术指导。与此同时,星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息,打造成集技术与就业为一体的铁杆粉丝聚集区,近2000星球成员为创造更好的AI世界共同进步,知识星球入口:

学习3D视觉核心技术,扫描查看介绍,3天内无条件退款

 圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用,麻烦给个赞和在看~  

查看全文
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!

相关文章

  1. ECCV 2018论文解读及资源集锦(10月17日更新,含全部论文下载链接)

    为了能够让开发者了解自己的工程化能力&#xff0c;认识到自身潜在的价值&#xff0c;充分发挥自己的潜力&#xff0c;极视角联合机器之心举办“2018计算机视觉最具潜力开发者榜单”活动。我们希望通过这场主题为“定义自己&#xff0c;发现未来”的榜单评选活动&#xff0c;来…...

    2024/5/6 14:14:06
  2. 【AI视野·今日CV 计算机视觉论文速览 第225期】Wed, 23 Jun 2021

    AI视野今日CS.CV 计算机视觉论文速览 Wed, 23 Jun 2021 Totally 73 papers &#x1f449;上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Tracking Instances as Queries Authors Shusheng Yang, Yuxin Fang, Xinggang Wang, Yu Li, Ying Shan, Bin Feng, Wenyu …...

    2024/4/25 12:51:09
  3. DeepFaceLab小白入门(4):提取人脸图片!

    通过上面级片文章&#xff0c;你应该基本知道了换脸的流出&#xff0c;也能换出一个视频来。此时&#xff0c;你可能会产生好多疑问&#xff0c;比如每个环节点点到底是什么意思&#xff0c;那些黑漆漆屏幕输出的又是什么内容&#xff0c;我换脸效果这么差&#xff0c;该如何提…...

    2024/5/5 21:59:24
  4. DeepFaceLab: 更新记录以及版本说明!

    标题DeepFaceLab: 更新记录以及版本说明&#xff01; DeepFaceLab 从2018年开始&#xff0c;进入快速迭代更新&#xff0c;所以版本非常多。我们追随这个项目许久&#xff0c;保存了一些有价值的历史版本&#xff0c;并且对软件的更新做一个记录&#xff0c;方便自己也方便别人…...

    2024/4/20 20:47:20
  5. Mac(Catalina)上的AI换脸,手把手教小白使用DeepFaceLab

    劝退环节&#xff1a; ** 在此郑重劝各位Mac友们百度搜索关键词“DeepFaceLab Colab”&#xff0c;你会发现新世界&#xff0c;比看我这篇文章有用多了&#xff01;但你非要头铁用Mac玩换脸&#xff0c;那么请接着看吧。 ** 一直以来在尝试利用手头的MacBook做AI换脸&#x…...

    2024/4/24 12:55:49
  6. DeepFaceLab 近期更新概要,“整脸”来袭!

    2020年2月3号之后&#xff0c;Iperov同志沉浸了一小段时间。不过&#xff0c;没多久又进入了疯狂更新的状态。目前已经发布了28号&#xff08;今天&#xff09;的版本。 我这里先拎几个重点。 1. 修复眼神诡异或者乱飘的问题。 使用DFL2后&#xff0c;不少人发现眼神上的问题…...

    2024/5/5 12:27:49
  7. 重大更新:DeepFaceLab更新至2019.12.20

    本次更新增加SAEHD&#xff1a;lr_dropout参数&#xff0c;训练时可以打开或者禁用&#xff08;默认禁用&#xff09;&#xff0c;每次换脸经过足够的训练后可以启用此选项以减少重复次数&#xff0c;从而获得额外的清晰度。还有一个比较有意义的更新是增加了图片元数据功能&am…...

    2024/4/22 22:26:36
  8. Deepfacelab实现视频换脸——使用体验

    因为在哔哩哔哩看到很多运用Ai换脸获得大量播放量的视频&#xff0c;于是自己也想尝试一下。 软件&#xff1a;Deepfacelab 一款由国外大佬开发的便于普通人使用的半可视化换脸软件&#xff0c;大概的流程就是&#xff1a; 将data_dst(目标视频&#xff0c;要被换脸的)和data…...

    2024/5/6 13:04:06
  9. DeepFaceLab620稳定版使用过程详解!

    网站上的小白入门系列教程是基于2019.3.13的版本而编写&#xff0c;有部分内容已经发生了变化。而目前比较稳定的版本为620&#xff0c;这个版本保持了很长一段时间&#xff0c;并没有发现什么大问题&#xff0c;用着挺好。所以我决定针对这个版本从新写一个使用教程。&#xf…...

    2024/4/25 20:08:01
  10. DeepFaceLab 2019.11.09版更新介绍

    本次更新最重要的是SAEHD模型的默认ae_dims现在为256&#xff0c;这个值以前一直都是512&#xff0c;本次更新不会影响既有模型。新增加了Quick96模型 &#xff0c;这个模型是个只有96pix的全脸模型,理论上1G显存也能玩&#xff08;推荐2G&#xff09; Quick96模型15分训练出的…...

    2024/5/2 4:37:54
  11. DeepFaceLab半脸,中脸,全脸(half, mid , full face)模型的区别

    目前DeepFaceLab拥有三种不同类型的脸部模式&#xff0c;H64和H128是半脸(half face)模型&#xff0c;DF LIAEF128 Quick96是全脸(full face)模型&#xff0c;SAE SAEHD拥有半脸 (half face) 和中脸 (medium face) 和全脸(full face)三种模式&#xff0c;本篇文章就说一说这些“…...

    2024/5/3 13:20:17
  12. DeepFaceLab:A simple,flexible and extensible face swapping framework(2020)

    [Paper] DeepFaceLab:A simple, flexible and extensible face swapping framework [Code-Pytorch]deepfakes/faceswap [Code-Official]iperov/DeepFaceLab 摘要 DeepFaceLab是一个由iperov创建的开源deepfake系统&#xff0c;其中的人脸交换在Github中以有3000个分支和14000…...

    2024/4/21 1:16:17
  13. [指南]-DeepFaceLab 2.0说明和教程(推荐)

    DeepFaceLab 2.0指南/教程 此教程机翻自&#xff1a;https://mrdeepfakes.com/forums/thread-guide-deepfacelab-2-0-explained-and-tutorials-recommended 什么是DeepFaceLab 2.0&#xff1f; DeepFaceLab 2.0是利用机器学习来交换视频中人脸的工具/应用程序。 1.0和2.0有什…...

    2024/5/3 14:43:45
  14. 【老鸟进阶】deepfacelab之Xseg遮罩模型详解

    学会使用遮罩模型是菜鸟进阶高手的重要一步 遮罩可以帮你处理诸如头发、眼镜、舌头等src难以训练生成出来的细节 如dst有眼镜&#xff0c;src无眼镜&#xff0c;训练生成的src如果直接贴在dst脸上&#xff0c;眼镜就会被盖住&#xff0c;留下两个奇怪的眼镜腿。通过Xseg遮罩模…...

    2024/4/20 12:27:45
  15. 从0开始了解DeepFaceLab的辛酸历程

    先不说其他AI换脸工具软件的性能与这款开源集成换脸程序的差别,就单单能在A卡或者低配显卡机器上使用这件事,必须大大的给好多好多的赞赞赞赞赞赞赞赞赞赞在哪赞赞赞赞赞赞。 网上资料一大把,何必单恋一枝花。除非土豪或大大大善人,想支持我一下,否则别花钱点。 请各位看官…...

    2024/5/6 12:25:00
  16. deepfacelab2 merged参数选择 轻薄本

    本文可以给那些第一次使用deepfacelab且电脑配置较差的同学提供一些merged过程参数选择的参考。 我使用的轻薄本只有2G显存&#xff0c;deepfacelab的版本为03_07_2020 因为电脑配置过低&#xff0c;连extract过程和merged也得花不少功夫&#xff0c;训练速度更是极慢。如果在…...

    2024/5/3 18:24:10
  17. DeepFaceLab:手动提取高精度脸图,减少抖动!

    DeepFaceLab默认情况下都都是自动提取脸部&#xff0c;整体来说效果不错&#xff0c;脸部曲线识别度也比较高。但是自动不是万能的&#xff0c;有些图片的轮廓识别并不好。而识别不好最直接的结果就是合成的视频可能会出现抖动。 也就是说&#xff0c;抖动出现的一个原因就是脸…...

    2024/4/21 1:16:11
  18. DeepFaceLab: 可视化交互式合成功能简介!

    DeepFaceLab在沉寂了几个月后&#xff08;目测Iperov同志讨生活去了&#xff09;&#xff0c;在8月下旬又迎来了重大更新。我总结了一下&#xff0c;主要是更新了三大功能。 新增Avatar模型交互式转换器半脸模型支持FANAvatar 模型我已经做过比较详细的介绍&#xff0c;从测试…...

    2024/5/3 22:41:06
  19. DeepFaceLab “整脸”结合AE的使用方法!

    单一技能是越来越跟不上发展了。不少学设计的跑过来学AI换脸&#xff0c;没想到有一天玩AI的还得去学AE~哈哈。 前不久介绍了一下DFL更新的情况&#xff0c;其中提到了一个新增的脸型“wholeface” &#xff0c;意思就是整个脸。之前有个“fullface”称之为全脸&#xff0c;其…...

    2024/4/21 1:16:09
  20. DeepFaceLab 如何开启轻量级编码器?

    很多人可能没有了解过这个参数。其实对于某些显存比较低的人&#xff0c;或者想要快点出结果的人非常有用。 什么是轻量级编码器&#xff1f; 轻量级本质上就是降低了神经网络的复杂程度&#xff08;什么是神经网络&#xff1f; 这个….&#xff09; 启用这个选项后最终效果会有…...

    2024/4/21 1:16:08

最新文章

  1. OpenCV在计算机视觉中的应用

    OpenCV&#xff08;Open Source Computer Vision Library&#xff09;是一个广泛使用的开源计算机视觉库&#xff0c;旨在提供丰富的图像和视频处理功能。它最初由Intel于1999年开发&#xff0c;并演变成为一个全球性的开源项目&#xff0c;得到了众多开发者的贡献和支持。Open…...

    2024/5/6 18:12:58
  2. 梯度消失和梯度爆炸的一些处理方法

    在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言&#xff0c;在此感激不尽。 权重和梯度的更新公式如下&#xff1a; w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...

    2024/5/6 9:38:23
  3. 数据结构--KMP算法

    数据结构–KMP算法 首先我在这里提出以下问题&#xff0c;一会一起进行探讨 1.什么是最长公共前后缀 2. KMP算法怎么实现对匹配原理 3. 最长公共前后缀怎么求解 KMP算法可以用来解决什么问题&#xff1f; 答&#xff1a;在字符串中匹配子串&#xff0c;也称为模式匹配 分析…...

    2024/5/5 0:48:22
  4. WPS二次开发专题:如何获取应用签名SHA256值

    作者持续关注WPS二次开发专题系列&#xff0c;持续为大家带来更多有价值的WPS开发技术细节&#xff0c;如果能够帮助到您&#xff0c;请帮忙来个一键三连&#xff0c;更多问题请联系我&#xff08;QQ:250325397&#xff09; 在申请WPS SDK授权版时候需要开发者提供应用包名和签…...

    2024/5/5 8:39:22
  5. 【外汇早评】美通胀数据走低,美元调整

    原标题:【外汇早评】美通胀数据走低,美元调整昨日美国方面公布了新一期的核心PCE物价指数数据,同比增长1.6%,低于前值和预期值的1.7%,距离美联储的通胀目标2%继续走低,通胀压力较低,且此前美国一季度GDP初值中的消费部分下滑明显,因此市场对美联储后续更可能降息的政策…...

    2024/5/4 23:54:56
  6. 【原油贵金属周评】原油多头拥挤,价格调整

    原标题:【原油贵金属周评】原油多头拥挤,价格调整本周国际劳动节,我们喜迎四天假期,但是整个金融市场确实流动性充沛,大事频发,各个商品波动剧烈。美国方面,在本周四凌晨公布5月份的利率决议和新闻发布会,维持联邦基金利率在2.25%-2.50%不变,符合市场预期。同时美联储…...

    2024/5/4 23:54:56
  7. 【外汇周评】靓丽非农不及疲软通胀影响

    原标题:【外汇周评】靓丽非农不及疲软通胀影响在刚结束的周五,美国方面公布了新一期的非农就业数据,大幅好于前值和预期,新增就业重新回到20万以上。具体数据: 美国4月非农就业人口变动 26.3万人,预期 19万人,前值 19.6万人。 美国4月失业率 3.6%,预期 3.8%,前值 3…...

    2024/5/4 23:54:56
  8. 【原油贵金属早评】库存继续增加,油价收跌

    原标题:【原油贵金属早评】库存继续增加,油价收跌周三清晨公布美国当周API原油库存数据,上周原油库存增加281万桶至4.692亿桶,增幅超过预期的74.4万桶。且有消息人士称,沙特阿美据悉将于6月向亚洲炼油厂额外出售更多原油,印度炼油商预计将每日获得至多20万桶的额外原油供…...

    2024/5/6 9:21:00
  9. 【外汇早评】日本央行会议纪要不改日元强势

    原标题:【外汇早评】日本央行会议纪要不改日元强势近两日日元大幅走强与近期市场风险情绪上升,避险资金回流日元有关,也与前一段时间的美日贸易谈判给日本缓冲期,日本方面对汇率问题也避免继续贬值有关。虽然今日早间日本央行公布的利率会议纪要仍然是支持宽松政策,但这符…...

    2024/5/4 23:54:56
  10. 【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响

    原标题:【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响近日伊朗局势升温,导致市场担忧影响原油供给,油价试图反弹。此时OPEC表态稳定市场。据消息人士透露,沙特6月石油出口料将低于700万桶/日,沙特已经收到石油消费国提出的6月份扩大出口的“适度要求”,沙特将满…...

    2024/5/4 23:55:05
  11. 【外汇早评】美欲与伊朗重谈协议

    原标题:【外汇早评】美欲与伊朗重谈协议美国对伊朗的制裁遭到伊朗的抗议,昨日伊朗方面提出将部分退出伊核协议。而此行为又遭到欧洲方面对伊朗的谴责和警告,伊朗外长昨日回应称,欧洲国家履行它们的义务,伊核协议就能保证存续。据传闻伊朗的导弹已经对准了以色列和美国的航…...

    2024/5/4 23:54:56
  12. 【原油贵金属早评】波动率飙升,市场情绪动荡

    原标题:【原油贵金属早评】波动率飙升,市场情绪动荡因中美贸易谈判不安情绪影响,金融市场各资产品种出现明显的波动。随着美国与中方开启第十一轮谈判之际,美国按照既定计划向中国2000亿商品征收25%的关税,市场情绪有所平复,已经开始接受这一事实。虽然波动率-恐慌指数VI…...

    2024/5/4 23:55:16
  13. 【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试

    原标题:【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试美国和伊朗的局势继续升温,市场风险情绪上升,避险黄金有向上突破阻力的迹象。原油方面稍显平稳,近期美国和OPEC加大供给及市场需求回落的影响,伊朗局势并未推升油价走强。近期中美贸易谈判摩擦再度升级,美国对中…...

    2024/5/4 23:54:56
  14. 【原油贵金属早评】市场情绪继续恶化,黄金上破

    原标题:【原油贵金属早评】市场情绪继续恶化,黄金上破周初中国针对于美国加征关税的进行的反制措施引发市场情绪的大幅波动,人民币汇率出现大幅的贬值动能,金融市场受到非常明显的冲击。尤其是波动率起来之后,对于股市的表现尤其不安。隔夜美国股市出现明显的下行走势,这…...

    2024/5/6 1:40:42
  15. 【外汇早评】美伊僵持,风险情绪继续升温

    原标题:【外汇早评】美伊僵持,风险情绪继续升温昨日沙特两艘油轮再次发生爆炸事件,导致波斯湾局势进一步恶化,市场担忧美伊可能会出现摩擦生火,避险品种获得支撑,黄金和日元大幅走强。美指受中美贸易问题影响而在低位震荡。继5月12日,四艘商船在阿联酋领海附近的阿曼湾、…...

    2024/5/4 23:54:56
  16. 【原油贵金属早评】贸易冲突导致需求低迷,油价弱势

    原标题:【原油贵金属早评】贸易冲突导致需求低迷,油价弱势近日虽然伊朗局势升温,中东地区几起油船被袭击事件影响,但油价并未走高,而是出于调整结构中。由于市场预期局势失控的可能性较低,而中美贸易问题导致的全球经济衰退风险更大,需求会持续低迷,因此油价调整压力较…...

    2024/5/4 23:55:17
  17. 氧生福地 玩美北湖(上)——为时光守候两千年

    原标题:氧生福地 玩美北湖(上)——为时光守候两千年一次说走就走的旅行,只有一张高铁票的距离~ 所以,湖南郴州,我来了~ 从广州南站出发,一个半小时就到达郴州西站了。在动车上,同时改票的南风兄和我居然被分到了一个车厢,所以一路非常愉快地聊了过来。 挺好,最起…...

    2024/5/4 23:55:06
  18. 氧生福地 玩美北湖(中)——永春梯田里的美与鲜

    原标题:氧生福地 玩美北湖(中)——永春梯田里的美与鲜一觉醒来,因为大家太爱“美”照,在柳毅山庄去寻找龙女而错过了早餐时间。近十点,向导坏坏还是带着饥肠辘辘的我们去吃郴州最富有盛名的“鱼头粉”。说这是“十二分推荐”,到郴州必吃的美食之一。 哇塞!那个味美香甜…...

    2024/5/4 23:54:56
  19. 氧生福地 玩美北湖(下)——奔跑吧骚年!

    原标题:氧生福地 玩美北湖(下)——奔跑吧骚年!让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 啊……啊……啊 两…...

    2024/5/4 23:55:06
  20. 扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!

    原标题:扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!扒开伪装医用面膜,翻六倍价格宰客!当行业里的某一品项火爆了,就会有很多商家蹭热度,装逼忽悠,最近火爆朋友圈的医用面膜,被沾上了污点,到底怎么回事呢? “比普通面膜安全、效果好!痘痘、痘印、敏感肌都能用…...

    2024/5/5 8:13:33
  21. 「发现」铁皮石斛仙草之神奇功效用于医用面膜

    原标题:「发现」铁皮石斛仙草之神奇功效用于医用面膜丽彦妆铁皮石斛医用面膜|石斛多糖无菌修护补水贴19大优势: 1、铁皮石斛:自唐宋以来,一直被列为皇室贡品,铁皮石斛生于海拔1600米的悬崖峭壁之上,繁殖力差,产量极低,所以古代仅供皇室、贵族享用 2、铁皮石斛自古民间…...

    2024/5/4 23:55:16
  22. 丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者

    原标题:丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者【公司简介】 广州华彬企业隶属香港华彬集团有限公司,专注美业21年,其旗下品牌: 「圣茵美」私密荷尔蒙抗衰,产后修复 「圣仪轩」私密荷尔蒙抗衰,产后修复 「花茵莳」私密荷尔蒙抗衰,产后修复 「丽彦妆」专注医学护…...

    2024/5/4 23:54:58
  23. 广州械字号面膜生产厂家OEM/ODM4项须知!

    原标题:广州械字号面膜生产厂家OEM/ODM4项须知!广州械字号面膜生产厂家OEM/ODM流程及注意事项解读: 械字号医用面膜,其实在我国并没有严格的定义,通常我们说的医美面膜指的应该是一种「医用敷料」,也就是说,医用面膜其实算作「医疗器械」的一种,又称「医用冷敷贴」。 …...

    2024/5/4 23:55:01
  24. 械字号医用眼膜缓解用眼过度到底有无作用?

    原标题:械字号医用眼膜缓解用眼过度到底有无作用?医用眼膜/械字号眼膜/医用冷敷眼贴 凝胶层为亲水高分子材料,含70%以上的水分。体表皮肤温度传导到本产品的凝胶层,热量被凝胶内水分子吸收,通过水分的蒸发带走大量的热量,可迅速地降低体表皮肤局部温度,减轻局部皮肤的灼…...

    2024/5/4 23:54:56
  25. 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...

    解析如下&#xff1a;1、长按电脑电源键直至关机&#xff0c;然后再按一次电源健重启电脑&#xff0c;按F8健进入安全模式2、安全模式下进入Windows系统桌面后&#xff0c;按住“winR”打开运行窗口&#xff0c;输入“services.msc”打开服务设置3、在服务界面&#xff0c;选中…...

    2022/11/19 21:17:18
  26. 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。

    %读入6幅图像&#xff08;每一幅图像的大小是564*564&#xff09; f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...

    2022/11/19 21:17:16
  27. 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...

    win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面&#xff0c;在等待界面中我们需要等待操作结束才能关机&#xff0c;虽然这比较麻烦&#xff0c;但是对系统进行配置和升级…...

    2022/11/19 21:17:15
  28. 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...

    有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows&#xff0c;请勿关闭计算机”的提示&#xff0c;要过很久才能进入系统&#xff0c;有的用户甚至几个小时也无法进入&#xff0c;下面就教大家这个问题的解决方法。第一种方法&#xff1a;我们首先在左下角的“开始…...

    2022/11/19 21:17:14
  29. win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...

    置信有很多用户都跟小编一样遇到过这样的问题&#xff0c;电脑时发现开机屏幕显现“正在配置Windows Update&#xff0c;请勿关机”(如下图所示)&#xff0c;而且还需求等大约5分钟才干进入系统。这是怎样回事呢&#xff1f;一切都是正常操作的&#xff0c;为什么开时机呈现“正…...

    2022/11/19 21:17:13
  30. 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...

    Win7系统开机启动时总是出现“配置Windows请勿关机”的提示&#xff0c;没过几秒后电脑自动重启&#xff0c;每次开机都这样无法进入系统&#xff0c;此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一&#xff1a;开机按下F8&#xff0c;在出现的Windows高级启动选…...

    2022/11/19 21:17:12
  31. 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...

    有不少windows10系统用户反映说碰到这样一个情况&#xff0c;就是电脑提示正在准备windows请勿关闭计算机&#xff0c;碰到这样的问题该怎么解决呢&#xff0c;现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法&#xff1a;1、2、依次…...

    2022/11/19 21:17:11
  32. 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...

    今天和大家分享一下win7系统重装了Win7旗舰版系统后&#xff0c;每次关机的时候桌面上都会显示一个“配置Windows Update的界面&#xff0c;提示请勿关闭计算机”&#xff0c;每次停留好几分钟才能正常关机&#xff0c;导致什么情况引起的呢&#xff1f;出现配置Windows Update…...

    2022/11/19 21:17:10
  33. 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...

    只能是等着&#xff0c;别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚&#xff0c;只能是考虑备份数据后重装系统了。解决来方案一&#xff1a;管理员运行cmd&#xff1a;net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...

    2022/11/19 21:17:09
  34. 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?

    原标题&#xff1a;电脑提示“配置Windows Update请勿关闭计算机”怎么办&#xff1f;win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢&#xff1f;一般的方…...

    2022/11/19 21:17:08
  35. 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...

    关机提示 windows7 正在配置windows 请勿关闭计算机 &#xff0c;然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容&#xff0c;让我们赶快一起来看一下吧&#xff01;关机提示 windows7 正在配…...

    2022/11/19 21:17:05
  36. 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...

    钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...

    2022/11/19 21:17:05
  37. 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...

    前几天班里有位学生电脑(windows 7系统)出问题了&#xff0c;具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面&#xff0c;长时间没反应&#xff0c;无法进入系统。这个问题原来帮其他同学也解决过&#xff0c;网上搜了不少资料&#x…...

    2022/11/19 21:17:04
  38. 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...

    本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法&#xff0c;并在最后教给你1种保护系统安全的好方法&#xff0c;一起来看看&#xff01;电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中&#xff0c;添加了1个新功能在“磁…...

    2022/11/19 21:17:03
  39. 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...

    许多用户在长期不使用电脑的时候&#xff0c;开启电脑发现电脑显示&#xff1a;配置windows更新失败&#xff0c;正在还原更改&#xff0c;请勿关闭计算机。。.这要怎么办呢&#xff1f;下面小编就带着大家一起看看吧&#xff01;如果能够正常进入系统&#xff0c;建议您暂时移…...

    2022/11/19 21:17:02
  40. 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...

    配置windows update失败 还原更改 请勿关闭计算机&#xff0c;电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容&#xff0c;让我们赶快一起来看一下吧&#xff01;配置windows update失败 还原更改 请勿关闭计算机&#x…...

    2022/11/19 21:17:01
  41. 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...

    不知道大家有没有遇到过这样的一个问题&#xff0c;就是我们的win7系统在关机的时候&#xff0c;总是喜欢显示“准备配置windows&#xff0c;请勿关机”这样的一个页面&#xff0c;没有什么大碍&#xff0c;但是如果一直等着的话就要两个小时甚至更久都关不了机&#xff0c;非常…...

    2022/11/19 21:17:00
  42. 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...

    当电脑出现正在准备配置windows请勿关闭计算机时&#xff0c;一般是您正对windows进行升级&#xff0c;但是这个要是长时间没有反应&#xff0c;我们不能再傻等下去了。可能是电脑出了别的问题了&#xff0c;来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...

    2022/11/19 21:16:59
  43. 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...

    我们使用电脑的过程中有时会遇到这种情况&#xff0c;当我们打开电脑之后&#xff0c;发现一直停留在一个界面&#xff1a;“配置Windows Update失败&#xff0c;还原更改请勿关闭计算机”&#xff0c;等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢&#xff0…...

    2022/11/19 21:16:58
  44. 如何在iPhone上关闭“请勿打扰”

    Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...

    2022/11/19 21:16:57