集群深度学习训练实践笔记——分布式数据读取器
FesianXu 20211104 at Baidu Search Team

前言

本文主要作为笔者在分布式集群中训练深度学习模型,特别是一些大规模模型和在海量数据下的训练的经验,本文实践以paddle 2.1为例,包括paddle 动态图和静态图的使用等。如有谬误请联系指出,本文遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明并且联系笔者,谢谢

∇\nabla 联系方式:
e-mail: FesianXu@gmail.com

github: https://github.com/FesianXu

知乎专栏: 计算机视觉/计算机图形理论与应用

微信公众号

qrcode


分布式数据读取器

我们之前在数据量少(比如几百个GB),并且训练节点少(比如8个GPU以内)的时候,通常我们的数据都可以全部放到训练节点进行储存和读取。但是当数据量达到数以亿计的时候,数据规模就会达到几百个TB,此时单个训练节点将无法再能储存所有数据。此时,我们的数据势必用大规模的集群进行储存管理和读取,因此此时的分布式数据读取器设计将会和单节点的数据读取器设计有所不同,如Fig 1.1所示。

storage_routine

Fig 1.1 独立数据储存训练范式和分布式多节点训练范式的对比。

为了以下说明方便,假设我们现在有2个节点,每个节点上有8张GPU卡作为trainer,那么我们的程序将会把整个训练过程切分成16个进程,每个节点上8个训练进程,分别对应每个节点上的每个GPU卡,也即是每张卡都会有一个训练进程占用。我们把这每个进程称之为trainer,其分别有独立的标识符trainer_id用于表示不同的trainer。在集群中,我们的数据将会被均分为若干个part,其中每个part的大小可能达到10到20GB,假设我们现在一共有16000个part,其中每个part的大小为16GB,总数据量为250 TB。为了对其中的每个part进行索引,那么需要有这些part的filename_list,我们的trainer在加载新的part数据时候,将会从各自的filename_list中取得下一个待加载的数据。filename_list如以下所示:

./data/train_data/part-00001
./data/train_data/part-00002
./data/train_data/part-00003
...
./data/train_data/part-16000

我们使用的时候通常需要首先对filename_list进行打乱。以采用动态图情况下作为示例,笔者认为一个比较好的实践是,首先通过$RANDOM生成一个范围在0~32767的随机数,将其作为所有trainer的初始化随机数,用于保证每个trainer中对filename_list打乱的结果是一致的,读者可能会有疑问了,那么这样每个trainer岂不是都在加载同一份数据? 是的,如果止步于此那么每个trainer都在对同一份数据进行训练了,这样不仅仅是无意义的而且是对整个任务有害处的,我们后续讨论为什么这样是有害处的。回到原先的讨论,我们现在能确保每个trainer上都是相同的打乱后的filename_list了,为了保证每个trainer上的取到的数据part是互斥且完备的,我们可以用当前filename_list的index对trainer_num取余,如果取余结果等于当前的trainer_id,那么就把这个file当成是本trainer应该训练的有效part,如下所示:

global_rng = np.random.RandomState(random_seed)
global_rng.shuffle(filename_list)
trainer_filename_list = [filename, index, filename for enumerate(filename_list) if index % trainer_num == trainer_id]

其中对某个trainer_idtrainer_num的获取取决框架,在paddle中可以用以下代码获取

trainer_num = paddle.distributed.get_world_size()
trainer_id = paddle.distributed.get_rank()

通过这种根据trainer_id划分数据集的策略,可以使得每个trainer上的数据是互斥且完备的。

回想到我们之前用动态图组织数据读取的时候,因为数据量通常不大,经常是只需要在Dataset类初始化的时候加载所有数据到内存,或者数据量略大(比如几百个GB),但是单机磁盘储存没问题,也可以用__getitem__时动态读取的方式,如以下伪代码的DatasetFromMemoryDatasetFromDisk所示。

class DatasetFromMemory(nn.modules.Dataset):def __init__(self):self.data_pool = []self.loading_whole_data(self.data_pool) # 此处将会把所有数据加载到data_pool中,通过index索引可以在__getitem__中进行检索def __getitem__(self, index):data = self.data_pool(index)return self._preprocess(data)class DatasetFromDisk(nn.modules.Dataset):def __init__(self, disk_path):self.disk_path = disk_pathdef __getitem__(self, index):data = self.loading_from_disk(index)return self._preprocess(data)dataset = DatasetFromMemory()
# dataset = DatasetFromDisk(...)
dataloader = Dataloader(dataset, num_workers=16, ...)
model = Model(args, ...)
optim = Adam(args, ...)for datapack in dataloader:data, label = datapacklogit = model(data)loss = loss_fn(logit, label)loss.backward()optim.step()optim.clear_grad()

但是显然,当数据量达到250个TB时候,以上做法是无法实现的,我们需要手动进行新的数据的下载和加载,再考虑到之前提到的数据划分模式,整个分布式数据读取器设计如以下伪代码所示。其和之前的实践最大的区别在于只会为当前训练需要的数据part进行加载,一旦用完了需要手动调用dataset.loading_next_part()触发加载。

class DatasetFromCluster(nn.modules.Dataset):def __init__(self, filename_list, random_seed=0):global_rng = np.random.RandomState(random_seed)global_rng.shuffle(filename_list)self.trainer_filename_list = [filename, index, filename for enumerate(filename_list) if index % trainer_num == trainer_id]self.data_pool = []self.loading_next_part()def __getitem__(self, index):data = self.data_pool(index)return self._preprocess(data)def loading_next_part(self):'''从集群中加载新的数据part,并且用其对self.data_pool进行更新'''passstep = 0
max_train_step = 100
model = Model(args, ...)
optim = Adam(args, ...)
dataset = DatasetFromCluster()
while step < max_train_step:dataloader = Dataloader(dataset, num_workers=16, ...)for datapack in dataloader:step += 1...dataset.loading_next_part() # 手动触发加载下一个数据part,并且进行新的part的训练。

这样能实现大规模集群数据的分布式加载,并且能保证加载过程的正确性和效率。但是这个实现仍然不是最佳的,如Fig 1.2所示,目前paddle的数据读取器是不支持preloading机制的。在手动加载完了当前的part数据之后,就会对该part进行训练,在这个训练过程中不会进行下一个数据的预加载,这意味着一旦训练结束,就会停止训练进行新数据的加载,这意味着这部分的计算资源闲置了。而且随着trainer数量的增多,其计算资源闲置的情况越严重,如Fig 1.2所示,在最理想的情况下,计算资源闲置率是:
Pidle=TloadingTtraining(1.1)P_{idle} = \dfrac{T_{loading}}{T_{training}} \tag{1.1} Pidle=TtrainingTloading(1.1)
其中TloadingT_{loading}Tloading为平均加载时间,TtrainingT_{training}Ttraining为训练时间。不要小看这个耗时,比如典型的一个part大小为16GB,假如网络IO速度为10MB/s,那么加载一个part的TloadingT_{loading}Tloading​为27分钟​,而训练时间TtrainingT_{training}Ttraining也不过是6小时,这样算下来最低的闲置率都达到了7.5%7.5\%7.5%。那么对此的改进就是添加preloading机制,在计算时就对新的数据part进行加载,然后在结束了本次训练时就可以省下数据加载成本。在某些场景中可以将闲置率减少至0。

new_data_loading_timeline

Fig 1.2 某个trainer当前的数据消耗完后,需要从集群中下载和加载新的数据,此时会导致trainer的计算资源闲置,计算/集群IO的比例取决于各个trainer之间的计算的同步率和下载的数据的大小比例。

其实以上的估计还是太过于乐观了,因为在分布式多卡训练过程中,特别是如果采用了all_gather机制[1]的代码(比如paddle.distributed.all_gather),那么在某个trainer耗尽了数据,进行新数据读取的时候,其实其他卡也是被阻塞掉的(即便其他trainer上还有数据没消耗完),因为整个分布式训练必须依赖于所有trainer的参与,考虑到这个实际情况,那么实际的时间线如Fig 1.3所示,此时计算闲置率会比理想情况下更高,此时类似于计算机处理器里面的流水线断流了。我们可以简单预估下此时的计算闲置率:
Pidle=16×2716×27+6×60=0.54(1.2)P_{idle} = \dfrac{16 \times 27}{16 \times 27 + 6 \times 60} = 0.54 \tag{1.2} Pidle=16×27+6×6016×27=0.54(1.2)
也即是将近一半的时间都在加载数据,浪费了大量的计算资源。

real_new_data_loading_timeline

Fig 1.3 考虑到实际情况中,某个trainer的数据加载将会打断其他trainer的训练过程,实际的计算闲置率会更高。

Reference

[1]. https://www.paddlepaddle.org.cn/documentation/docs/zh/api/paddle/distributed/all_gather_cn.html

查看全文
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!

相关文章

  1. 解决 Packet for query is too large (1155878 > 1048576),max_allowed_packet设置.

    max_allowed_packet报错原因解决方法1&#xff1a;修改配置文件解决方法二&#xff1a;通过Mysql命令行解决报错原因 向数据表中插入Blob类型的数据。报错&#xff1a; com.mysql.jdbc.PacketTooBigException: Packet for query is too large (1155878 > 1048576). You can…...

    2024/3/7 14:20:01
  2. js—数组查找

    array原始数据数组 search查询条件 newArray新数组 for (var i in array) { if (array[i].name.indexOf(search) ! -1 ) { newArray.push(array[i]); } }...

    2024/3/6 10:23:42
  3. C语言函数模板

    真题里的 1 排序模板 //对数组元素排序 void swap(int *pa,int n) {int i,j,t;for(i0;i<n-1;i){for(ji1;j<n;j){if(*(pai)>*(paj)){t*(pai);*(pai)*(paj);*(paj)t;}}} }2 遍历数组模板 int a[N][N];for (int i 0; i < N; i){ for (int j 0; j<N; j){scanf(&…...

    2024/3/6 10:23:42
  4. RabbitMQ 交换机篇03

    功能: 1.发布订阅模型 2.路由模型 3.主题模型 1 github&#xff1a;源码地址 2 rabbitmq02 子工程 <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0" xmlns:xsi"http://www.w3.org/2…...

    2024/3/6 10:23:41
  5. 18.深度理解rnn--回归中的维度变化

    Author: 365JHWZGo Description: rnn--回归 Date: 2021/11/4 14:29 FilePath: day1104-1.py # 导包 import torch import torchvision import torch.autograd as Variable import matplotlib.pyplot as plt import numpy as nptorch.manual_seed(1)# 超参数设置 BATCH_SIZE 1 …...

    2024/3/6 10:23:39
  6. 新版azkaban4.0编译安装教程

    新版azkaban4.0编译安装教程 由于官方没有提供安装包所以需要下载源码&#xff0c;按照本文安装可以完美运行 解压 wget https://github.com/azkaban/azkaban/archive/refs/tags/4.0.0.tar.gztar -zxvf 4.0.0.tar.gz -C /opt/software/ cd azkaban-4.0.0 没有安装git的话需要…...

    2024/3/4 15:05:23
  7. Java 中 this 和 super 的用法总结

    转存&#xff0c;侵删 https://www.runoob.com/w3cnote/the-different-this-super.html...

    2024/3/4 15:05:21
  8. Spring缓存注解@Cacheable、@CacheEvict、@CachePut使用

    Spring缓存注解Cacheable、CacheEvict、CachePut使用 从3.1开始&#xff0c;Spring引入了对Cache的支持。其使用方法和原理都类似于Spring对事务管理的支持。Spring Cache是作用在方法上的&#xff0c;其核心思想是这样的&#xff1a;当我们在调用一个缓存方法时会把该方法参数…...

    2024/3/4 15:05:20
  9. Java 修饰符——记得认真看完哦

    Java 修饰符 Java语言提供了很多修饰符&#xff0c;主要分为以下两类&#xff1a; 访问修饰符非访问修饰符 修饰符用来定义类、方法或者变量&#xff0c;通常放在语句的最前端。我们通过下面的例子来说明&#xff1a; public class ClassName { // ... } private boolean my…...

    2024/3/28 21:47:14
  10. Python项目打包可执行文件(有调用Matlab程序)

    一、简介 创建本帖的目的是保存相关方法&#xff0c;并做简要记录。首先感谢两位博主&#xff0c;他们的文章非常详细&#xff0c;极大的支持我完成相应的工作。 pythonGUI调用matlab并打包成可执行文件的解决方法_白金之星1717的博客-CSDN博客 Python PyInstaller安装和使用…...

    2024/3/29 1:22:09
  11. Spring Boot 统一返回前端封装VO类型结果集定义

    现在大部分项目都是前后端分离的项目,为了统一管理,后端需要对数据进行封装对应的VO数据,什么是Vo我就不叙述了,这里贴出我自己的VO封装类,项目的故障码并没有定义太多,所以也没有定义枚举类型,供大家参考: import io.swagger.annotations.ApiModel; import io.swagger.annota…...

    2024/3/6 10:23:37
  12. pig、hive、hbase的关系与区别

    内容源自博客:https://blog.csdn.net/qq_33161208/article/details/79441129 Pig: 一种操作hadoop的轻量级脚本语言,是一种数据流语言,最初由雅虎公司推出,用来快速轻松的处理巨大的数据。 Pig包含两个部分:Pig Interface,Pig Latin。 Pig可以非常方便的处理HDFS和HBase的…...

    2024/3/6 10:23:36
  13. 用c#实现年厉/月历/日历

    终端的输出结果如下&#xff1a;&#xff08;这里用的是visual studio for Mac&#xff09; 设计思路&#xff1a; 1.实现年历&#xff1a;调用12遍实现月历 2.实现月历&#xff1a; --格式&#xff1a; xx年xx月 日 一 二 三 四 五 六 --计算当月第一天的星期…...

    2024/3/6 10:23:35
  14. IO流基础(一)

    一、IO 1.1 IO概述 回想之前写过的程序&#xff0c;数据都是在内存中&#xff0c;一旦程序运行结束&#xff0c;这些数据都没有了&#xff0c;等下次再想使用这些数据&#xff0c;可是已经没有了。那怎么办呢&#xff1f;能不能把运算完的数据都保存下来&#xff0c;下次程序…...

    2024/3/6 10:23:34
  15. ITK入门教程(15)向量作为像素类型

    目录1.概述2.过程详解3.代码4.结果展示1.概述 这个例子阐述了如何参数化一个点集来管理一个特定的像素类型。将向量值和点相关联以创建一个几何表示是很普遍的。 下面的代码展示了如何使用向量值作为点集PointSet类的像素类型。在这里使用itk::Vector 类作为像素类型。这个类…...

    2024/3/28 15:10:03
  16. 2020icpc上海 Walker (三分)

    题目链接&#xff1a;D-Walker_第 45 届国际大学生程序设计竞赛&#xff08;ICPC&#xff09;亚洲区域赛&#xff08;上海&#xff09; (nowcoder.com)s​​​​​​​a 题意&#xff0c;给你一个线段&#xff0c;端点是0&#xff0c;&#xff4e;&#xff0c;现在给你两个点的…...

    2024/3/29 10:58:00
  17. 中国制冰机行业运行潜力及十四五未来战略咨询报告2021年版

    【报告目录】: 第1章&#xff1a;中国制冰机行业发展综述1.1 中国制冰机行业定义及分类 1.1.1 行业定义 1.1.2 行业主要产品大类 1.1.3 行业在国民经济中的地位 1.2 中国制冰机行业统计标准 1.2.1 制冰机行业统计部门和统计口径 1.2.2 制冰机行业统计方法 1.2.3 制冰机行…...

    2024/3/6 10:23:31
  18. Opencl开发过程记录

    下载Eclipse 给Eclips安装插件ADT 配置SDK 手动下载NDK并添加到Eclipse设置中 新建Eclipse项目 解决依赖问题&#xff08;未作具体记录&#xff09; 无法解决问题 更改使用Android Studio 配置SDK 配置NKD过程中发生问题 SDK Manager中忆境添加NDK和CMAKE工具 在Proje…...

    2024/3/27 15:57:46
  19. 2021年电工(初级)考试总结及电工(初级)模拟考试

    题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 安全生产模拟考试一点通&#xff1a;电工&#xff08;初级&#xff09;考试总结是安全生产模拟考试一点通生成的&#xff0c;电工&#xff08;初级&#xff09;证模拟考试题库是根据电工&#xff08;初级&#xff09;…...

    2024/3/29 2:03:31
  20. 数据治理方案落地的5步必经之路

    接触过数据分析的小伙伴都应该听说过数据治理的名字。数据治理听起来似乎很抽象&#xff0c;很难理解。百科全书上的数据治理解释是组织中涉及数据使用的一整套管理行为。 似乎还是有点抽象。简单来说&#xff0c;数据治理是由企业数据治理部门发起实施的一系列政策和流程&…...

    2024/3/6 10:23:28

最新文章

  1. 山东专精特新申请条件

    经济效益条件。企业近两年的营业收入或净利润平均增长率需达到10%以上&#xff0c;资产负债率不高于70%。1 专业化程度。企业需从事特定细分市场至少3年&#xff0c;主营业务收入占企业营业收入的70%以上&#xff0c;主导产品在细分市场应享有较高知名度&#xff0c;且市场…...

    2024/3/29 17:25:29
  2. 梯度消失和梯度爆炸的一些处理方法

    在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言&#xff0c;在此感激不尽。 权重和梯度的更新公式如下&#xff1a; w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...

    2024/3/20 10:50:27
  3. 【功能实现】新年贺卡(蓝桥)

    题目分析&#xff1a; 想要实现一个随机抽取功能 功能拆解&#xff1a;题目给了数组&#xff0c;我们采用生成随机数的方式&#xff0c;随机数作为数组的索引值访问数组的值。 并返回获取到的值&#xff0c;将获取到的值插入到页面中。 document.addEventListener(DOMConten…...

    2024/3/28 14:29:35
  4. 前端小白的学习之路(webpack)

    提示&#xff1a;webpack简介&#xff0c;nvm,npm配置环境,常用命令&#xff0c;基本web项目构建 目录 webpack 1.配置环境 1)node.js node常用命令 2)nvm nvm常用命令&#xff1a; 3)npm npm常用命令 2.构建简易web项目 1)创建目录 2)安装webpack依赖 3)配置 webpac…...

    2024/3/28 13:52:09
  5. 【外汇早评】美通胀数据走低,美元调整

    原标题:【外汇早评】美通胀数据走低,美元调整昨日美国方面公布了新一期的核心PCE物价指数数据,同比增长1.6%,低于前值和预期值的1.7%,距离美联储的通胀目标2%继续走低,通胀压力较低,且此前美国一季度GDP初值中的消费部分下滑明显,因此市场对美联储后续更可能降息的政策…...

    2024/3/27 10:21:24
  6. 【原油贵金属周评】原油多头拥挤,价格调整

    原标题:【原油贵金属周评】原油多头拥挤,价格调整本周国际劳动节,我们喜迎四天假期,但是整个金融市场确实流动性充沛,大事频发,各个商品波动剧烈。美国方面,在本周四凌晨公布5月份的利率决议和新闻发布会,维持联邦基金利率在2.25%-2.50%不变,符合市场预期。同时美联储…...

    2024/3/24 20:11:25
  7. 【外汇周评】靓丽非农不及疲软通胀影响

    原标题:【外汇周评】靓丽非农不及疲软通胀影响在刚结束的周五,美国方面公布了新一期的非农就业数据,大幅好于前值和预期,新增就业重新回到20万以上。具体数据: 美国4月非农就业人口变动 26.3万人,预期 19万人,前值 19.6万人。 美国4月失业率 3.6%,预期 3.8%,前值 3…...

    2024/3/29 2:45:46
  8. 【原油贵金属早评】库存继续增加,油价收跌

    原标题:【原油贵金属早评】库存继续增加,油价收跌周三清晨公布美国当周API原油库存数据,上周原油库存增加281万桶至4.692亿桶,增幅超过预期的74.4万桶。且有消息人士称,沙特阿美据悉将于6月向亚洲炼油厂额外出售更多原油,印度炼油商预计将每日获得至多20万桶的额外原油供…...

    2024/3/29 16:26:39
  9. 【外汇早评】日本央行会议纪要不改日元强势

    原标题:【外汇早评】日本央行会议纪要不改日元强势近两日日元大幅走强与近期市场风险情绪上升,避险资金回流日元有关,也与前一段时间的美日贸易谈判给日本缓冲期,日本方面对汇率问题也避免继续贬值有关。虽然今日早间日本央行公布的利率会议纪要仍然是支持宽松政策,但这符…...

    2024/3/29 5:19:52
  10. 【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响

    原标题:【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响近日伊朗局势升温,导致市场担忧影响原油供给,油价试图反弹。此时OPEC表态稳定市场。据消息人士透露,沙特6月石油出口料将低于700万桶/日,沙特已经收到石油消费国提出的6月份扩大出口的“适度要求”,沙特将满…...

    2024/3/28 17:01:12
  11. 【外汇早评】美欲与伊朗重谈协议

    原标题:【外汇早评】美欲与伊朗重谈协议美国对伊朗的制裁遭到伊朗的抗议,昨日伊朗方面提出将部分退出伊核协议。而此行为又遭到欧洲方面对伊朗的谴责和警告,伊朗外长昨日回应称,欧洲国家履行它们的义务,伊核协议就能保证存续。据传闻伊朗的导弹已经对准了以色列和美国的航…...

    2024/3/29 11:11:56
  12. 【原油贵金属早评】波动率飙升,市场情绪动荡

    原标题:【原油贵金属早评】波动率飙升,市场情绪动荡因中美贸易谈判不安情绪影响,金融市场各资产品种出现明显的波动。随着美国与中方开启第十一轮谈判之际,美国按照既定计划向中国2000亿商品征收25%的关税,市场情绪有所平复,已经开始接受这一事实。虽然波动率-恐慌指数VI…...

    2024/3/29 1:13:26
  13. 【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试

    原标题:【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试美国和伊朗的局势继续升温,市场风险情绪上升,避险黄金有向上突破阻力的迹象。原油方面稍显平稳,近期美国和OPEC加大供给及市场需求回落的影响,伊朗局势并未推升油价走强。近期中美贸易谈判摩擦再度升级,美国对中…...

    2024/3/29 8:28:16
  14. 【原油贵金属早评】市场情绪继续恶化,黄金上破

    原标题:【原油贵金属早评】市场情绪继续恶化,黄金上破周初中国针对于美国加征关税的进行的反制措施引发市场情绪的大幅波动,人民币汇率出现大幅的贬值动能,金融市场受到非常明显的冲击。尤其是波动率起来之后,对于股市的表现尤其不安。隔夜美国股市出现明显的下行走势,这…...

    2024/3/29 7:41:19
  15. 【外汇早评】美伊僵持,风险情绪继续升温

    原标题:【外汇早评】美伊僵持,风险情绪继续升温昨日沙特两艘油轮再次发生爆炸事件,导致波斯湾局势进一步恶化,市场担忧美伊可能会出现摩擦生火,避险品种获得支撑,黄金和日元大幅走强。美指受中美贸易问题影响而在低位震荡。继5月12日,四艘商船在阿联酋领海附近的阿曼湾、…...

    2024/3/24 20:11:18
  16. 【原油贵金属早评】贸易冲突导致需求低迷,油价弱势

    原标题:【原油贵金属早评】贸易冲突导致需求低迷,油价弱势近日虽然伊朗局势升温,中东地区几起油船被袭击事件影响,但油价并未走高,而是出于调整结构中。由于市场预期局势失控的可能性较低,而中美贸易问题导致的全球经济衰退风险更大,需求会持续低迷,因此油价调整压力较…...

    2024/3/29 9:57:23
  17. 氧生福地 玩美北湖(上)——为时光守候两千年

    原标题:氧生福地 玩美北湖(上)——为时光守候两千年一次说走就走的旅行,只有一张高铁票的距离~ 所以,湖南郴州,我来了~ 从广州南站出发,一个半小时就到达郴州西站了。在动车上,同时改票的南风兄和我居然被分到了一个车厢,所以一路非常愉快地聊了过来。 挺好,最起…...

    2024/3/29 0:49:46
  18. 氧生福地 玩美北湖(中)——永春梯田里的美与鲜

    原标题:氧生福地 玩美北湖(中)——永春梯田里的美与鲜一觉醒来,因为大家太爱“美”照,在柳毅山庄去寻找龙女而错过了早餐时间。近十点,向导坏坏还是带着饥肠辘辘的我们去吃郴州最富有盛名的“鱼头粉”。说这是“十二分推荐”,到郴州必吃的美食之一。 哇塞!那个味美香甜…...

    2024/3/24 20:11:15
  19. 氧生福地 玩美北湖(下)——奔跑吧骚年!

    原标题:氧生福地 玩美北湖(下)——奔跑吧骚年!让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 啊……啊……啊 两…...

    2024/3/27 7:12:50
  20. 扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!

    原标题:扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!扒开伪装医用面膜,翻六倍价格宰客!当行业里的某一品项火爆了,就会有很多商家蹭热度,装逼忽悠,最近火爆朋友圈的医用面膜,被沾上了污点,到底怎么回事呢? “比普通面膜安全、效果好!痘痘、痘印、敏感肌都能用…...

    2024/3/24 20:11:13
  21. 「发现」铁皮石斛仙草之神奇功效用于医用面膜

    原标题:「发现」铁皮石斛仙草之神奇功效用于医用面膜丽彦妆铁皮石斛医用面膜|石斛多糖无菌修护补水贴19大优势: 1、铁皮石斛:自唐宋以来,一直被列为皇室贡品,铁皮石斛生于海拔1600米的悬崖峭壁之上,繁殖力差,产量极低,所以古代仅供皇室、贵族享用 2、铁皮石斛自古民间…...

    2024/3/26 11:21:23
  22. 丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者

    原标题:丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者【公司简介】 广州华彬企业隶属香港华彬集团有限公司,专注美业21年,其旗下品牌: 「圣茵美」私密荷尔蒙抗衰,产后修复 「圣仪轩」私密荷尔蒙抗衰,产后修复 「花茵莳」私密荷尔蒙抗衰,产后修复 「丽彦妆」专注医学护…...

    2024/3/28 18:26:34
  23. 广州械字号面膜生产厂家OEM/ODM4项须知!

    原标题:广州械字号面膜生产厂家OEM/ODM4项须知!广州械字号面膜生产厂家OEM/ODM流程及注意事项解读: 械字号医用面膜,其实在我国并没有严格的定义,通常我们说的医美面膜指的应该是一种「医用敷料」,也就是说,医用面膜其实算作「医疗器械」的一种,又称「医用冷敷贴」。 …...

    2024/3/28 12:42:28
  24. 械字号医用眼膜缓解用眼过度到底有无作用?

    原标题:械字号医用眼膜缓解用眼过度到底有无作用?医用眼膜/械字号眼膜/医用冷敷眼贴 凝胶层为亲水高分子材料,含70%以上的水分。体表皮肤温度传导到本产品的凝胶层,热量被凝胶内水分子吸收,通过水分的蒸发带走大量的热量,可迅速地降低体表皮肤局部温度,减轻局部皮肤的灼…...

    2024/3/28 20:09:10
  25. 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...

    解析如下&#xff1a;1、长按电脑电源键直至关机&#xff0c;然后再按一次电源健重启电脑&#xff0c;按F8健进入安全模式2、安全模式下进入Windows系统桌面后&#xff0c;按住“winR”打开运行窗口&#xff0c;输入“services.msc”打开服务设置3、在服务界面&#xff0c;选中…...

    2022/11/19 21:17:18
  26. 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。

    %读入6幅图像&#xff08;每一幅图像的大小是564*564&#xff09; f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...

    2022/11/19 21:17:16
  27. 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...

    win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面&#xff0c;在等待界面中我们需要等待操作结束才能关机&#xff0c;虽然这比较麻烦&#xff0c;但是对系统进行配置和升级…...

    2022/11/19 21:17:15
  28. 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...

    有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows&#xff0c;请勿关闭计算机”的提示&#xff0c;要过很久才能进入系统&#xff0c;有的用户甚至几个小时也无法进入&#xff0c;下面就教大家这个问题的解决方法。第一种方法&#xff1a;我们首先在左下角的“开始…...

    2022/11/19 21:17:14
  29. win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...

    置信有很多用户都跟小编一样遇到过这样的问题&#xff0c;电脑时发现开机屏幕显现“正在配置Windows Update&#xff0c;请勿关机”(如下图所示)&#xff0c;而且还需求等大约5分钟才干进入系统。这是怎样回事呢&#xff1f;一切都是正常操作的&#xff0c;为什么开时机呈现“正…...

    2022/11/19 21:17:13
  30. 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...

    Win7系统开机启动时总是出现“配置Windows请勿关机”的提示&#xff0c;没过几秒后电脑自动重启&#xff0c;每次开机都这样无法进入系统&#xff0c;此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一&#xff1a;开机按下F8&#xff0c;在出现的Windows高级启动选…...

    2022/11/19 21:17:12
  31. 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...

    有不少windows10系统用户反映说碰到这样一个情况&#xff0c;就是电脑提示正在准备windows请勿关闭计算机&#xff0c;碰到这样的问题该怎么解决呢&#xff0c;现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法&#xff1a;1、2、依次…...

    2022/11/19 21:17:11
  32. 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...

    今天和大家分享一下win7系统重装了Win7旗舰版系统后&#xff0c;每次关机的时候桌面上都会显示一个“配置Windows Update的界面&#xff0c;提示请勿关闭计算机”&#xff0c;每次停留好几分钟才能正常关机&#xff0c;导致什么情况引起的呢&#xff1f;出现配置Windows Update…...

    2022/11/19 21:17:10
  33. 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...

    只能是等着&#xff0c;别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚&#xff0c;只能是考虑备份数据后重装系统了。解决来方案一&#xff1a;管理员运行cmd&#xff1a;net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...

    2022/11/19 21:17:09
  34. 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?

    原标题&#xff1a;电脑提示“配置Windows Update请勿关闭计算机”怎么办&#xff1f;win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢&#xff1f;一般的方…...

    2022/11/19 21:17:08
  35. 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...

    关机提示 windows7 正在配置windows 请勿关闭计算机 &#xff0c;然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容&#xff0c;让我们赶快一起来看一下吧&#xff01;关机提示 windows7 正在配…...

    2022/11/19 21:17:05
  36. 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...

    钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...

    2022/11/19 21:17:05
  37. 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...

    前几天班里有位学生电脑(windows 7系统)出问题了&#xff0c;具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面&#xff0c;长时间没反应&#xff0c;无法进入系统。这个问题原来帮其他同学也解决过&#xff0c;网上搜了不少资料&#x…...

    2022/11/19 21:17:04
  38. 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...

    本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法&#xff0c;并在最后教给你1种保护系统安全的好方法&#xff0c;一起来看看&#xff01;电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中&#xff0c;添加了1个新功能在“磁…...

    2022/11/19 21:17:03
  39. 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...

    许多用户在长期不使用电脑的时候&#xff0c;开启电脑发现电脑显示&#xff1a;配置windows更新失败&#xff0c;正在还原更改&#xff0c;请勿关闭计算机。。.这要怎么办呢&#xff1f;下面小编就带着大家一起看看吧&#xff01;如果能够正常进入系统&#xff0c;建议您暂时移…...

    2022/11/19 21:17:02
  40. 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...

    配置windows update失败 还原更改 请勿关闭计算机&#xff0c;电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容&#xff0c;让我们赶快一起来看一下吧&#xff01;配置windows update失败 还原更改 请勿关闭计算机&#x…...

    2022/11/19 21:17:01
  41. 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...

    不知道大家有没有遇到过这样的一个问题&#xff0c;就是我们的win7系统在关机的时候&#xff0c;总是喜欢显示“准备配置windows&#xff0c;请勿关机”这样的一个页面&#xff0c;没有什么大碍&#xff0c;但是如果一直等着的话就要两个小时甚至更久都关不了机&#xff0c;非常…...

    2022/11/19 21:17:00
  42. 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...

    当电脑出现正在准备配置windows请勿关闭计算机时&#xff0c;一般是您正对windows进行升级&#xff0c;但是这个要是长时间没有反应&#xff0c;我们不能再傻等下去了。可能是电脑出了别的问题了&#xff0c;来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...

    2022/11/19 21:16:59
  43. 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...

    我们使用电脑的过程中有时会遇到这种情况&#xff0c;当我们打开电脑之后&#xff0c;发现一直停留在一个界面&#xff1a;“配置Windows Update失败&#xff0c;还原更改请勿关闭计算机”&#xff0c;等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢&#xff0…...

    2022/11/19 21:16:58
  44. 如何在iPhone上关闭“请勿打扰”

    Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...

    2022/11/19 21:16:57