K8S原理剖析：存储原理剖析和实践
大纲
- K8S存储整体框架及原理解析
- K8S FlexVolume存储扩展机制
- K8S CSI存储扩展机制
K8S存储整体框架及原理解析
Docker插件机制-架构&评价
优点：
- 1）不重新编译docker的情况下可以提供针对鉴权、网络、卷等功能的扩展；
- 2）基于Http JSON-PRC格式的接口与插件进行交互；
- 3）支持容器化和非容器化多种部署形式；
- 4）支持插件生命周期管理： 1.52+ docker plugin命令及其API； <1.52 docker volume/network；
- 5）支持基于TLS的安全加固。
约束：
- 某些插件（认证）的添加需要重启docker daemon
Docker Volume Plugin列表
| 名称 | 描述 | 地址 |
| Azure File Storage plugin | Lets you mount Microsoft Azure File Storage shares to Docker containers as volumes using the SMB 3.0 protocol. Learn more. | https://github.com/Azure/azurefile dockervolumedriver |
| BeeGFS Volume Plugin | An open source volume plugin to create persistent volumes in a BeeGFS parallel file system. | https://github.com/RedCoolBeans/ docker-volume-beegfs |
| Blockbridge plugin | A volume plugin that provides access to an extensible set of container-based persistent storage options. It supports single and multi-host Docker environments with features that include tenant isolation, automated provisioning, encryption, secure deletion, snapshots and QoS. | https://github.com/blockbridge/blo ckbridge-docker-volume |
| Contiv Volume Plugin | An open source volume plugin that provides multi-tenant, persistent, distributed storage with intent based consumption. It has support for Ceph and NFS. | https://github.com/rancher/convoy |
| DigitalOcean Block Storage plugin | Integrates DigitalOcean’s block storage solution into the Docker ecosystem by automatically attaching a given block storage volume to a DigitalOcean droplet and making the contents of the volume available to Docker containers running on that droplet. | https://github.com/omallo/docker volume-plugin-dostorage |
| DRBD plugin | A volume plugin that provides highly available storage replicated by DRBD. Data written to the docker volume is replicated in a cluster of DRBD nodes. | https://www.drbd.org/en/supporte d-projects/docker |
| Flocker plugin | A volume plugin that provides multi-host portable volumes for Docker, enabling you to run databases and other stateful containers and move them around across a cluster of machines. | https://clusterhq.com/docker plugin/ |
| Fuxi Volume Plugin | A volume plugin that is developed as part of the OpenStack Kuryr project and implements the Docker volume plugin API by utilizing Cinder, the OpenStack block storage service. | https://github.com/openstack/fuxi |
| gce-docker plugin | A volume plugin able to attach, format and mount Google Compute persistent-disks. | https://github.com/mcuadros/gce docker |
| GlusterFS plugin | A volume plugin that provides multi-host volumes management for Docker using GlusterFS. | https://github.com/calavera/docker -volume-glusterfs |
| 名称 | 描述 | 地址 |
| Horcrux Volume Plugin | A volume plugin that allows on-demand, version controlled access to your data. Horcrux is an open-source plugin, written in Go, and supports SCP, Minio and Amazon S3. | https://github.com/muthu-r/horcrux |
| HPE 3Par Volume Plugin | A volume plugin that supports HPE 3Par and StoreVirtual iSCSI storage arrays. | https://github.com/hpe storage/python-hpedockerplugin/ - |
| Infinit volume plugin | A volume plugin that makes it easy to mount and manage Infinit volumes using Docker. | https://infinit.sh/documentation/dock er/volume-plugin |
| IPFS Volume Plugin | An open source volume plugin that allows using an ipfs filesystem as a volume. | http://github.com/vdemeester/docker -volume-ipfs |
| Keywhiz plugin | A plugin that provides credentials and secret management using Keywhiz as a central repository. | https://github.com/calavera/docker volume-keywhiz |
| Local Persist Plugin | A volume plugin that extends the default local driver’s functionality by allowing you specify a mountpoint anywhere on the host, which enables the files to always persist, even if the volume is removed via docker volume rm. | https://github.com/CWSpear/local persist |
| NetApp Plugin(nDVP) | A volume plugin that provides direct integration with the Docker ecosystem for the NetApp storage portfolio. The nDVP package supports the provisioning and management of storage resources from the storage platform to Docker hosts, with a robust framework for adding additional platforms in the future. | https://github.com/NetApp/netappdv p |
| Netshare plugin | A volume plugin that provides volume management for NFS 3/4, AWS EFS and CIFS file systems. | https://github.com/ContainX/docker volume-netshare |
| Nimble Storage Volume Plugin | A volume plug-in that integrates with Nimble Storage Unified Flash Fabric arrays. The plug-in abstracts array volume capabilities to the Docker administrator to allow self-provisioning of secure multi-tenant volumes and clones. | https://connect.nimblestorage.com/co mmunity/app-integration/docker |
| 名称 | 描述 | 地址 |
| OpenStorage Plugin | A cluster-aware volume plugin that provides volume management for file and block storage solutions. It implements a vendor neutral specification for implementing extensions such as CoS, encryption, and snapshots. It has example drivers based on FUSE, NFS, NBD and EBS to name a few. | https://github.com/libopenstorage/ openstorage |
| Portworx Volume Plugin | A volume plugin that turns any server into a scale-out converged compute/storage node, providing container granular storage and highly available volumes across any node, using a shared-nothing storage backend that works with any docker scheduler. | https://github.com/portworx/px dev |
| Quobyte Volume Plugin | A volume plugin that connects Docker to Quobyte’s data center file system, a general-purpose scalable and fault-tolerant storage platform. | https://github.com/quobyte/docker -volume |
| REX-Ray plugin | A volume plugin which is written in Go and provides advanced storage functionality for many platforms including VirtualBox, EC2, Google Compute Engine, OpenStack, and EMC. | https://github.com/emccode/rexray |
| Virtuozzo Storage and Ploop plugin | A volume plugin with support for Virtuozzo Storage distributed cloud file system as well as ploop devices. | https://github.com/virtuozzo/docke r-volume-ploop |
| VMware vSphere Storage Plugin | Docker Volume Driver for vSphere enables customers to address persistent storage requirements for Docker containers in vSphere environments. | https://github.com/vmware/docker volume-vsphere |
支持Kubernetes的平台和存储服务
K8S 存储能力-Volume概述
- K8S中的普通Volume提供了在容器中挂卷的能力，它不是独立的K8S资源对象，不能通过k8s去管理（创建、删除等），只能在创建Pod时去引用。
- Pod需要设置卷来源（ spec.volume ） 和挂载点（ spec.containers.volumeMounts ） 两个信息后才可以使用相应的Volume
K8S 存储能力： In-Tree Volume Plugins
K8S的VolumePlugin提供了插件化扩展存储的机制，分为内置插件（In-Tree Plugins）和外置插件（Out-of-Tree） 两种
| 名称 | 描述 |
| awsElasticBlockStore | mounts an Amazon Web Services (AWS) EBS Volume (Elastic Block Store) |
| azureDisk | is used to mount a Microsoft Azure Data Disk into a Pod. |
| azureFile | is used to mount a Microsoft Azure File Volume (SMB 2.1 and 3.0) into a Pod. |
| cephfs | allows an existing CephFS volume to be mounted into your pod. |
| cinder | is used to mount OpenStack Block Storage into a pod. |
| configMap | The data stored in a ConfigMap object can be referenced in a volume of type configMap and then consumed by containerized applications running in a Pod. |
| downwardAPI | is used to make downward API data available to applications. It mounts a directory and writes the requested data in plain text files |
| emptyDir | is first created when a Pod is assigned to a Node, and exists as long as that Pod is running on that node. When a Pod is removed from a node for any reason, the data in the emptyDir is deleted forever. |
| fc (fibre channel) | allows an existing fibre channel volume to be mounted in a pod |
| flocker | allows a Flocker dataset to be mounted into a pod. |
| gcePersistentDisk | mounts a Google Compute Engine (GCE) Persistent Disk into your pod. |
| gitRepo | mounts an empty directory and clones a git repository into it for your pod to use. |
| glusterfs | allows a Glusterfs (an open source networked filesystem) volume to be mounted into your pod |
| hostPath | mounts a file or directory from the host node’s filesystem into your pod. |
| iscsi | allows an existing iSCSI (SCSI over IP) volume to be mounted into your pod |
| local | represents a mounted local storage device such as a disk, partition or directory. can only be used as a statically created PersistentVolume. |
| 名称 | 描述 |
| nfs | allows an existing NFS (Network File System) share to be mounted into your pod |
| persistentVolumeClaim | is used to mount a PersistentVolume into a pod. |
| projected | maps several existing volume sources into the same directory. |
| portworxVolume | can be dynamically created through Kubernetes or it can also be pre-provisioned and referenced inside a Kubernetes pod. |
| quobyte | allows an existing Quobyte volume to be mounted into your pod. |
| rbd | allows a Rados Block Device volume to be mounted into your pod. |
| scaleIO | ScaleIO is a software-based storage platform that can use existing hardware to create clusters of scalable shared block networked storage. The ScaleIO volume plugin allows deployed pods to access existing ScaleIO volumes |
| secret | is used to pass sensitive information, such as passwords, to pods |
| storageos | allows an existing StorageOS volume to be mounted into your pod. StorageOS provides block storage to containers, accessible via a file system. |
| vsphereVolume | used to mount a vSphere VMDK Volume into your Pod. |
K8S 存储能力-PersistentVolume
Kubernetes通过Persistent Volume子系统API对管理员和用户提供了存储资源创建和使用的抽象
- FlexVolume: 此Volume Driver允许不同厂商去开发他们自己的驱动来挂载卷到计算节点
- PersistentVolumeClaim： K8提供的资源抽象的Volume Driver，让用户不用关心具体的Volume的实现细节
K8S FlexVolume存储扩展机制
K8S 1.5引入1.8GA的Out-Of-Tree Volume Plugin：
- driver以二进制命令行形式实现FlexVolume API，以供Controller-Manager和Kubelet调用，对外接口实现容易；
- DaemonSet方式部署确保Master和Node上都会将driver安装到插件目录；
- Docker镜像+yaml配置的交付形式
Flex Volume Driver部署脚本和配置
部署脚本假设所需要的驱动二进制文件，且已经被至于部署镜像的/$DRIVER目录下：启动脚本将二进制driver重名名为.driver，再拷贝到<plugindir>/<vendor~driver>/.driver目录下，接着使用mv将其重命名为driver（确保驱动安装的原子性），最后进入死循环确保容器活着。
Flex Volume CLI API
| 步骤 | 命令 | 描述 |
| Init | <driver executable> init | 初始化驱动。在Kubelet和Controller-Manager初始化时被调用。若调用成功则需要返回一个展示对应驱动 所支持的FlexVolume能力的map，现在只包含一个必填字段attach，用于表明本驱动是否需要attach和 detach操作。为向后兼容该字段一般默认值设为true。 |
| Attach | <driver executable> attach <json options> <node name> | 将给定规格的卷添加到给定的主机上。若调用成功则返回存储设备添加到该主机的路径。 Kubelet和 Controller-Manager都需要调用该方法。 |
| Detach | <driver executable> detach <mount device> <node name> | 卸载给定主机上的指定卷。 Kubelet和Controller-Manager都需要调用该方法。 |
| Wait for attach | <driver executable> waitforattach <mount device> <json options> | 等待卷被添加到远程节点。若调用成功则将返回设备路径。 Kubelet和Controller-Manager都需要调用该方 法。 |
| Volume is Attached | <driver executable> isattached <json options> <node name> | 检查卷是否已被添加到节点上。 Kubelet和Controller-Manager都需要调用该方法。 |
| Mount device | <driver executable> mountdevice <mount dir> <mount device> <json options> | 将存储设备挂载到一个将被pod使用的全局路径上。 Kubelet需要调用该方法。 |
| Unmount device | <driver executable> unmountdevice <mount device> | 将存储设备卸载。 This is called once all bind mounts have been unmounted. Kubelet需要调用该方法。 |
| Mount | <driver executable> mount <mount dir> <json options> | 将卷挂载到指定目录。 Kubelet需要调用该方法。 |
| Unmount | <driver executable> unmount <mount dir> | 将卷进行卸载。 Kubelet需要调用该方法。 |
K8S CSI存储扩展机制
| 术语 | 含义 |
| CO | 容器编排系统（Container Orchestrator），使用CSI gRPC服务来与插件通信 |
| RPC | 远程方法调用（Remote Procedure Call） |
| Plugin | 插件实现，实现CSI服务的gRPC访问端点 |
| SP | 存储提供商（Storage Provider），负责提供CSI插件实现 |
| Volume | 卷， CO管理的容器可使用的存储单元 |
| Block Volume | 块设备卷 |
| Mounted Volume | 使用指定文件系统挂载到容器的卷，并显示为容器内的一个目录 |
| Workload | 工作负载，是CO任务调度的基本单元，可以是一个或一组容器 |
| Node | 用户运行工作负载的主机，从插件的角度通过节点 ID来进行唯一标识 |
| In-Tree | 内置的，存在于K8S核心代码仓库内的代码 |
| Out-Of-Tree | 外置的，存在于K8S核心代码仓库外的代码 |
| CSI Volume Plugin | 一个新的内置卷插件，作为一个适配器来使得外置的第三方CSI卷驱动可以被K8S所使用 |
| CSI Volume Driver | 一个外置的CSI兼容的卷插件驱动，可通过K8S卷插件被K8S所使用 |
CSI通用架构
CO通过gRPC与插件交互，每个SP必须实现以下两个plugin：
• Node Plugin： 需要运行在使用Volume的Node上，主要负责Volume Mount/Unmount等操作
• Controller Plugin：可以运行在任何节点上，主要负责Volume Creation/Deletion、 Attach/Detach等操作
CO与Plugin的交互： 01.卷的创建和Attach
• 卷的Mount系列操作是由Workload的启动所触发的
• K8S中volume的全局挂载路径（存储挂载点）格式样例：
/var/lib/kubelet/plugins/kubernetes.io/$volume_plugin/mounts/$volume_name
• K8S中volume的workload挂载路径（软链）格式样例：
/var/lib/kubelet/pods/$pod_id/volumes/$volume_plugin/$volume_name
卷的生命周期
RPC接口集合-Identity
CSI规范定义了3类RPC集合：
• Identity Service： Node Plugin和Controller Plugin都需要实现的RPC集合
• Controller Service： Controller Plugin需要实现的RPC集合
• Node Service： Node Plugin需要实现的RPC集合
Identity Service RPC：身份服务RPC允许CO查询插件的功能，健康状况和其他元数据。
RPC接口集合-Controller
Controller Service RPC： 控制服务RPC提供卷的创建、删除、 Attach、 Detach、查询等功能，以及卷快照的创建、删除、查询等功能
RPC接口集合-Node
K8S CSI架构
K8S 1.9实现了CSI plugin alpha版本， 1.11版本已升至Beta
为了部署一个容器化的第三方CSI volume
driver，存储提供商需要执行如下操作：
1. 创建一个实现CSI规范描述的插件功能，并通过Unix套接字来暴露gPRC访问接口的”CSI volume driver” 容器；
2. 结合使用K8S团队提供的帮助容器来部署CSI volume driver，具体需要创建如下两类K8S对象：
- 1） StatefulSet：用于与K8S控制器进行交互，实例数1，包含3个容器（ CSI volume driver、 external-attacher 、 externalprovisioner ），需要挂载一个挂载点为/var/lib/csi/sockets/pluginproxy/的emptyDir volume
- 2） DaemonSet ：包含2个容器（ CSI volumedriver、 K8S CSI Helper），挂载3个hostpath volume
3. 集群管理员为存储系统在K8S集群中部署上述StatefulSet和DaemonSet
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
相关文章
- 微信小程序项目实战【一】
花了一周零零散散的时间动手做了一个视频播放的小程序，主要功能如下>视频播放>论坛>转发>收藏这里面数据不是测试数据而是真实数据，数据存储主要使用的是最近前段时间出云开发中的云数据库眼见为实，耳听为虚，下面展示下效果以上是项目效果演示接下来的几篇文章…...
2024/4/19 18:22:31 - cocos2dx实现功能强大的RichText控件
最近准备做一个聊天系统，开始准备使用cocos2dx的UIRichText控件来显示聊天内容，结果在使用的时候才发现，cocos2dx的RichText功能非常有限，完全不具备实现聊天的功能，只实现了加入文本、图像和自定义控件的功能，支持不同字体、颜色、字号。我个人认为，一个RichText控件应…...
2024/4/20 0:56:03 - 微信web开发者工具-移动调试iphone端的调试
背景：使用微信web开发者工具进行移动调试，按照配置网络代理后，如图：当重启微信后，发现公共号上不去了，也不能正常的上网了 可以将服务器地址更改为：去掉http://后再尝试，就可以了，然后选择微信web开发者工具，选择“”开始调试“，浏览公众号网页，就能开始调试了...
2024/4/18 2:10:32 - 学生请假管理系统（jsp+servlet）
前段时间做了一个基于jsp+servlet学生请假管理系统，主要根据如下需求实现的:【需求分析】1. 学生通过系统提出请假申请，在申请单提交之后，申请单流转到班主任处理。2. 学生在以下几种情况下可以修改和删除请假申请。a) 在申请单提交给班主任审核之前b) 在申请单被班主任退回…...
2024/4/18 2:06:25 - k8s自定义controller三部曲之三：编写controller代码
本文是《k8s自定义controller三部曲》的终篇，前面的章节中，我们创建了CRD，再通过自动生成代码的工具将controller所需的informer、client等依赖全部准备好，到了本章，就该编写controller的代码了，也就是说，现在已经能监听到Student对象的增删改等事件，接下来就是根据这些…...
2024/4/20 16:49:23 - ajax提交form表单，H5的required属性没起作用
1、 ajax提交form表单，required属性不起作用 错误代码如下<form id="order"><input type="text" name="name" required /><input type="submit" id="submit" /> </form><script>$("#…...
2024/4/18 2:10:43 - 怎么建立微信小程序项目结构
commonindex.wxss (公共样式类) component (自定义组件文件夹).... config (配置文件夹)index.js (本次运行的接口)switch.js (根据命令行运行参数,修改index.js里面的项目配置信息)envdev.js (开发环境)prod.js (正式环境)test.js (测试环境) img (图片文件夹).... http (http…...
2024/4/20 14:44:53 - 剑侠情缘（网络版）---开发回顾（一篇老文章，看看也不错)
剑侠情缘（网络版）---开发回顾------赵青 文章要点：■ 国内的游戏开发团队都需要烧一些浮躁，都一些踏实，不论在管理方面，还是对游戏的认识，或是技术方面，我们都有很多地方需要学习，改进。■ 笔者一直觉得中国现在的游戏开发人员赶上了一个好时候------有这么多的人在关…...
2024/4/20 13:05:37 - 应用迁移至K8S七步工作法！
【前言】2018年我们团队辅助多家公司将应用迁移到了Kubernetes集群中，总结了应用迁移至K8S的七步工作法，这七步工作法不仅仅可以平滑的迁移应用，最重要的是可以让开发、运维、测试人员循序渐进的学习和掌握Kubernetes。第一步：将应用封装进容器应用容器化是迁移的第一步，需…...
2024/4/18 2:10:44 - 微信Web开发者工具，mac上面卡死解决办法
第一步 先将已经安装的 微信web开发者工具 移除到废纸篓第二步 打开终端输入open Library第三步 在弹出的 finder 中找到下边三个文件夹分别删除子文件夹里边对应的文件Application Support --> 微信web开发者工具 Preferences -->com.tencent.wechat.devtools.plist …...
2024/4/18 2:08:02 - Java实现简易社团管理系统（附源码及数据库文件）
实现效果 登录界面 功能：登录功能界面 功能：学生信息管理、社团事务管理、基础申请、密码管理学生信息管理界面 功能：根据学号（学号唯一）查询、学生信息更新（学号不可更改）、删除学生、新增（所属社团不可不存在）社团事务管理界面 功能：社团查询（社团编号唯一）、社团…...
2024/4/20 10:17:32 - 如何提交form表单嵌套（提交表单外的数据方法 ）
如何提交form表单嵌套，form表单不能嵌套使用！解决思路：将嵌套的form表单提取到最外层，将表单外要提交的数据，提交随表单提交而提交！方法如下：<form action="" id="data_form" method="post" enctype="multipart/form-data"&…...
2024/4/17 2:53:24 - 微信开发工具新版本黑屏的解决办法
例如微信开发工具安装的位置是：f:\Program Files (x86)\Tencent\微信web开发者工具 cmd： f:\Program Files (x86)\Tencent\微信web开发者工具>.\微信开发者工具.exe --disable-gpu原因是： 新版本默认开启了gpu加速，所以–disable-gpu 就可以了。 启动微信开发者工具后，…...
2024/4/18 1:59:55 - 设计新一代的网游——第三章（游戏概况）
游戏概况 现今网游，大多沿袭西方和泡菜的中世纪理念，既人出生就决定了一个人的职业：如战士，法师等等，这也是与中国传统极其不符的。出生就拿个大刀砍来砍去一直到死，是广大玩家所不能接受的。所谓的职业，就是练什么武功，和中国武侠的门派有类似之处。但是一个门派，比如…...
2024/4/19 13:48:59 - 局域网内 k8s 与consul 之间配置与部署
目录1、K8S 和Consul部署方案1.1、部署方式1.2、初始方案演示1：K8S 网络内部是双向通1.3、初始方案演示2：K8S中POD与consul集群单向通2、问题描述3、解决方法3.1、临时解决方法3.2、将若干或全部consul部署到K8S节点里去1、K8S 和Consul部署方案1.1、部署方式刚开始K8s 集群 …...
2024/4/18 2:09:31 - 尚硅谷前端HTML5视频_微信小程序项目实战
比较新的2018年小程序入门视频，我花了3天看完，还不错，要学习小程序的可以借鉴微信小程序经历了一年多的发展，如今迎来了爆发式的增长，所以微信小程序为当下前端工程师必备的技能 。本套视频从微信小程序的基础知识开始讲起，涵盖了适配方案、数据绑定、自定义事件机制、模…...
2024/4/18 2:06:32 - K8S部署SpringBoot应用
必要条件K8S环境机器做部署用，推荐一主双从。推荐安装文档 Docker Harbor私有仓库，准备完成后在需要使用仓库的机器docker login。 开发机器需要Docker环境，build及push使用基础配置准备 一、构建基本Springboot工程，本例所用版本及结构如下图创建测试代码，简单打印几行lo…...
2024/4/18 16:40:37 - BZOJ1040 骑士(基环树DP)
DescriptionZ国的骑士团是一个很有势力的组织，帮会中汇聚了来自各地的精英。他们劫富济贫，惩恶扬善，受到社会各 界的赞扬。最近发生了一件可怕的事情，邪恶的Y国发动了一场针对Z国的侵略战争。战火绵延五百里，在和平环境 中安逸了数百年的Z国又怎能抵挡的住Y国的军队。于是…...
2024/4/19 23:05:33 - Linux系统下如何运行微信web开发者工具？
微信Web开发者工具只有window版本和mac版本，如果想要在Linux系统下运行微信Web开发者工具，需要花费很大周折。本文和大家分享的就是linux系统下运行微信web开发者工具相关内容，一起来看看吧。注：带 * 的步骤或文件为不确定是否管用的步骤或文件。本人系统为Linux Mint 18.1…...
2024/4/18 2:09:37 - 安卓开发-学生信息管理系统(刷新UI）
重点功能：数据库增删改查优化Listview使用界面效果：目录结构：一：数据库增删改查优化 之前的查询为根据name判断是否存在sex为依据来判断该用户是否存在，因为sex为必选项，不能为空 更新：查询所有的用户信息并显示 在StudentDAO中添加查询所有用户信…...
2024/4/20 12:09:56
最新文章
- Rabbitmq安装延迟插件rabbitmq_delayed_message_exchange失败
Docker里的Rabbitmq容器安装延迟插件rabbitmq_delayed_message_exchange失败 一启动插件Rabbitmq容器直接停止运行了 rabbitmq-plugins enable rabbitmq_delayed_message_exchange排除了版本问题和端口问题等，发现是虚拟机运行内存不够，增加虚拟机运行内…...
2024/4/27 1:29:46 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言，在此感激不尽。 权重和梯度的更新公式如下： w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/3/20 10:50:27 - ssm框架中各层级介绍
1、Spring（业务逻辑层）： Spring框架提供了依赖注入（DI）和面向切面编程（AOP）等功能，可以帮助管理Java应用程序中的对象依赖关系和提供横切关注点的支持。 在SSM框架中，S…...
2024/4/21 13:57:27 - 6.9物联网RK3399项目开发实录-驱动开发之PWM的使用（wulianjishu666）
嵌入式实战开发例程，珍贵资料，开发必备： 链接：https://pan.baidu.com/s/1149x7q_Yg6Zb3HN6gBBAVA?pwdhs8b PWM 使用 前言 AIO-3399J 开发板上有 4 路 PWM 输出，分别为 PWM0 ~ PWM3，4 路 PWM 分别使用在…...
2024/4/26 20:06:06 - 【外汇早评】美通胀数据走低，美元调整
原标题：【外汇早评】美通胀数据走低，美元调整昨日美国方面公布了新一期的核心PCE物价指数数据，同比增长1.6%，低于前值和预期值的1.7%，距离美联储的通胀目标2%继续走低，通胀压力较低，且此前美国一季度GDP初值中的消费部分下滑明显，因此市场对美联储后续更可能降息的政策…...
2024/4/26 18:09:39 - 【原油贵金属周评】原油多头拥挤，价格调整
原标题：【原油贵金属周评】原油多头拥挤，价格调整本周国际劳动节，我们喜迎四天假期，但是整个金融市场确实流动性充沛，大事频发，各个商品波动剧烈。美国方面，在本周四凌晨公布5月份的利率决议和新闻发布会，维持联邦基金利率在2.25%-2.50%不变，符合市场预期。同时美联储…...
2024/4/26 20:12:18 - 【外汇周评】靓丽非农不及疲软通胀影响
原标题：【外汇周评】靓丽非农不及疲软通胀影响在刚结束的周五，美国方面公布了新一期的非农就业数据，大幅好于前值和预期，新增就业重新回到20万以上。具体数据： 美国4月非农就业人口变动 26.3万人，预期 19万人，前值 19.6万人。 美国4月失业率 3.6%，预期 3.8%，前值 3…...
2024/4/26 23:05:52 - 【原油贵金属早评】库存继续增加，油价收跌
原标题：【原油贵金属早评】库存继续增加，油价收跌周三清晨公布美国当周API原油库存数据，上周原油库存增加281万桶至4.692亿桶，增幅超过预期的74.4万桶。且有消息人士称，沙特阿美据悉将于6月向亚洲炼油厂额外出售更多原油，印度炼油商预计将每日获得至多20万桶的额外原油供…...
2024/4/25 18:39:23 - 【外汇早评】日本央行会议纪要不改日元强势
原标题：【外汇早评】日本央行会议纪要不改日元强势近两日日元大幅走强与近期市场风险情绪上升，避险资金回流日元有关，也与前一段时间的美日贸易谈判给日本缓冲期，日本方面对汇率问题也避免继续贬值有关。虽然今日早间日本央行公布的利率会议纪要仍然是支持宽松政策，但这符…...
2024/4/25 18:39:22 - 【原油贵金属早评】欧佩克稳定市场，填补伊朗问题的影响
原标题：【原油贵金属早评】欧佩克稳定市场，填补伊朗问题的影响近日伊朗局势升温，导致市场担忧影响原油供给，油价试图反弹。此时OPEC表态稳定市场。据消息人士透露，沙特6月石油出口料将低于700万桶/日，沙特已经收到石油消费国提出的6月份扩大出口的“适度要求”，沙特将满…...
2024/4/25 18:39:22 - 【外汇早评】美欲与伊朗重谈协议
原标题：【外汇早评】美欲与伊朗重谈协议美国对伊朗的制裁遭到伊朗的抗议，昨日伊朗方面提出将部分退出伊核协议。而此行为又遭到欧洲方面对伊朗的谴责和警告，伊朗外长昨日回应称，欧洲国家履行它们的义务，伊核协议就能保证存续。据传闻伊朗的导弹已经对准了以色列和美国的航…...
2024/4/26 21:56:58 - 【原油贵金属早评】波动率飙升，市场情绪动荡
原标题：【原油贵金属早评】波动率飙升，市场情绪动荡因中美贸易谈判不安情绪影响，金融市场各资产品种出现明显的波动。随着美国与中方开启第十一轮谈判之际，美国按照既定计划向中国2000亿商品征收25%的关税，市场情绪有所平复，已经开始接受这一事实。虽然波动率-恐慌指数VI…...
2024/4/25 16:48:44 - 【原油贵金属周评】伊朗局势升温，黄金多头跃跃欲试
原标题：【原油贵金属周评】伊朗局势升温，黄金多头跃跃欲试美国和伊朗的局势继续升温，市场风险情绪上升，避险黄金有向上突破阻力的迹象。原油方面稍显平稳，近期美国和OPEC加大供给及市场需求回落的影响，伊朗局势并未推升油价走强。近期中美贸易谈判摩擦再度升级，美国对中…...
2024/4/26 16:00:35 - 【原油贵金属早评】市场情绪继续恶化，黄金上破
原标题：【原油贵金属早评】市场情绪继续恶化，黄金上破周初中国针对于美国加征关税的进行的反制措施引发市场情绪的大幅波动，人民币汇率出现大幅的贬值动能，金融市场受到非常明显的冲击。尤其是波动率起来之后，对于股市的表现尤其不安。隔夜美国股市出现明显的下行走势，这…...
2024/4/25 18:39:16 - 【外汇早评】美伊僵持，风险情绪继续升温
原标题：【外汇早评】美伊僵持，风险情绪继续升温昨日沙特两艘油轮再次发生爆炸事件，导致波斯湾局势进一步恶化，市场担忧美伊可能会出现摩擦生火，避险品种获得支撑，黄金和日元大幅走强。美指受中美贸易问题影响而在低位震荡。继5月12日，四艘商船在阿联酋领海附近的阿曼湾、…...
2024/4/25 18:39:16 - 【原油贵金属早评】贸易冲突导致需求低迷，油价弱势
原标题：【原油贵金属早评】贸易冲突导致需求低迷，油价弱势近日虽然伊朗局势升温，中东地区几起油船被袭击事件影响，但油价并未走高，而是出于调整结构中。由于市场预期局势失控的可能性较低，而中美贸易问题导致的全球经济衰退风险更大，需求会持续低迷，因此油价调整压力较…...
2024/4/26 19:03:37 - 氧生福地 玩美北湖（上）——为时光守候两千年
原标题：氧生福地 玩美北湖（上）——为时光守候两千年一次说走就走的旅行，只有一张高铁票的距离～ 所以，湖南郴州，我来了～ 从广州南站出发，一个半小时就到达郴州西站了。在动车上，同时改票的南风兄和我居然被分到了一个车厢，所以一路非常愉快地聊了过来。 挺好，最起…...
2024/4/26 22:01:59 - 氧生福地 玩美北湖（中）——永春梯田里的美与鲜
原标题：氧生福地 玩美北湖（中）——永春梯田里的美与鲜一觉醒来，因为大家太爱“美”照，在柳毅山庄去寻找龙女而错过了早餐时间。近十点，向导坏坏还是带着饥肠辘辘的我们去吃郴州最富有盛名的“鱼头粉”。说这是“十二分推荐”，到郴州必吃的美食之一。 哇塞！那个味美香甜…...
2024/4/25 18:39:14 - 氧生福地 玩美北湖（下）——奔跑吧骚年！
原标题：氧生福地 玩美北湖（下）——奔跑吧骚年！让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 啊……啊……啊 两…...
2024/4/26 23:04:58 - 扒开伪装医用面膜，翻六倍价格宰客，小姐姐注意了！
原标题：扒开伪装医用面膜，翻六倍价格宰客，小姐姐注意了！扒开伪装医用面膜，翻六倍价格宰客！当行业里的某一品项火爆了，就会有很多商家蹭热度，装逼忽悠，最近火爆朋友圈的医用面膜，被沾上了污点，到底怎么回事呢？ “比普通面膜安全、效果好！痘痘、痘印、敏感肌都能用…...
2024/4/25 2:10:52 - 「发现」铁皮石斛仙草之神奇功效用于医用面膜
原标题：「发现」铁皮石斛仙草之神奇功效用于医用面膜丽彦妆铁皮石斛医用面膜|石斛多糖无菌修护补水贴19大优势： 1、铁皮石斛：自唐宋以来，一直被列为皇室贡品，铁皮石斛生于海拔1600米的悬崖峭壁之上，繁殖力差，产量极低，所以古代仅供皇室、贵族享用 2、铁皮石斛自古民间…...
2024/4/25 18:39:00 - 丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者
原标题：丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者【公司简介】 广州华彬企业隶属香港华彬集团有限公司，专注美业21年，其旗下品牌： 「圣茵美」私密荷尔蒙抗衰，产后修复 「圣仪轩」私密荷尔蒙抗衰，产后修复 「花茵莳」私密荷尔蒙抗衰，产后修复 「丽彦妆」专注医学护…...
2024/4/26 19:46:12 - 广州械字号面膜生产厂家OEM/ODM4项须知！
原标题：广州械字号面膜生产厂家OEM/ODM4项须知！广州械字号面膜生产厂家OEM/ODM流程及注意事项解读： 械字号医用面膜，其实在我国并没有严格的定义，通常我们说的医美面膜指的应该是一种「医用敷料」，也就是说，医用面膜其实算作「医疗器械」的一种，又称「医用冷敷贴」。 …...
2024/4/25 18:38:58 - 械字号医用眼膜缓解用眼过度到底有无作用？
原标题：械字号医用眼膜缓解用眼过度到底有无作用？医用眼膜/械字号眼膜/医用冷敷眼贴 凝胶层为亲水高分子材料，含70%以上的水分。体表皮肤温度传导到本产品的凝胶层，热量被凝胶内水分子吸收，通过水分的蒸发带走大量的热量，可迅速地降低体表皮肤局部温度，减轻局部皮肤的灼…...
2024/4/25 18:38:57 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示，配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下：1、长按电脑电源键直至关机，然后再按一次电源健重启电脑，按F8健进入安全模式2、安全模式下进入Windows系统桌面后，按住“winR”打开运行窗口，输入“services.msc”打开服务设置3、在服务界面，选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE，请勿更改元素数目。
%读入6幅图像（每一幅图像的大小是564*564） f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面，在等待界面中我们需要等待操作结束才能关机，虽然这比较麻烦，但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows，请勿关闭计算机”的提示，要过很久才能进入系统，有的用户甚至几个小时也无法进入，下面就教大家这个问题的解决方法。第一种方法：我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题，电脑时发现开机屏幕显现“正在配置Windows Update，请勿关机”(如下图所示)，而且还需求等大约5分钟才干进入系统。这是怎样回事呢？一切都是正常操作的，为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示，没过几秒后电脑自动重启，每次开机都这样无法进入系统，此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一：开机按下F8，在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况，就是电脑提示正在准备windows请勿关闭计算机，碰到这样的问题该怎么解决呢，现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法：1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后，每次关机的时候桌面上都会显示一个“配置Windows Update的界面，提示请勿关闭计算机”，每次停留好几分钟才能正常关机，导致什么情况引起的呢？出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着，别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚，只能是考虑备份数据后重装系统了。解决来方案一：管理员运行cmd：net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办？
原标题：电脑提示“配置Windows Update请勿关闭计算机”怎么办？win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢？一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ，然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ，然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间：2020-04-20 22:24:19 浏览次数：729次 区域： 南阳 > 卧龙 列举网提醒您：为保障您的权益，请不要提前支付任何费用！ 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于：钉钉，外勤365，红圈通，企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”，长时间没反应，无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了，具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面，长时间没反应，无法进入系统。这个问题原来帮其他同学也解决过，网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办？...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法，并在最后教给你1种保护系统安全的好方法，一起来看看！电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中，添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败，正在还原更改，请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候，开启电脑发现电脑显示：配置windows更新失败，正在还原更改，请勿关闭计算机。。.这要怎么办呢？下面小编就带着大家一起看看吧！如果能够正常进入系统，建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机，电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机，电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容，让我们赶快一起来看一下吧！配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题，就是我们的win7系统在关机的时候，总是喜欢显示“准备配置windows，请勿关机”这样的一个页面，没有什么大碍，但是如果一直等着的话就要两个小时甚至更久都关不了机，非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时，一般是您正对windows进行升级，但是这个要是长时间没有反应，我们不能再傻等下去了。可能是电脑出了别的问题了，来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败，还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况，当我们打开电脑之后，发现一直停留在一个界面：“配置Windows Update失败，还原更改请勿关闭计算机”，等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57