中间件业务在网易轻舟容器平台的性能调优实践
随着业务容器化的推进,经常有客户抱怨应用 QPS 无法和在物理机或者云主机上媲美,并且时常会出现 DNS 查询超时、短连接 TIME_OUT、网络丢包等问题,而在容器中进行调优与诊断的效果因为安装工具的复杂度大打折扣。本文基于网易轻舟中间件业务容器化实践,总结容器场景下的性能调优心得,供读者参考。
1 性能调优的“望闻问切”
在讨论容器化场景的性能调优之前,先谈一下性能调优中的“望闻问切”。对于性能问题,大部分人首先想到的是 CPU 利用率高,但这只是个现象,并不是症状。打个比方:感冒看医生时,病人跟大夫描述的是现象,包括头部发热、流鼻涕等;而大夫通过探查、化验,得到的医学症状是病人的白细胞较多、咽喉红肿等,并确诊为细菌性感冒,给开了 999 感冒灵。性能调优流程与此相似,也需要找到现象、症状和解法。回到 CPU 利用率高的例子:已知现象是 CPU 利用率高,我们通过 strace 检查,发现 futex_wait 系统调用占用了 80% 的 CPU 时间——这才是症状;根据这个症状,我们业务逻辑代码降低了线程切换,CPU 利用率随之降低。
大部分的性能调优都可以通过发现现象、探测症状、解决问题这三个步骤来完成,而这在容器的性能调优中就更为重要的,因为在主机的性能调优过程中,我们有很多的经验可以快速找到症状,但是在容器的场景中,很多客户只能描述问题的现象,因为他们并不了解使用的容器引擎的工作原理以及容器化架构的实现方式。
2 容器化性能调优的难点
容器化场景中的性能调优主要面临 7 个方面的挑战。
中间件种类多,调优方法又各不相同,如何设计一种好的框架来适配
我们借鉴 redhat tuned 思想,提出一种与业务相关的内核参数配置新框架,它可以把我们对 Linux 系统现有的一些调优手段(包括电源管理工具,CPU、内存、磁盘、网络等内核参数)整合到一个具体的策略 (profile) 中,业务场景不同,profile 不同,以此来快速实现云计算对不同业务进行系统的性能调节的需求。
VM 级别的调优方式在容器中实现难度较大
在 VM 级别我们看到的即是所有,网络栈是完整暴露的,CPU、内存、磁盘等也是完全没有限制的。性能调优老司机的工具箱安个遍,诊断流程走一趟基本问题就查个八九不离十了,但是在容器中,很多时候,都是默认不自带诊断、调优工具的,很多时候连 ping 或者 telnet 等基础命令都没有,这导致大部分情况下我们需要以黑盒的方式看待一个容器,所有的症状只能从物理机或者云主机的链路来看。但是我们知道容器通过 namespace 的隔离,具备完整网络栈,CPU、内存等通过隔离,只能使用 limit 的资源,如果将容器当做黑盒会导致很多时候问题症状难以快速发现,排查问题变难了。
容器化后应用的链路变长导致排查问题成本变大
容器的场景带来很多酷炫的功能和技术,比如故障自动恢复、弹性伸缩、跨主机调度等,但是这一切的代价是需要依赖容器化的架构,比如 Kubernetes 网络中需要 FullNat 的方式完成两层网络的转发等,这会给排查问题带来更复杂的障碍,当你不清楚编排引擎的架构实现原理的时候,很难将问题指向这些平时不会遇到的场景。例如上面这个例子中,FullNat 的好处是降低了网络整体方案的复杂性,但是也引入了一些 NAT 场景下的常见问题,比如短连接场景中的 SNAT 五元组重合导致包重传的问题等等,排查问题的方位变大了。
不完整隔离带来的调优复杂性
容器本质是一种操作系统级虚拟化技术,不可避免涉及隔离性,虽然平时并不需要考虑隔离的安全性问题,但是当遇到性能调优的时候,内核的共享使我们不得不面对一个更复杂的场景。举个例子,由于内核的共享,系统的 proc 是以只读的方式进行挂载的,这就意味着系统内核参数的调整会带来的宿主机级别的变更。在性能调优领域经常有人提到 C10K 或者 C100K 等类似的问题,这些问题难免涉及到内核参数的调整,但是越特定的场景调优的参数越不同,有时会有“彼之蜜糖,我之毒药”的效果。因此同一个节点上的不同容器会出现非常离奇的现象。
不同语言对 cgroup 的支持
这个问题在大多数场景下无需考虑,列在第四位是期望能够引起大家重视。网易轻舟在一次排查“ES 容器(使用 java 11)将 CPU requests 都配置成 8 时,其性能低于将 request CPU 都配置成 1”的问题时,发现是 Java 的标准库中对 cgroup 的支持不完全导致的,好在这点在大多数场景中没有任何影响。
网络方案不同带来的特定场景的先天缺欠
提到容器架构避不开网络、存储和调度,网络是评判容器架构好坏的一个核心标准,不同的网络方案也会有不同的实现方式与问题。比如网易轻舟 Kubernetes 中使用了 Flannel 的 CNI 插件实现的网络方案,标准 Flannel 支持的 Vxlan 的网络方案,Docker 的 Overlay 的 macVlan,ipvlan 的方案,或者 OpenShift SDN 网路方案,还有网易轻舟自研的云内普通 VPC 和 SRIOV+VPC 方案等等。这些不同的网络方案无一例外都是跨宿主机的二层网络很多都会通过一些 vxlan 封包解包的方式来进行数据传输,这种方式难免会增加额外的 CPU 损耗,这是一种先天的缺欠,并不是调优能够解决的问题。有的时候排查出问题也只能绕过而不是调优。
镜像化的系统环境、语言版本的差异
应用容器化是一个需要特别注意的问题,很多公司并没有严格的配管流程,比如系统依赖的内核版本、语言的小版本等等,很多时候都是选择一个大概的版本,这会带来很多语言层级的 BUG,比如 Java 应用程序运行在容器中可能会遇到更长的应用程序暂停问题、Java 7 无法感知 CPU 个数导致 GC 线程过多问题和 PHP7.0 中 php-fpm 的诡异行为。环境的问题本就需要严格管控,但是当遇到了容器,很多时候我们会分不清哪些不经意的行为会带来严重的问题,警惕性因为容器镜像能够正常启动而降低了。
3 性能优化步骤和调优管理变更流程
性能优化通常可以通过如表五个步骤完成:
调优管理变更和性能优化并不直接相关,但可能是性能调优成功最重要的因素。以下总结来源于网易轻舟团队的实践和经验:
在调优之前,实施合理的调优管理流程变更
永远不要在生产系统上调优
压测的环境要相对独立,不能受其他压力的影响,这里说的不仅是压测的服务器端,而且包括压测客户端
在调优过程中,每次只修改一个变量
反复测试提升性能的参数,有时候,统计来的结果更加可靠
把成功的参数调整整理成文档,和社区分享,即使你觉得它们微不足道
生产环境中获得的任何结果对 Linux 性能都有很大用处
4 调优手段
1. 通用调优
对于容器业务来说,尽量让 CPU 访问本地内存,不要访问远端内存。
CPU 访问不同类型节点内存的速度是不相同的,访问本地节点的速度最快,访问远端节点的速度最慢,即访问速度与节点的距离有关,距离越远访问速度越慢,此距离称作 Node Distance。正是因为有这个特点,容器应用程序要尽量的减少不同 Node 模块之间的交互,也就是说,我们根据容器内存 Node 亲和性,选择容器使用的 CPU 固定在一个 Node 模块里,因此其性能将会有很大的提升。有一种特殊场景除外,如果一个容器申请的 request 大于单个 Node 上预留的 CPU 后,这种亲和性的绑定就会失效,此时回归到原始的跨 Node 范围绑定,对于之前已经做了亲和性的容器(申请的 request 小于单个 Node 上预留的 CPU)我们的策略是继续维持不变。
2. 针对不同的场景的参数调优
针对不同的场景,可以考虑以下参数着手进行调优。
与 CPU 相关的配置
cpu 相关的参数 | 说明 |
---|---|
force_latency | 如果为 1 的话,表示强制把 cstate 置为 c0 |
governor=performance | 表示开启 intel 睿频技术 |
energy_perf_bias=performance | 通过 x86_energy_perf_policy 工具允许管理员定义相关性能和能效,分为三种:1. performance: 默认设置,不会考虑节省能源 2. normal: 潜在到能耗节省,容忍部分性能妥协。3. powersave: 接收严重性能降级,最大能效。 |
min_perf_pct | 如果设置为 100 的话,其含义是尽量让 CPU 跑在 P0 就是 Turbo 的最高频率,对于 CPU,有一个标称频率(Base Freqency)。比如某台服务器的 CPU 的 Base Freqency 是 3.0GHz,也就是在普通状态下,BIOS 关闭 Turbo 开关的话,CPU 的最高频率不会超过 3.0GHz。Pn 指的是硬件上的最低频率,P1 是 Base Frequency。在这范围的频率就是 P1,P2,P3…Pn,后面的数字越小,就说明频率越高。那么 P1 以上的频率就称为 Turbo 频率,P0 就是 Turbo 的最高频率。Turbo 就是我们所说的超频,就是超出标称频率。 |
kernel.sched_min_granularity_ns | 表示进程最少运行时间,为了防止任务频繁的切换,可以设置得较大些。 |
kernel.sched_migration_cost_ns | 其值越大表示 task 更不容易被迁走,该变量用来判断一个进程是否还是 hot,如果进程的运行时间(now - p->se.exec_start)小于它,那么内核认为它的 code 还在 cache 里,所以该进程还是 hot,那么在迁移的时候就不会考虑它。 |
sysctl_sched_wakeup_granularity | 该变量表示进程被唤醒后至少应该运行的时间的基数,它只是用来判断某个进程是否应该抢占当前进程,并不代表它能够执行的最小时间(sysctl_sched_min_granularity),如果这个数值越小,那么发生抢占的概率也就越高(见 wakeup_gran、wakeup_preempt_entity 函数) |
与内存相关的配置
内存相关的参数 | 说明 |
---|---|
transparent_hugepages(默认值是 madvise) | 设置为 never 表示关闭透明大页 |
vm.dirty_ratio | 表示当系统脏页到达内存 X%,强制同步 WriteBack(WB),如果脏页越多,WB 会变慢,响应就会变慢,所以响应要快的话,此值可以设置得较小些。 |
vm.dirty_background_ratio | 当系统脏页到达内存 X%,强制异步 WB,在低水位的时候就刷的话,刷的就相对越快,所以响应要快的话,此值可以设置得较小些。 |
磁盘相关的参数
磁盘相关的参数 | 说明 |
---|---|
readahead(一般默认值是 256) | Linux 的文件预读 readahead,指 Linux 系统内核将指定文件的某区域预读进页缓存起来,便于接下来对该区域进行读取时,不会因缺页(page fault)而阻塞。因为从内存读取比从磁盘读取要快很多。预读可以有效的减少磁盘的寻道次数和应用程序的 I/O 等待时间,所以业务是磁盘密集型的,此值可以设置得较大些。 |
与 sysctl 相关的配置
sysctl 参数 | 说明 |
---|---|
net.core.busy_read net.core.busy_poll | 这两个参数默认都是 0,它表示是繁忙轮询,有助于减少网络接收路径中的延迟,使 socket 层代码查询网络设备的接收队列并禁用网络中断,这可以消除由于中断和由此产生的环境切换所造成的延误。但是,它会增加 CPU 的使用率。繁忙轮询可以防止 CPU 进入睡眠状态,睡眠状态会造成额外的功耗。 |
net.ipv4.tcp_fastopen | tcp_fastopen(TFO)提高性能的关键是省去了热请求的三次握手,适用于对小包的应用场景进行调优 |
vm.max_map_count kernel.pid_max kernel.threads-max | 这三个参数可以用于调节 os 支持的最大线程数量 |
fs.inotify.max_queued_events fs.inotify.max_user_instances fs.inotify.max_user_watches | max_queued_events 表示调用 inotify_init 时分配给 inotify instance 中可排队的 event 的数目的最大值,超出这个值的事件被丢弃,但会触发 IN_Q_OVERFLOW 事件 ;max_user_instances 表示每一个 real user ID 可创建的 inotify instatnces 的数量上限,默认 128;max_user_watches 表示同一用户同时可以添加的 watch 数目(watch 一般是针对目录,决定了同时同一用户可以监控的目录数量). 调大这三个参数是为了解决“当运行 docker 镜像时,报 Error: ENOSPC: System limit for number of file watchers reached”问题 |
net.core.somaxconn | 定义了系统中每一个端口最大的监听队列的长度 |
net.netfilter.nf_conntrack_max net.netfilter.nf_conntrack_tcp_be_liberal net.netfilter.nf_conntrack_checksum options nf_conntrack hashsize 配合使用 | 调大 netfilter ct 参数,防止连接数过多,导致“nf_conntrack: table full, dropping packet on...”问题 |
net.ipv4.ip_forward | 开启数据包转发的功能,所谓转发即当主机拥有多于一块的网卡时,其中一块收到数据包,根据数据包的目的 ip 地址将数据包发往本机另一块网卡,该网卡根据路由表继续发送数据包 |
net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-arptables net.bridge.bridge-nf-call-ip6tables | 这三个参数置为 1 表示二层的网桥在转发包时也会被 iptables/arptables/ip6tables 的 FORWARD 规则所过滤 |
net.core.netdev_max_backlog | 默认是 1000,在每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目 |
net.core.netdev_budget | 默认是 300,net_rx_action budget 表示一个 CPU 单次轮询(poll)所允许的最大收包数量,如果在内核缓存层面发现有丢包的话,可以调整 net.core.netdev_max_backlog 和 net.core.netdev_budget 这两个参数 |
net.ipv4.neigh.default.gc_thresh1 net.ipv4.neigh.default.gc_thresh2 net.ipv4.neigh.default.gc_thresh3 | 这三个参数是为了解决“neighbour table overflow”问题 |
net.ipv4.conf.eth0.arp_ignore | 1 表示只响应目的 IP 地址为接收网卡上的本地地址的 arp 请求 |
net.ipv4.tcp_rmem="P1 P2 P3" | 第一个值是为 socket 接收缓冲区分配的最少字节数;第二个值是默认值(该值会被 rmem_default 覆盖),缓冲区在系统负载不重的情况下可以增长到这个值;第三个值是接收缓冲区空间的最大字节数(该值会被 rmem_max 覆盖)。 |
net.ipv4.tcp_wmem="P1 P2 P3" | 第一个值是为 socket 发送缓冲区分配的最少字节数;第二个值是默认值(该值会被 wmem_default 覆盖),缓冲区在系统负载不重的情况下可以增长到这个值;第三个值是发送缓冲区空间的最大字节数(该值会被 wmem_max 覆盖)。 |
net.ipv4.udp_mem="P1 P2 P3" | UDP 的情况,含义同上 |
注:了解以上网络参数的具体含义,需学习 Linux 内核收发包原理,强烈推荐《Monitoring and Tuning the Linux Networking Stack》系列文章。详见文末参考文献 4-7。
3. 网络调优
软中断隔离:将容器网卡的软中断绑定到某几个专用 CPU 上,而容器业务进程绑定到其他 CPU 上,这样可以减少业务和网卡软中断之间的影响,避免频繁的上下文切换,特别适用于对网络性能要求极高的服务例如 Redis。对于云内普通 VPC 和云内 SR-IOV VPC 都适用:
云内普通 VPC:需要把容器使用的虚拟网卡 veth 的软中断绑定到预留的某几个专用 CPU 上
云内 SR-IOV VPC:需要把容器使用的 VF 网卡的软中断绑定到预留的某几个专用 CPU 上
SR-IOV 直通网卡:优化后端 DPDK PMD 线程配比,一般由 1 个调大至 2 个或者 4 个。
5 调优效果
Redis
调优后 SR-IOV 下 QPS 接近 BGP 物理网络,99.99% 时延从 BGP 物理网络的 990ms 下降到 140ms。
Flink
调优后简单 ETL 任务 QPS 比 YARN 上高 20%,复杂 ETL 任务 QPS 比在 YARN 上高 30%。
RDS
对于 RDS MGR 集群,K8S 容器部署相比 RDS2.0 云主机 VM 部署,同等规格下性能提升可以达到 30%~170%;
经过优化后,与物理机部署相比,常规模式下,只写场景、只读场景和读写混合场景的性能差距保持在 5~10% 之间。
RocketMQ
异步复制集群:普通容器单分片相比物理机性能有 40% 差距,增加生产消费者数量,集群整体性能有所提升,但依然与标准物理机有 25% 左右差距;增加生产消费者数量,容器调优后的性能基本持平标准物理机,差距 5% 以内。
同步复制集群:普通容器性能略差于标准物理机,差距在 10% 左右,容器调优后的性能基本持平标准物理机,差距缩小到 5%。
作者简介
刘迎冬,网易杭州研究院轻舟云原生内核开发专家,十年以上虚拟化和内核经验,先后在华为、网易从事虚拟化和内核相关工作,目前在网易杭研主要负责虚拟化和轻舟容器内核的交付、运维工作和性能调优工作,主要关注运行容器的新一代操作系统技术、混合部署隔离技术以及内核性能调优技术。
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
相关文章
- Android中的自定义组件和android的动画
自定义ViewActivity、PhoneWindow、DecorView、ViewRoot1、Activity 控制器 a、【Activity】并【不负责视图控制】,它只是控制【生命周期】和【处理事件】。【真正控制视图】的是【Window】。 b、【一个Activity】包含了【一个Window】,【Window】才是【真正代表一个窗口】。…...
2024/5/5 13:24:29 - linux学习笔记一
Linux操作系统 一、什么是Linux?Linux是一个开源免费的操作系统,和我们的Window一样,主要用来安装到服务器上,运行各种软件和服务。 Linux之父 - 林纳斯(linus) Linux是一种自由和开放源码的操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在…...
2024/4/15 17:55:06 - MYSQL事务与索机制详解
1.什么是数据库事务 1.1 事务的典型场景 例:下单,会操作订单表,资金表,物流表等等,这个时候我们就希望整个流程在一个事务里面完成,。 1.2 事务的定义 事务是数据库管理系统(DBMS)执行过程中的一个逻辑单位,一个有限数据库操作序列构成。 1.3 哪些存储引擎支持事务 In…...
2024/4/23 5:34:31 - Java Listener监听三个域对象的属性变更的监听器
监听三个域对象的属性变更的监听器ServletContextAttributeListeners监听 SeryletContext 对象中的属性变更(属性添加,移除,替换)的监听器。HttpSessionAttributeListeners监听 HttpSession 对象中的属性变更(属性添加,移除,替换)的监听器。ServletRequestAttributeListene…...
2024/4/22 11:59:44 - 一次艰难获取后台经历-metinfo5.3.18密码重置漏洞复现
前期准备 内部搭建环境进行了一次为期两天的演练,通过给的测试地址发现这是一个静态网页,发现URL中有参数id=某某数,心想着这就要被我挖掘出来了,我激动的手指颤抖着敲打键盘,尝试用sqlmap跑了下发现进行了拦截,最后手工尝试也没成功。然后又尝试看有没有跨站漏洞,发现对…...
2024/4/29 0:10:27 - 程序员如何在业余时间接单月入过万
疫情之后,身边的朋友跟我说的最多的两句话,一是稳定的工作,二是持续的现金流。在不确定的环境中保持确定的基本盘不倒,也就没有什么事情能打倒自己了。 基于此,朋友们除了日常的主业工作外,更加热衷于副业的开拓了。有的在下班之后开滴滴,能多挣一份是一份;有的业余时间…...
2024/4/15 22:23:05 - 性能测试之tcpcopy引流工具介绍
背景 作为一名测试工程师,相信您一定曾经遇到过类似这样的场景: 场景一:已经按照评审过的测试用例完成所有的测试,并且也包含了异常逻辑的测试覆盖,但是版本发布,或者服务上线后可能还是出现了各种问题,导致不得不回退版本或者紧急上线修复。一旦发生这种事情不仅会对业…...
2024/4/30 20:54:40 - AUTOSAR架构的故事(干货)
1 AUTOSAR架构概览在新世纪,汽车产业蓬勃发展,欧洲大陆的车企们,瞄准了这是一块大蛋糕,于是在2002年成立了一个联盟,搞了个叫AUTOSAR的标准,以期一统天下。次年,他们就开搞了,开始制作这个AUTOSAR的草图。话说,这是要定义一套标准,一个统一的架构,那这架构有什么内容…...
2024/4/15 14:01:31 - 关于`Apache Tomcat存在文件包含漏洞`的整改
背景 作为网站负责人,上午接到了来自省通信管理局的电话:我们网站存在一个Tomcat任意文件读取的漏洞。What?? 吓死。。 整改办法 最直接的办法是升级Tomcat(可直接指定内嵌Tomcat的版本)即可(V9.0.31),这里升级通过SpringBoot的方式自动升级Tomcat版本。 SpringBoot由…...
2024/4/9 20:47:14 - 【Linux】 Windows安装VMware虚拟机安装Ubuntu系统20.04LTS图文教程
这是一期VMware虚拟机安装Ubuntu系统的教程,用虚拟机是因为它安全性,可靠性高!测东西坏了重装一下又能继续了,可以不断的循环使用,方便快捷不会影响到你的电脑!那么直接开始吧!! Ubuntu下载连接 https://cn.ubuntu.com/download Vmware虚拟机下载链接 https://www.vmwa…...
2024/4/27 19:59:00 - Netty学习(3):多客户端与服务端的连接和通讯
概述经过了两个Netty的demo学习,目前已经对Netty有了初步的认识,从demo上手也是最快的,不要总是在学习过程的初期过于纠结细节,这将大大降低学习的进度,总要有一个循序渐进的过程,尽管Netty被很多人认为是比较难学的,坚持总有结果的,给自己打气。本章主要是学习了Netty…...
2024/5/1 10:01:32 - 【HTML】常用标签/表格(table)/表单(form)
HTML1. HTML1.1 HTML概述1.2 Hello World HTML1.3 HTML常用标签1.3.1 排版标签1.3.2 块标签1.3.3 基本文本标签【已淘汰】1.3.4 h1 ~ h6 标签1.3.5 a链接标签1.3.6 img标签1.3.7 列表标签1.3.8 表格标签1.4 form表单【重点】1.4.1 get和post1.4.2 input标签属性总结1.4.3 sele…...
2024/4/10 11:13:11 - Rust crate 移植到Rust SGX环境中
移殖rust-sgx-sdk无论是文件属性还是环境变量,都不再SGX的保护范围之内,虽然SCONE提供了一个CAS机制,试图让enclave跑在可信的环境 变量设置之下,但是这依旧破坏了SGX的信任模型:只信任CPU和Intel。攻击者完全可以通过打破untrusted部分的逻辑来污染文件属性、环境变量等并…...
2024/4/21 11:15:25 - 扫描
文章目录1.基础知识1.1.常见端口号1.2.Nmap-扫描之王1.3.爆破之九头蛇(Hydra) 1.基础知识 1.1.常见端口号1.2.Nmap-扫描之王 重要常用参数1.3.爆破之九头蛇(Hydra)...
2024/4/19 0:28:30 - go每日新闻--2020-08-26
go 语言中文网(每日资讯)_2020-08-26 一、Go 语言中文网不要忽略 goroutine 的启动时间 Golang 中一个 time.Duration 相关类型转换问题 JSON 的填坑之旅:官方给的解答二、亚军进化史Go 技术日报(2020-08-25) 三、 腾讯技术工程彻底弄懂 TCP 协议:从三次握手说起 四、 Kubern…...
2024/4/17 16:02:45 - Nginx配置反向代理无法加载文件问题
网站配置反向代理的时候,网站虽然可以访问到,但静态资源加载不出,修改nginx配置文件即可解决:location / {root html;index index.html index.htm;proxy_pass http://127.0.0.1:8080;#添加一下配置,即可解决方向代理无法加载静态资源文件问题proxy_set_header X-Real-I…...
2024/4/26 3:05:53 - kafka 费者参数设置调优
kafka Consumer参数设置1.session.timeout.ms <= coordinator检测失败的时间默认值是10s该参数是 Consumer Group 主动检测 (组内成员comsummer)崩溃的时间间隔。若设置10min,那么Consumer Group的管理者(group coordinator)可能需要10分钟才能感受到。太漫长了是吧。 2.…...
2024/4/15 8:11:00 - PHP笔记之MySQL(2)
目录字段类型(字符、时间类型)字符类型时间类型表定义语句创建表基本语法形式:字段设定形式:索引外键索引: 约束表选项列表修改表删除表其他表的相关语句:视图(view)定义语句什么叫视图?视图的创建语法:使用视图:删除视图:字段类型(字符、时间类型)字符类型mysq…...
2024/4/20 10:30:33 - DW-ML-03
支持向量机(Support Vector Machine,SVM)支持向量机是一个非常优雅的算法,具有非常完善的数学理论,常用于数据分类,也可以用于数据的回归预测中,由于其优美的理论保证和利用核函数对于线性不可分问题的处理技巧, 在上世纪90年代左右,SVM曾红极一时。 本文将不涉及非常…...
2024/4/12 2:51:10 - 1.4【NLP项目-人工智能辅助信息抽取】正则表达式与AC自动机算法讲解与应用
目录AC自动机 KMP算法Trie树 AC自动机原理pyahocorasick 正则表达式 正则表达式语法基于规则的信息抽取NER研究进展 任务简介:如何通过规则进行信息抽取详细说明:本节将介绍规则系统中常用的正则表达式与AC自动机,首先对其算法的原理与应用场景进行详细讲解,…...
2024/4/24 14:49:35
最新文章
- Arxml文件解析02- 自动驾驶Radar服务radar_svc.arxml
<AUTOSAR xmlns="http://autosar.org/schema/r4.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://autosar.org/schema/r4.0 AUTOSAR_00045.xsd...
2024/5/5 20:27:29 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言,在此感激不尽。 权重和梯度的更新公式如下: w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/3/20 10:50:27 - 利用Sentinel解决雪崩问题(一)
1、解决雪崩问题的常见方式有四种: 超时处理:设定超时时间,请求超过一定时间没有响应就返回错误信息,不会无休止等待;舱壁模式:限定每个业务能使用的线程数,避免耗尽整个tomcat的资源,因此也叫线程隔离;熔断降级:由断路器统计业务…...
2024/5/4 23:53:05 - GIS与数字孪生共舞,打造未来智慧场景
作为一名数字孪生资深用户,近日我深刻理解到GIS(地理信息系统)在构建数字孪生体中的关键作用。 数字孪生技术旨在构建现实世界的虚拟镜像,而GIS则是这一镜像中不可或缺的空间维度框架和导航灯塔。数字孪生的核心是通过数字化方式…...
2024/5/2 2:35:02 - 416. 分割等和子集问题(动态规划)
题目 题解 class Solution:def canPartition(self, nums: List[int]) -> bool:# badcaseif not nums:return True# 不能被2整除if sum(nums) % 2 ! 0:return False# 状态定义:dp[i][j]表示当背包容量为j,用前i个物品是否正好可以将背包填满ÿ…...
2024/5/5 18:19:03 - 【Java】ExcelWriter自适应宽度工具类(支持中文)
工具类 import org.apache.poi.ss.usermodel.Cell; import org.apache.poi.ss.usermodel.CellType; import org.apache.poi.ss.usermodel.Row; import org.apache.poi.ss.usermodel.Sheet;/*** Excel工具类** author xiaoming* date 2023/11/17 10:40*/ public class ExcelUti…...
2024/5/5 12:22:20 - Spring cloud负载均衡@LoadBalanced LoadBalancerClient
LoadBalance vs Ribbon 由于Spring cloud2020之后移除了Ribbon,直接使用Spring Cloud LoadBalancer作为客户端负载均衡组件,我们讨论Spring负载均衡以Spring Cloud2020之后版本为主,学习Spring Cloud LoadBalance,暂不讨论Ribbon…...
2024/5/5 19:59:54 - TSINGSEE青犀AI智能分析+视频监控工业园区周界安全防范方案
一、背景需求分析 在工业产业园、化工园或生产制造园区中,周界防范意义重大,对园区的安全起到重要的作用。常规的安防方式是采用人员巡查,人力投入成本大而且效率低。周界一旦被破坏或入侵,会影响园区人员和资产安全,…...
2024/5/4 23:54:44 - VB.net WebBrowser网页元素抓取分析方法
在用WebBrowser编程实现网页操作自动化时,常要分析网页Html,例如网页在加载数据时,常会显示“系统处理中,请稍候..”,我们需要在数据加载完成后才能继续下一步操作,如何抓取这个信息的网页html元素变化&…...
2024/5/5 15:25:47 - 【Objective-C】Objective-C汇总
方法定义 参考:https://www.yiibai.com/objective_c/objective_c_functions.html Objective-C编程语言中方法定义的一般形式如下 - (return_type) method_name:( argumentType1 )argumentName1 joiningArgument2:( argumentType2 )argumentName2 ... joiningArgu…...
2024/5/4 23:54:49 - 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】
👨💻博客主页:花无缺 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 本文由 花无缺 原创 收录于专栏 【洛谷算法题】 文章目录 【洛谷算法题】P5713-洛谷团队系统【入门2分支结构】🌏题目描述🌏输入格…...
2024/5/4 23:54:44 - 【ES6.0】- 扩展运算符(...)
【ES6.0】- 扩展运算符... 文章目录 【ES6.0】- 扩展运算符...一、概述二、拷贝数组对象三、合并操作四、参数传递五、数组去重六、字符串转字符数组七、NodeList转数组八、解构变量九、打印日志十、总结 一、概述 **扩展运算符(...)**允许一个表达式在期望多个参数࿰…...
2024/5/4 14:46:12 - 摩根看好的前智能硬件头部品牌双11交易数据极度异常!——是模式创新还是饮鸩止渴?
文 | 螳螂观察 作者 | 李燃 双11狂欢已落下帷幕,各大品牌纷纷晒出优异的成绩单,摩根士丹利投资的智能硬件头部品牌凯迪仕也不例外。然而有爆料称,在自媒体平台发布霸榜各大榜单喜讯的凯迪仕智能锁,多个平台数据都表现出极度异常…...
2024/5/5 18:50:00 - Go语言常用命令详解(二)
文章目录 前言常用命令go bug示例参数说明 go doc示例参数说明 go env示例 go fix示例 go fmt示例 go generate示例 总结写在最后 前言 接着上一篇继续介绍Go语言的常用命令 常用命令 以下是一些常用的Go命令,这些命令可以帮助您在Go开发中进行编译、测试、运行和…...
2024/5/4 14:46:11 - 用欧拉路径判断图同构推出reverse合法性:1116T4
http://cplusoj.com/d/senior/p/SS231116D 假设我们要把 a a a 变成 b b b,我们在 a i a_i ai 和 a i 1 a_{i1} ai1 之间连边, b b b 同理,则 a a a 能变成 b b b 的充要条件是两图 A , B A,B A,B 同构。 必要性显然࿰…...
2024/5/5 2:25:33 - 【NGINX--1】基础知识
1、在 Debian/Ubuntu 上安装 NGINX 在 Debian 或 Ubuntu 机器上安装 NGINX 开源版。 更新已配置源的软件包信息,并安装一些有助于配置官方 NGINX 软件包仓库的软件包: apt-get update apt install -y curl gnupg2 ca-certificates lsb-release debian-…...
2024/5/4 21:24:42 - Hive默认分割符、存储格式与数据压缩
目录 1、Hive默认分割符2、Hive存储格式3、Hive数据压缩 1、Hive默认分割符 Hive创建表时指定的行受限(ROW FORMAT)配置标准HQL为: ... ROW FORMAT DELIMITED FIELDS TERMINATED BY \u0001 COLLECTION ITEMS TERMINATED BY , MAP KEYS TERMI…...
2024/5/5 13:14:22 - 【论文阅读】MAG:一种用于航天器遥测数据中有效异常检测的新方法
文章目录 摘要1 引言2 问题描述3 拟议框架4 所提出方法的细节A.数据预处理B.变量相关分析C.MAG模型D.异常分数 5 实验A.数据集和性能指标B.实验设置与平台C.结果和比较 6 结论 摘要 异常检测是保证航天器稳定性的关键。在航天器运行过程中,传感器和控制器产生大量周…...
2024/5/4 13:16:06 - --max-old-space-size=8192报错
vue项目运行时,如果经常运行慢,崩溃停止服务,报如下错误 FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - JavaScript heap out of memory 因为在 Node 中,通过JavaScript使用内存时只能使用部分内存(64位系统&…...
2024/5/5 17:03:52 - 基于深度学习的恶意软件检测
恶意软件是指恶意软件犯罪者用来感染个人计算机或整个组织的网络的软件。 它利用目标系统漏洞,例如可以被劫持的合法软件(例如浏览器或 Web 应用程序插件)中的错误。 恶意软件渗透可能会造成灾难性的后果,包括数据被盗、勒索或网…...
2024/5/4 14:46:05 - JS原型对象prototype
让我简单的为大家介绍一下原型对象prototype吧! 使用原型实现方法共享 1.构造函数通过原型分配的函数是所有对象所 共享的。 2.JavaScript 规定,每一个构造函数都有一个 prototype 属性,指向另一个对象,所以我们也称为原型对象…...
2024/5/5 3:37:58 - C++中只能有一个实例的单例类
C中只能有一个实例的单例类 前面讨论的 President 类很不错,但存在一个缺陷:无法禁止通过实例化多个对象来创建多名总统: President One, Two, Three; 由于复制构造函数是私有的,其中每个对象都是不可复制的,但您的目…...
2024/5/4 23:54:30 - python django 小程序图书借阅源码
开发工具: PyCharm,mysql5.7,微信开发者工具 技术说明: python django html 小程序 功能介绍: 用户端: 登录注册(含授权登录) 首页显示搜索图书,轮播图࿰…...
2024/5/5 17:03:21 - 电子学会C/C++编程等级考试2022年03月(一级)真题解析
C/C++等级考试(1~8级)全部真题・点这里 第1题:双精度浮点数的输入输出 输入一个双精度浮点数,保留8位小数,输出这个浮点数。 时间限制:1000 内存限制:65536输入 只有一行,一个双精度浮点数。输出 一行,保留8位小数的浮点数。样例输入 3.1415926535798932样例输出 3.1…...
2024/5/5 15:25:31 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下:1、长按电脑电源键直至关机,然后再按一次电源健重启电脑,按F8健进入安全模式2、安全模式下进入Windows系统桌面后,按住“winR”打开运行窗口,输入“services.msc”打开服务设置3、在服务界面,选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。
%读入6幅图像(每一幅图像的大小是564*564) f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面,在等待界面中我们需要等待操作结束才能关机,虽然这比较麻烦,但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows,请勿关闭计算机”的提示,要过很久才能进入系统,有的用户甚至几个小时也无法进入,下面就教大家这个问题的解决方法。第一种方法:我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题,电脑时发现开机屏幕显现“正在配置Windows Update,请勿关机”(如下图所示),而且还需求等大约5分钟才干进入系统。这是怎样回事呢?一切都是正常操作的,为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示,没过几秒后电脑自动重启,每次开机都这样无法进入系统,此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一:开机按下F8,在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况,就是电脑提示正在准备windows请勿关闭计算机,碰到这样的问题该怎么解决呢,现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法:1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后,每次关机的时候桌面上都会显示一个“配置Windows Update的界面,提示请勿关闭计算机”,每次停留好几分钟才能正常关机,导致什么情况引起的呢?出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着,别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚,只能是考虑备份数据后重装系统了。解决来方案一:管理员运行cmd:net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?
原标题:电脑提示“配置Windows Update请勿关闭计算机”怎么办?win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢?一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了,具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面,长时间没反应,无法进入系统。这个问题原来帮其他同学也解决过,网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法,并在最后教给你1种保护系统安全的好方法,一起来看看!电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中,添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候,开启电脑发现电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机。。.这要怎么办呢?下面小编就带着大家一起看看吧!如果能够正常进入系统,建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题,就是我们的win7系统在关机的时候,总是喜欢显示“准备配置windows,请勿关机”这样的一个页面,没有什么大碍,但是如果一直等着的话就要两个小时甚至更久都关不了机,非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时,一般是您正对windows进行升级,但是这个要是长时间没有反应,我们不能再傻等下去了。可能是电脑出了别的问题了,来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况,当我们打开电脑之后,发现一直停留在一个界面:“配置Windows Update失败,还原更改请勿关闭计算机”,等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57