centos 7搭建ELK日志分析系统
一、ELK的组成
ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成,其官方网站为https://www.elastic.co/cn
Elasticsearch:是个开源分布实时分析搜索引擎,建立在全文搜索引擎库Apache Lucens基础上,同时隐藏了Apache Luces的复杂性。Elasticsearch将所有的功能打包成一个独立的服务,并提供了一个简单的RESTful API接口,它具有分布式、零配置、自动发现、索引自动分片、索引副本机制、RESTful风格接口、多数据源、自动搜索负载等特点;
Logstash:是一个完全开源的工具,主要用于日志收集,同时可以对数据处理,并输出给Elasticsearch;
- Kibana:也是一个开源和免费的工具,Kibana可以为Logstash和Elasticsearch提供图形化的日志分析Web界面,可以汇总、分析和搜索重要数据日志;
1、ELK的工作原理如下图:
Logstash收集APPServer产生的Log,并存放到Elasticsearch群集中,而Kibana则从ES群集中查询数据生成图表,在返回给Browser。
简单来说,进行日志处理分析,一般需要经过以下几个步骤:
将日志进行集中化管理;
将日志格式化(Logstash)并输出到Elasticsearch;
对格式化后的数据进行索引和存储(Elasticsearch);
- 前端数据的展示(Kibana);
2、Elasticsearch简述
Elasticsearch是一个基于Lucene的搜索服务器,它稳定、可靠、快速,而且具有比较好的水平扩展能力、为分布式环境设计、在云计算中被广泛应用。Elasticsearch提供了一个分布式多用户能力的全文搜索引擎,基于RESTful Web接口。通过该接口,用户可以通过浏览器和Elasticsearch通信。Elasticsearch使用Java开发的,并作为Apache许可条款下的开放源码分布。Wikipedia、Stack、Overflow、GitHub等基于Elasticsearch来构建搜索引擎,所以具有实时搜索、稳定、可靠、快速、安装使用方便等特点。
3、Elasticsearch的基础核心概念
-
接近实时(NRT):Elasticsearch是一个搜索速度接近实时的搜索凭条,相应速度非常快,从搜索一个文档直到这个文档能够被搜索到只有一个轻微的延迟(一般情况下是1s);
-
群集(cluster):群集就是由一个或多个节点组织在一起,在所有的节点上存放用户数据,并一起提供索引和搜索功能,通过选举产生主节点,并提供跨节点的联合索引和搜索的功能。每个群集都有一个标示的名称,默认是Elasticsearch,每个节点是居于群集名字加入到其群集中的,一个群集可以只有一个节点,为了具备更好的容错性,通常配置多个节点,在配置群集时,建议配置为群集模式;
-
节点(node):是指一台单一的服务器,多个节点组织为一个群集,每个节点都存储数据并参与群集的索引和搜索功能。和群集一样,节点也是通过名字来标识的,默认情况下,在节点启动时会随机分配字符名,也可自定义。通过指定群集名称,节点可以加入到群集中。默认情况下,每个节点都可以加入Elasticsearch群集。如果群集中有多个节点,它们将会自动组建一个名为Elasticsearch的群集;
-
索引(Index):类似于关系型数据库的中的“库”。当索引一个文档后,就可以使用Elasticsearch搜索到该文档,也可以简单地将索引理解为存储数据的地方,可以方便地进行全文索引。在index下面包含存储数据库的类型(Type),TYPE类似于关系型数据库中的“表”,用来存放具体数据,而Type下面包含文档(Document),文档相当Yui关系型数据库的“记录”,一个文档是一个可被索引的基础信息单元;
-
分片和副本:Elasticsearch将索引分为若干部分,每个部分称为一个分片,每个分片就是一个全功能的独立的索引。分片的数量一般在索引创建前指定,且创建索引后不能更改;分片的两个最主要的原因:
-
水平分割扩展,增大存储量;
- 分布式并行跨分片操作,提高性能和吞吐量;
一个好的数据存储方案要求无论何种故障(如节点不可用)下数据都可用,并且具有较高的存储效率。为此,Elasticsearch将索引分片复制一份或多份,称为副本。副本是索引的另一个备份,用于数据冗余以及负载分担。默认情况下Elasticsearch自动对索引请求进行负载分担。
总之,索引可以将分为若干个分片。这些分片也可以被复制0次(没有复制)或多次,当有副本存在是,作为复制源的分片称为主分片,而作为复制目标的分片称为复制分片。分片和副本的数量可以在索引创建时指定。在索引创建后,可以改变副本的数量,但是不能改变分片的数量。默认情况,Elasticsearch中的每个索引被分片为5个主分片和1个副本。在两个节点的场景下,每个索引都将会有5个主分片和另外5个副本分片,每个索引总共就有10个分片。
4、Logstash介绍
Logstash有JRuby语言编写,运行在Java虚拟机(JVM)上,是一款强大的数据处理工具,可以实现数据传输、格式处理、格式化输出。Logstash具有强大的插件功能,常用于日志处理。Logstash可配置单一的代理端,与其他开源软件结合,实现不同的功能。
Logstash的理念很简单,它只做三件事:数据输入、数据加工(如过滤、改写等)以及数据输出。通过组合输入和输出,可以实现锁种需求。Logstash处理日志时,典型的部署架构图如下:
Logstash的主要组件:
Shipper:日志收集者。负责监控本地日志文件的变化,及时收集最新的日志文件内容。通常,远程代理端(agent)只需要运行这个组件即可;
Indexer:日志存储者。负责接收日志并写入到本地文件;
Broker:日志Hub。负责连接多个Shipper和Indexer;
Search and Stronage:允许对事件进行搜索和存储;
- Web Interface:基于Web的展示界面;
正是由于以上组件在Logstash架构中可独立部署,才提供了更好的群集扩展性。
Logstash使用管道方式进行日志的搜集处理和输出,优点类似Linux系统的管道命令,将前一个流程的处理结构发送到后一个流程继续处理。在Logstash中,包括了三个阶段,分别是输入(input)、处理(Filter,非必需)和输出(output),三者的关系如图:
如图中,整个流程为Input收集数据,Filter处理数据、Output输出数据。每个阶段也可以指定多种方式,如输出既可以输出到Elasticsearch中,也可以指定到stdout在控制台打印。这种插件式的组织方式,使得Logstash的扩展和定制非常方便。
5、Kibana介绍
Kibana是一个针对Elasticsearch的开源分析及可视化平台,主要设计用来和Elasticsearch一起工作,可以搜索、查看存储在Elasticsearch索引中的数据,并通过各种图表进行高级数据分析和展示。Kibana可以让数据看起来一目了然。它的操作十分简单,基于浏览器的用户界面可以让用户在任何位置都可以实时浏览。Kibana可以快速创建仪表板实时显示查询动态。Kibana使用非常简单,只需添加索引就可以检测Elasticsearch索引数据。
1)Kibana的主要功能
Elasticsearch无缝之集成:Kibana架构是为了Elasticsearch定制的,可以将任何(结构化和非结构化)数据加入Elasticsearch索引。Kibana还充分李永乐Elasticsearch强大的搜索和分析功能;
整合数据:Kibana可以让海量数量变得更容易理解,根据数据内容可以创建形象的柱形图、折线图、散点图、直方图、饼图和地图等,以便用户查看;
复杂数据分析:Kibana提升了Elasticsearch的分析能力,能够更加智能地分析数据,执行数据转换并且根据要求对数据切割分块;
让更多团队成员受益:强大的数据库可视化接口让各业务岗位都能够从数据集合受益;
接口灵活,分享更容易:使用Kibana可以更加方便地创建、保存、分享数据,并将可视化数据快速交流;
配置简单:Kibana的配置和启用非常简单,用户体验非常友好。Kibana自带Web服务器,可以快速启动运行;
- 可视化多数据源:Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats多第三方技术的数据整合到Elasticsearch,支持的第三方技术包括Apache、Flume、Fluentd等;
简单数据导出:Kibana可以方便地导出感兴趣的数据,与其他数据集合并融合后快速建模分析,发现新结果;
二、搭建ELK平台
案例环境如下:
准备安装环境:
准备三台服务器,分别根据上述环境表配置网络参数,我这里是192.168.100.10-30。其次关闭防火墙和Selinux。其中Centos01和Centos02节点分配4GB(>2GB)内存,Apache节点分配1GB内存。此案例自行连接广域网。
本案例实现功能如下:
- 配置ELK日志分析群集;
- 使用Logsttash收集日志;
- 使用Kibana查看分析日志;
本案例用到的所有程序包请访问:https://pan.baidu.com/s/1OK49eAIwbvwIV5swe0-8-w
提取码:yiad
1、centos01基础环境配置
[root@localhost ~]# hostnamectl set-hostname centos01
[root@localhost ~]# bash
[root@centos01 ~]#
[root@centos01 ~]# vim /etc/hosts
192.168.100.10 centos01
192.168.100.20 centos02
[root@centos01 ~]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
[root@centos01 ~]# vim /etc/sysconfig/selinux
SELINUX=disabled
[root@centos01 ~]# systemctl stop firewalld
[root@centos01 ~]# reboot
2、centos02基础环境配置
[root@localhost ~]# hostnamectl set-hostname centos02
[root@localhost ~]# bash
[root@centos02 ~]#
[root@centos02 ~]# vim /etc/hosts
192.168.100.10 centos01
192.168.100.20 centos02
[root@centos02 ~]# java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
[root@centos02 ~]# vim /etc/sysconfig/selinux
SELINUX=disabled
[root@centos02 ~]# systemctl stop firewalld
[root@centos02 ~]# reboot
3、centos01安装Elasticsearch软件
[root@centos01 ~]# ls <!--通过rz命令上传elasticsearch包-->
anaconda-ks.cfg elasticsearch-5.6.16.rpm initial-setup-ks.cfg
[root@centos01 ~]# yum -y install elasticsearch-5.6.16.rpm <!--安装elasticsearch程序-->
[root@centos01 ~]# vim /etc/elasticsearch/elasticsearch.yml <!--修改elasticsearch配置文件-->
cluster.name: ELK <!--定义群集名称-->
node.name: centos01 <!--定义节点名称-->
network.host: 192.168.100.10 <!--提供服务绑定的IP地址-->
http.port: 9200 <!--服务监听端口为9200-->
discovery.zen.ping.unicast.hosts: ["centos01", "centos02"] <!--群集发现通过单播的方式-->
[root@centos01 ~]# systemctl daemon-reload <!--配置以守护进程方式运行elasticsearch-->
[root@centos01 ~]# /etc/init.d/elasticsearch start <!--启动elasticsearch服务-->
[root@centos01 ~]# systemctl start elasticsearch <!--启动elasticsearch服务-->
[root@centos01 ~]# systemctl enable elasticsearch <!--设置开机自动启动-->
[root@centos01 ~]# netstat -anptu | grep 9200 <!--监听elasticsearch服务是否启动成功(需要耐心等待几秒才可以监听到)-->
tcp6 0 0 192.168.100.10:9200 :::* LISTEN 1557/java
4、centos02安装Elasticsearch软件
[root@centos02 ~]# ls <!--通过rz命令上传elasticsearch包-->
anaconda-ks.cfg elasticsearch-5.6.16.rpm initial-setup-ks.cfg
[root@centos02 ~]# yum -y install elasticsearch-5.6.16.rpm <!--安装elasticsearch程序-->
[root@centos02 ~]# vim /etc/elasticsearch/elasticsearch.yml <!--修改elasticsearch配置文件-->
cluster.name: ELK <!--定义群集名称-->
node.name: centos02 <!--定义节点名称-->
network.host: 192.168.100.20 <!--提供服务绑定的IP地址-->
http.port: 9200 <!--服务监听端口为9200-->
discovery.zen.ping.unicast.hosts: ["centos01", "centos02"] <!--群集发现通过单播的方式-->
[root@centos02 ~]# systemctl daemon-reload <!--配置以守护进程方式运行elasticsearch-->
[root@centos02 ~]# /etc/init.d/elasticsearch start <!--启动elasticsearch服务-->
[root@centos02 ~]# systemctl start elasticsearch <!--启动elasticsearch服务-->
[root@centos02 ~]# systemctl enable elasticsearch <!--设置开机自动启动-->
[root@centos02 ~]# netstat -anptu | grep 9200 <!--监听elasticsearch服务是否启动成功(需要耐心等待几秒才可以监听到)-->
tcp6 0 0 192.168.100.20:9200 :::* LISTEN 1557/java
5、通过客户端访问两个节点
配置客户端IP地址通过浏览器访问centos01
配置客户端IP地址通过浏览器访问centos02
6、安装elasticsearch-head图形化管理ELK工具
1)centos01节点
<!--上传node压缩包,解压缩安装到/usr/local/中 -->
[root@centos01 ~]# ls
anaconda-ks.cfg elasticsearch-5.6.16.rpm initial-setup-ks.cfg node-v4.2.2-linux-x64.tar.gz
[root@centos01 ~]# tar zxvf node-v4.2.2-linux-x64.tar.gz -C /usr/local/ <!---->
[root@centos01 local]# mv node-v4.2.2-linux-x64/ node <!--修改名字为node-->
[root@centos01 local]# ln -s /usr/local/node/bin/npm /usr/local/bin/npm<!--连接管理命令-->
[root@centos01 local]# ln -s /usr/local/node/bin/node /usr/local/bin/node<!--连接管理命令-->
[root@centos01 ~]# vim /etc/profile <!--配置环境变量加载node-->
export NODE_HOME=/usr/local/node
export PATH=$PATH:$NODE_HOME/bin
export BODE_PATH=$NODE_HOME/lib/node_modules/
[root@centos01 ~]# source /etc/profile <!--刷新环境变量-->
[root@centos01 ~]# vim /etc/elasticsearch/elasticsearch.yml <!--修改elasticsearch连接elasticsearch-head-->
http.cors.enabled: true
http.cors.allow-origin: "*" <!--接下来安装elasticsearch-head-->[root@centos01 ~]# git clone git://github.com/mobz/elasticsearch-head.git <!--配置安装源-->
[root@centos01 ~]# ls
anaconda-ks.cfg elasticsearch-5.6.16.rpm elasticsearch-head initial-setup-ks.cfg node-v4.2.2-linux-x64.tar.gz
[root@centos01 ~]# mv elasticsearch-head /usr/local/<!--修改elasticsearch-head安装位置-->
[root@centos01 ~]# cd /usr/local/elasticsearch-head/
[root@centos01 elasticsearch-head]# npm install -g grunt-cli <!--安装grunt-cli程序-->
[root@centos01 elasticsearch-head]# grunt -version <!--检查grunt是否安装成功-->
grunt-cli v1.3.2
[root@centos01 ~]# vim /usr/local/elasticsearch-head/Gruntfile.js <!--修改elasticsearch-head的Gruntfile.js配置文件-->
99 keepalive: true,
100 hostname: "*
[root@centos01 ~]# vim /usr/local/elasticsearch-head/_site/app.js <!--修改elasticsearch-head的app.js配置文件-->
4374 this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri")
|| "http://192.168.100.10:9200"; <!--将http后面的localhost改为此服务器IP地址-->
<!--接下来开始安装npm-->
[root@centos01 ~]# cd /usr/local/elasticsearch-head/ <!---->
[root@centos01 elasticsearch-head]# npm install <!--安装npm -->
[root@centos01 elasticsearch-head]# grunt server&<!--启动grunt服务,将服务运行在后台-->
[root@centos01 ~]# /etc/init.d/elasticsearch restart <!--重启elasticsearch服务-->
[root@centos01 ~]# netstat -anptu | grep 9200 <!--监听elasticsearch服务是否启动-->
tcp6 0 0 192.168.100.10:9200 :::* LISTEN 1557/java
[root@centos01 ~]# netstat -anptu | grep 9100 <!--监听grunt服务是否启动-->
tcp6 0 0 :::9100 :::* LISTEN 3400/grunt
centos02节点和centos01节点配置相同,就是改一下IP地址即可,参考centos01节点自行配置即可。
现在就可以通过浏览器访问http://192.168.100.10:9100 去查看群集信息了
7、安装logstash
<!--上传logstash压缩包到服务器 -->
[root@centos01 ~]# ls
anaconda-ks.cfg elasticsearch-5.6.16.rpm initial-setup-ks.cfg logstash-5.5.1.rpm node-v4.2.2-linux-x64.tar.gz
[root@centos01 ~]# rpm -ivh logstash-5.5.1.rpm <!--安装logstash-->
[root@centos01 ~]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/<!--优化安装命令-->
[root@centos01 ~]# mkdir -p /usr/share/logstash/config <!--创建存储数据目录-->
[root@centos01 ~]# ln -s /etc/logstash/* /usr/share/logstash/config/<!--配置存储数据目录-->
[root@centos01 ~]# systemctl start logstash <!--启动logstash服务-->
[root@centos01 ~]# systemctl enable logstash <!--设置开机自动启动-->
[root@centos01 ~]# logstash -e 'input { stdin {} } output { stdout {} }' <!--写入测试数据,测试日志服务器-->
The stdin plugin is now waiting for input:
www.baidu.com <!--自行输入,完成后强制退出-->
2019-12-19T07:44:26.487Z centos01 www.baidu.com[root@centos01 ~]# logstash -e 'input { stdin {} } output { stdout { codec=> rubydebug } }'
<!--写入测试数据,测试日志服务器-->
The stdin plugin is now waiting for input:
www.baidu.com <!--自行输入,完成后强制退出-->
{"@timestamp" => 2019-12-19T07:48:34.006Z,"@version" => "1","host" => "centos01","message" => "www.baidu.com"
}[root@centos01 ~]# logstash -e 'input { stdin {} } output { elasticsearch { hosts =>
["192.168.100.10:9200"] } }' <!--写入测试数据,测试日志服务器-->
The stdin plugin is now waiting for input:
www.baidu.com <!--自行输入,完成后强制退出-->
centos02和centos01是相同配置,请自行配置。
接下来通过客户端浏览器访问9100查看日志
8、安装kibana
<!--上传kibana-5.5.1-x86_64.rpm包到服务器-->
[root@centos01 ~]# ls
anaconda-ks.cfg initial-setup-ks.cfg logstash-5.5.1.rpm
elasticsearch-5.6.16.rpm kibana-5.5.1-x86_64.rpm node-v4.2.2-linux-x64.tar.gz
[root@centos01 ~]# rpm -ivh kibana-5.5.1-x86_64.rpm <!--安装kibana-->
[root@centos01 ~]# vim /etc/kibana/kibana.yml <!--修改kibana主配置文件-->
server.port: 5601 <!--服务监听的端口号-->
server.host: "0.0.0.0" <!--允许所有网段-->
elasticsearch.url: "http://192.168.100.10:9200" <!--连接elasticsearch的url-->
[root@centos01 ~]# systemctl start kibana <!--启动kibana服务-->
[root@centos01 ~]# systemctl enable kibana <!--设置开机自动启动-->
centos02和上面相同配置,将连接elasticsearch的url的IP地址改为centos02的IP地址即可,自行配置。
现在可以通过客户端浏览器访问5601端口
9、配置监控网站服务器
[root@centos03 ~]# yum -y install httpd <!--安装httpd-->
[root@centos03 ~]# systemctl start httpd <!--启动服务-->
[root@centos03 ~]# systemctl enable httpd <!--设置开机自动启动--><!--上传logstash到网站服务器,安装logstash-->[root@centos03 ~]# ls
anaconda-ks.cfg initial-setup-ks.cfg logstash-5.5.1.rpm
[root@centos03 ~]# rpm -ivh logstash-5.5.1.rpm <!--安装logstash-->
[root@centos03 ~]# vim /etc/logstash/conf.d/apache_error.conf <!--配置监控网站的错误日志-->
input {file {path => "/var/log/httpd/error_log"type => "error"start_position => "beginning"}
}
output {if [type] == "error" {elasticsearch {hosts => ["192.168.100.10:9200"]index => "apache_error-%{+YYYY.MM.dd}"}}
}
[root@centos03 ~]# systemctl start logstash.service <!--启动logstash服务-->
[root@centos03 ~]# systemctl enable logstash.service <!--设置开机自动启动-->
[root@centos03 ~]# /usr/share/logstash/bin/logstash -f
/etc/logstash/conf.d/apache_error.conf <!--启动监控网站服务器-->
1)现在可以通过浏览器访问验证是否监控成功
2)查看监控网站服务器的日志
3)重启网站服务器和监控服务;浏览器再次查看监控网站服务器的日志
自行在kibana服务器添加索引。
—————— 本文至此结束,感谢阅读 ——————
如若内容造成侵权/违法违规/事实不符,请联系编程学习网邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
相关文章
- redis架构详解
一、redis特性1.redis 是什么?redis是基于内存的可持久化的key-value数据库2.redis数据结构类型?value支持五种数据类型,字符串、字符串列表、字符串集合、有序集合、hashs3.redis持久存储方式redis两种持久化方式,RDB,和AOFRDB: 将某一时刻的数据持久化到磁盘上,是一种快照…...
2024/5/2 8:15:35 - MFS分布式文件系统(实例!!!)
MFS分布式文件系统 mfs工作原理 分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹,集合到一个共享文件夹内,用户要访问这些文件夹的时候,只要打开一个文件夹,就可以的看到所有链接到此文件夹内的共享文件夹。 MFS原理 MFS是一个具有容错性的网络分布式文…...
2024/4/24 8:22:37 - rsync远程同步(定期同步、实时同步)
关于rsync . 一款快速增量备份工具1.Remote Sync,远程同步2.支持本地复制,或者与其他SSH、rsync主机同步3.官方网站: http://rsync.samba.org 配置rsync源服务器 rsync同步源:指备份操作的远程服务器,也称为备份源 配置rsync源 基本思路:1.建立rsyncd.conf配置文件、独立的…...
2024/4/24 8:22:35 - 云服务器如何快速搭建网站环境?
以前买了服务器要想搭建好网站运行环境那是有一定难度的,要装iis、php、数据库、各种组件。没点专业技术还真没辙。 不过时代在进步,现在可好了。购买服务器后只需要装一个纯净版的服务器系统,安装安装一个宝塔。几分钟就能配置好专业的网站环境。各种网站所需的套件都可以轻…...
2024/4/24 8:22:35 - 知识点回顾
1、系统目录结构阶段回顾1)操作系统挂载概念什么是挂载:给存储的设备文件创建一个挂载点,将输入存储在挂载点中实现挂载方法:mount/存储设备文件(本地设备、网络存储设备NFS) /挂载点目录实际操作演示:实现光驱挂载系统加载光驱设备可以进行挂载操作mount /dev/cdro…...
2024/4/23 10:49:20 - 系统基础符号介绍
1、系统基础符号介绍1)基础符号系列美元符号$ 用于去除变量中的内容 用于取出指定列的内容(awk)awk ‘print $2’ 文件 查看文件第二列信息表示用户命令提示符号超级用户#普通用户 $表示一行的结尾 叹号符号:!用于表示去翻或者排除意思 命令中表示取出最近命令!awk(慎…...
2024/5/2 13:01:03 - 正则符号基础介绍
1、课程知识概述部分1)系统正则符号基础正则扩展正则2、课程知识回顾说明1)文件属性部分indoe block 概念理解 特点作用 诞生过程 查看过程软连接 硬链接 概念理解 特点作用 诞生过程 查看过程 根据inode号码查找硬链接文件2)系统符号信息基础符号: # $ ! | “” ‘…...
2024/4/19 16:06:53 - sed基础介绍
1、课程知识概述部分1)三剑客sed命令概述介绍2)三剑客sed命令执行原理 命令的基本语法 3)三剑客sed命令实操练习 增(添加信息)删 改(修改) 查(查找)4)编写脚本:系统基础优化脚本编写脚本--放在系统中--执行脚本--全部优化(省事) 2、课程知识回顾1)基础正则…...
2024/4/16 15:43:05 - 三剑客 awk
1、课程知识概述部分1)三剑客awk命令概述介绍2)三剑客awk命令执行原理 语法结构3)三剑客awk命令的实操练习 查询东西替换信息排除(取反)4)三剑客awk命令高级功能 【数组】统计分析数据信息 求和运算 / 累加运算(有一个算一个)2、课程知识回顾说明1)sed命令语法格式…...
2024/4/24 8:22:40 - 【我的Linux,我做主!】通配符和正则表达式深层解析
目录:(一)了解通配符和正则的作用(二)通配符的使用(三)正则表达式的使用(四)扩展正则表达式的使用(一)了解通配符和正则的作用(1.1)在我们日常的工作中,我们都会使用到通配符或者正则表达式。通配符是一种特殊语句,主要有星号(*)和问号(?),用来模糊搜索文件…...
2024/4/24 8:22:32 - es数据的冷热分离实验
注意:演示用的2节点es,有些参数配置不太合理,生产环境还需要更严格的参数设定(例如必须开启密码验证)。系统版本:CentOS7节点规划:热数据节点: 192.168.2.4温数据节点: 192.168.2.190PS:这里就没分 hot warm cold 这种三级存储,我们一般使用 hot warm 2种即可。我们…...
2024/4/24 8:22:31 - 【讲清楚,说明白!】计划任务crontab及企业实战应用
目录:(一)at计划任务(二)crontab计划任务(三)清理临时文件经验丰富的系统运维工程师可以使得Linux系统在无需人工介入的情况下,在指定的时间段自动启动或停止某些服务或命令,从而实现运维的自动化。尽管我们现在已经有了功能强大的脚本程序来执行一些批处理工作,但是…...
2024/4/24 8:22:35 - NFS——网站架构后台仓库的搭建
1.nfs共享存储1.1存储服务的作用将数据进行统一共享存储,节省磁盘存储空间1.2.存储服务部署过程1.2.1.服务端部署第一个历程:安装软件程序Yum install -y nfs-utils第二个历程:编写配置文件Vim /etc/exports/data/www 172.16.1.0/24(rw,sync)/data/bbs 172.16.1…...
2024/4/24 8:22:36 - 【讲清楚,说明白!】巧用iftop找出是谁占用了带宽
目录:(一)iftop流量监控工具(二)安装iftop(三)运行iftop(四)iftop命令的相关参数(一)iftop流量监控工具(1.1)在类Unix系统中可以使用top查看系统资源、进程、内存占用等信息。查看网络状态可以使用netstat、nmap等工具。若要查看实时的网络流量,监控TCP/IP连接等,…...
2024/4/24 8:22:28 - Zabbix3.4安装详细步骤
zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix 由2部分构成,zabbix server 与可选组件zabbix agent。zabbix server 可以通过SNMP,zabbix agent ,ping,端口监视等方法提供对远程服务器/网络状态的监视,数据收集等功能,它可…...
2024/4/24 8:22:30 - 【讲清楚,说明白!】磁盘管理
目录:(一)硬盘结构介绍(二)如何对分区进行管理(三)对文件系统的管理(四)管理swap(一)硬盘结构介绍(1.1)我们的硬盘拆开后是由盘片构成的,我们发现每个盘片上都会有一层层的圆圈,两个圆圈中间的部分我们称之为磁道,每一个盘片都会被分成一块一块的,每一块我们称之…...
2024/4/24 8:22:26 - 系统基本符号和正则符号介绍
一、系统基本符号($,!,|,#, , " ", ,>, >> ,2>, 2>>,<,<<,., ..,&& ,||,;) 1.美元符号:$ a、用于取出变量中的内容b、用于取出指定列的信息(awk)c、表示用户命令提示符号(普通用户为$)d、表示一行的结尾 2.感叹号符…...
2024/5/2 15:06:39 - 基础备忘
linux下ftp命令的使用1、https://jingyan.baidu.com/article/c910274b81e644cd371d2d7d.html2、https://blog.csdn.net/u010247166/article/details/86617495...
2024/4/24 8:22:25 - 单台Linux服务器实现Redis群集
一、Redis简介 Redis是目前大规模使用的缓存中间件,由于它强大、高效、便捷的功能,得到了广泛的使用。 Redis在2015年发布了3.0.0,官方就已经支持了redis cluster。redis cluster在设计的时候,就考虑到了去中心化、去中间件。也就是说,集群中的每个节点都是平等的关系,每…...
2024/4/24 8:22:23 - 部署ruby环境遇到的坑
前言: 一年多前业务使用到redis-cluster集群,然而当时部署时,redis-cluster集群采用的是ruby 语言开发的脚本redis-trib.rb 来进行管理集群的。所以当时给服务器安装了ruby环境。最近项目再一次使用到了redis-cluster集群,所以没多想,直接照着当时的文档记录直接开干,居然…...
2024/4/30 0:27:06
最新文章
- 《Redis使用手册之HyperLog与地理坐标应用》
《Redis使用手册之HyperLog与地理坐标》 目录 **《Redis使用手册之HyperLog与地理坐标》****PFADD:对集合元素进行计数****PFCOUNT:返回集合的近似基数****PFMERGE:计算多个HyperLogLog的并集****GEOADD:存储坐标****GEOPOS&#…...
2024/5/2 15:44:55 - 梯度消失和梯度爆炸的一些处理方法
在这里是记录一下梯度消失或梯度爆炸的一些处理技巧。全当学习总结了如有错误还请留言,在此感激不尽。 权重和梯度的更新公式如下: w w − η ⋅ ∇ w w w - \eta \cdot \nabla w ww−η⋅∇w 个人通俗的理解梯度消失就是网络模型在反向求导的时候出…...
2024/3/20 10:50:27 - MQ的作用及分类
概念: MQ(message queue),从字面意思上看,本质是个队列,FIFO先入先出,只不过队列中存放的内容是message而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ是一…...
2024/5/2 2:32:59 - 流域生态系统水-碳-氮耦合过程模拟
流域是一个相对独立的自然地理单元,它是以水系为纽带,将系统内各自然地理要素连结成一个不可分割的整体。碳和氮是陆地生态系统中最重要的两种化学元素,而在流域系统内,水-碳-氮是相互联动、不可分割的耦合体。随着流域内人类活动…...
2024/5/1 13:35:58 - 【外汇早评】美通胀数据走低,美元调整
原标题:【外汇早评】美通胀数据走低,美元调整昨日美国方面公布了新一期的核心PCE物价指数数据,同比增长1.6%,低于前值和预期值的1.7%,距离美联储的通胀目标2%继续走低,通胀压力较低,且此前美国一季度GDP初值中的消费部分下滑明显,因此市场对美联储后续更可能降息的政策…...
2024/5/1 17:30:59 - 【原油贵金属周评】原油多头拥挤,价格调整
原标题:【原油贵金属周评】原油多头拥挤,价格调整本周国际劳动节,我们喜迎四天假期,但是整个金融市场确实流动性充沛,大事频发,各个商品波动剧烈。美国方面,在本周四凌晨公布5月份的利率决议和新闻发布会,维持联邦基金利率在2.25%-2.50%不变,符合市场预期。同时美联储…...
2024/4/30 18:14:14 - 【外汇周评】靓丽非农不及疲软通胀影响
原标题:【外汇周评】靓丽非农不及疲软通胀影响在刚结束的周五,美国方面公布了新一期的非农就业数据,大幅好于前值和预期,新增就业重新回到20万以上。具体数据: 美国4月非农就业人口变动 26.3万人,预期 19万人,前值 19.6万人。 美国4月失业率 3.6%,预期 3.8%,前值 3…...
2024/4/29 2:29:43 - 【原油贵金属早评】库存继续增加,油价收跌
原标题:【原油贵金属早评】库存继续增加,油价收跌周三清晨公布美国当周API原油库存数据,上周原油库存增加281万桶至4.692亿桶,增幅超过预期的74.4万桶。且有消息人士称,沙特阿美据悉将于6月向亚洲炼油厂额外出售更多原油,印度炼油商预计将每日获得至多20万桶的额外原油供…...
2024/5/2 9:28:15 - 【外汇早评】日本央行会议纪要不改日元强势
原标题:【外汇早评】日本央行会议纪要不改日元强势近两日日元大幅走强与近期市场风险情绪上升,避险资金回流日元有关,也与前一段时间的美日贸易谈判给日本缓冲期,日本方面对汇率问题也避免继续贬值有关。虽然今日早间日本央行公布的利率会议纪要仍然是支持宽松政策,但这符…...
2024/4/27 17:58:04 - 【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响
原标题:【原油贵金属早评】欧佩克稳定市场,填补伊朗问题的影响近日伊朗局势升温,导致市场担忧影响原油供给,油价试图反弹。此时OPEC表态稳定市场。据消息人士透露,沙特6月石油出口料将低于700万桶/日,沙特已经收到石油消费国提出的6月份扩大出口的“适度要求”,沙特将满…...
2024/4/27 14:22:49 - 【外汇早评】美欲与伊朗重谈协议
原标题:【外汇早评】美欲与伊朗重谈协议美国对伊朗的制裁遭到伊朗的抗议,昨日伊朗方面提出将部分退出伊核协议。而此行为又遭到欧洲方面对伊朗的谴责和警告,伊朗外长昨日回应称,欧洲国家履行它们的义务,伊核协议就能保证存续。据传闻伊朗的导弹已经对准了以色列和美国的航…...
2024/4/28 1:28:33 - 【原油贵金属早评】波动率飙升,市场情绪动荡
原标题:【原油贵金属早评】波动率飙升,市场情绪动荡因中美贸易谈判不安情绪影响,金融市场各资产品种出现明显的波动。随着美国与中方开启第十一轮谈判之际,美国按照既定计划向中国2000亿商品征收25%的关税,市场情绪有所平复,已经开始接受这一事实。虽然波动率-恐慌指数VI…...
2024/4/30 9:43:09 - 【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试
原标题:【原油贵金属周评】伊朗局势升温,黄金多头跃跃欲试美国和伊朗的局势继续升温,市场风险情绪上升,避险黄金有向上突破阻力的迹象。原油方面稍显平稳,近期美国和OPEC加大供给及市场需求回落的影响,伊朗局势并未推升油价走强。近期中美贸易谈判摩擦再度升级,美国对中…...
2024/4/27 17:59:30 - 【原油贵金属早评】市场情绪继续恶化,黄金上破
原标题:【原油贵金属早评】市场情绪继续恶化,黄金上破周初中国针对于美国加征关税的进行的反制措施引发市场情绪的大幅波动,人民币汇率出现大幅的贬值动能,金融市场受到非常明显的冲击。尤其是波动率起来之后,对于股市的表现尤其不安。隔夜美国股市出现明显的下行走势,这…...
2024/5/2 15:04:34 - 【外汇早评】美伊僵持,风险情绪继续升温
原标题:【外汇早评】美伊僵持,风险情绪继续升温昨日沙特两艘油轮再次发生爆炸事件,导致波斯湾局势进一步恶化,市场担忧美伊可能会出现摩擦生火,避险品种获得支撑,黄金和日元大幅走强。美指受中美贸易问题影响而在低位震荡。继5月12日,四艘商船在阿联酋领海附近的阿曼湾、…...
2024/4/28 1:34:08 - 【原油贵金属早评】贸易冲突导致需求低迷,油价弱势
原标题:【原油贵金属早评】贸易冲突导致需求低迷,油价弱势近日虽然伊朗局势升温,中东地区几起油船被袭击事件影响,但油价并未走高,而是出于调整结构中。由于市场预期局势失控的可能性较低,而中美贸易问题导致的全球经济衰退风险更大,需求会持续低迷,因此油价调整压力较…...
2024/4/26 19:03:37 - 氧生福地 玩美北湖(上)——为时光守候两千年
原标题:氧生福地 玩美北湖(上)——为时光守候两千年一次说走就走的旅行,只有一张高铁票的距离~ 所以,湖南郴州,我来了~ 从广州南站出发,一个半小时就到达郴州西站了。在动车上,同时改票的南风兄和我居然被分到了一个车厢,所以一路非常愉快地聊了过来。 挺好,最起…...
2024/4/29 20:46:55 - 氧生福地 玩美北湖(中)——永春梯田里的美与鲜
原标题:氧生福地 玩美北湖(中)——永春梯田里的美与鲜一觉醒来,因为大家太爱“美”照,在柳毅山庄去寻找龙女而错过了早餐时间。近十点,向导坏坏还是带着饥肠辘辘的我们去吃郴州最富有盛名的“鱼头粉”。说这是“十二分推荐”,到郴州必吃的美食之一。 哇塞!那个味美香甜…...
2024/4/30 22:21:04 - 氧生福地 玩美北湖(下)——奔跑吧骚年!
原标题:氧生福地 玩美北湖(下)——奔跑吧骚年!让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 让我们红尘做伴 活得潇潇洒洒 策马奔腾共享人世繁华 对酒当歌唱出心中喜悦 轰轰烈烈把握青春年华 啊……啊……啊 两…...
2024/5/1 4:32:01 - 扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!
原标题:扒开伪装医用面膜,翻六倍价格宰客,小姐姐注意了!扒开伪装医用面膜,翻六倍价格宰客!当行业里的某一品项火爆了,就会有很多商家蹭热度,装逼忽悠,最近火爆朋友圈的医用面膜,被沾上了污点,到底怎么回事呢? “比普通面膜安全、效果好!痘痘、痘印、敏感肌都能用…...
2024/4/27 23:24:42 - 「发现」铁皮石斛仙草之神奇功效用于医用面膜
原标题:「发现」铁皮石斛仙草之神奇功效用于医用面膜丽彦妆铁皮石斛医用面膜|石斛多糖无菌修护补水贴19大优势: 1、铁皮石斛:自唐宋以来,一直被列为皇室贡品,铁皮石斛生于海拔1600米的悬崖峭壁之上,繁殖力差,产量极低,所以古代仅供皇室、贵族享用 2、铁皮石斛自古民间…...
2024/4/28 5:48:52 - 丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者
原标题:丽彦妆\医用面膜\冷敷贴轻奢医学护肤引导者【公司简介】 广州华彬企业隶属香港华彬集团有限公司,专注美业21年,其旗下品牌: 「圣茵美」私密荷尔蒙抗衰,产后修复 「圣仪轩」私密荷尔蒙抗衰,产后修复 「花茵莳」私密荷尔蒙抗衰,产后修复 「丽彦妆」专注医学护…...
2024/4/30 9:42:22 - 广州械字号面膜生产厂家OEM/ODM4项须知!
原标题:广州械字号面膜生产厂家OEM/ODM4项须知!广州械字号面膜生产厂家OEM/ODM流程及注意事项解读: 械字号医用面膜,其实在我国并没有严格的定义,通常我们说的医美面膜指的应该是一种「医用敷料」,也就是说,医用面膜其实算作「医疗器械」的一种,又称「医用冷敷贴」。 …...
2024/5/2 9:07:46 - 械字号医用眼膜缓解用眼过度到底有无作用?
原标题:械字号医用眼膜缓解用眼过度到底有无作用?医用眼膜/械字号眼膜/医用冷敷眼贴 凝胶层为亲水高分子材料,含70%以上的水分。体表皮肤温度传导到本产品的凝胶层,热量被凝胶内水分子吸收,通过水分的蒸发带走大量的热量,可迅速地降低体表皮肤局部温度,减轻局部皮肤的灼…...
2024/4/30 9:42:49 - 配置失败还原请勿关闭计算机,电脑开机屏幕上面显示,配置失败还原更改 请勿关闭计算机 开不了机 这个问题怎么办...
解析如下:1、长按电脑电源键直至关机,然后再按一次电源健重启电脑,按F8健进入安全模式2、安全模式下进入Windows系统桌面后,按住“winR”打开运行窗口,输入“services.msc”打开服务设置3、在服务界面,选中…...
2022/11/19 21:17:18 - 错误使用 reshape要执行 RESHAPE,请勿更改元素数目。
%读入6幅图像(每一幅图像的大小是564*564) f1 imread(WashingtonDC_Band1_564.tif); subplot(3,2,1),imshow(f1); f2 imread(WashingtonDC_Band2_564.tif); subplot(3,2,2),imshow(f2); f3 imread(WashingtonDC_Band3_564.tif); subplot(3,2,3),imsho…...
2022/11/19 21:17:16 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机...
win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”问题的解决方法在win7系统关机时如果有升级系统的或者其他需要会直接进入一个 等待界面,在等待界面中我们需要等待操作结束才能关机,虽然这比较麻烦,但是对系统进行配置和升级…...
2022/11/19 21:17:15 - 台式电脑显示配置100%请勿关闭计算机,“准备配置windows 请勿关闭计算机”的解决方法...
有不少用户在重装Win7系统或更新系统后会遇到“准备配置windows,请勿关闭计算机”的提示,要过很久才能进入系统,有的用户甚至几个小时也无法进入,下面就教大家这个问题的解决方法。第一种方法:我们首先在左下角的“开始…...
2022/11/19 21:17:14 - win7 正在配置 请勿关闭计算机,怎么办Win7开机显示正在配置Windows Update请勿关机...
置信有很多用户都跟小编一样遇到过这样的问题,电脑时发现开机屏幕显现“正在配置Windows Update,请勿关机”(如下图所示),而且还需求等大约5分钟才干进入系统。这是怎样回事呢?一切都是正常操作的,为什么开时机呈现“正…...
2022/11/19 21:17:13 - 准备配置windows 请勿关闭计算机 蓝屏,Win7开机总是出现提示“配置Windows请勿关机”...
Win7系统开机启动时总是出现“配置Windows请勿关机”的提示,没过几秒后电脑自动重启,每次开机都这样无法进入系统,此时碰到这种现象的用户就可以使用以下5种方法解决问题。方法一:开机按下F8,在出现的Windows高级启动选…...
2022/11/19 21:17:12 - 准备windows请勿关闭计算机要多久,windows10系统提示正在准备windows请勿关闭计算机怎么办...
有不少windows10系统用户反映说碰到这样一个情况,就是电脑提示正在准备windows请勿关闭计算机,碰到这样的问题该怎么解决呢,现在小编就给大家分享一下windows10系统提示正在准备windows请勿关闭计算机的具体第一种方法:1、2、依次…...
2022/11/19 21:17:11 - 配置 已完成 请勿关闭计算机,win7系统关机提示“配置Windows Update已完成30%请勿关闭计算机”的解决方法...
今天和大家分享一下win7系统重装了Win7旗舰版系统后,每次关机的时候桌面上都会显示一个“配置Windows Update的界面,提示请勿关闭计算机”,每次停留好几分钟才能正常关机,导致什么情况引起的呢?出现配置Windows Update…...
2022/11/19 21:17:10 - 电脑桌面一直是清理请关闭计算机,windows7一直卡在清理 请勿关闭计算机-win7清理请勿关机,win7配置更新35%不动...
只能是等着,别无他法。说是卡着如果你看硬盘灯应该在读写。如果从 Win 10 无法正常回滚,只能是考虑备份数据后重装系统了。解决来方案一:管理员运行cmd:net stop WuAuServcd %windir%ren SoftwareDistribution SDoldnet start WuA…...
2022/11/19 21:17:09 - 计算机配置更新不起,电脑提示“配置Windows Update请勿关闭计算机”怎么办?
原标题:电脑提示“配置Windows Update请勿关闭计算机”怎么办?win7系统中在开机与关闭的时候总是显示“配置windows update请勿关闭计算机”相信有不少朋友都曾遇到过一次两次还能忍但经常遇到就叫人感到心烦了遇到这种问题怎么办呢?一般的方…...
2022/11/19 21:17:08 - 计算机正在配置无法关机,关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机...
关机提示 windows7 正在配置windows 请勿关闭计算机 ,然后等了一晚上也没有关掉。现在电脑无法正常关机以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!关机提示 windows7 正在配…...
2022/11/19 21:17:05 - 钉钉提示请勿通过开发者调试模式_钉钉请勿通过开发者调试模式是真的吗好不好用...
钉钉请勿通过开发者调试模式是真的吗好不好用 更新时间:2020-04-20 22:24:19 浏览次数:729次 区域: 南阳 > 卧龙 列举网提醒您:为保障您的权益,请不要提前支付任何费用! 虚拟位置外设器!!轨迹模拟&虚拟位置外设神器 专业用于:钉钉,外勤365,红圈通,企业微信和…...
2022/11/19 21:17:05 - 配置失败还原请勿关闭计算机怎么办,win7系统出现“配置windows update失败 还原更改 请勿关闭计算机”,长时间没反应,无法进入系统的解决方案...
前几天班里有位学生电脑(windows 7系统)出问题了,具体表现是开机时一直停留在“配置windows update失败 还原更改 请勿关闭计算机”这个界面,长时间没反应,无法进入系统。这个问题原来帮其他同学也解决过,网上搜了不少资料&#x…...
2022/11/19 21:17:04 - 一个电脑无法关闭计算机你应该怎么办,电脑显示“清理请勿关闭计算机”怎么办?...
本文为你提供了3个有效解决电脑显示“清理请勿关闭计算机”问题的方法,并在最后教给你1种保护系统安全的好方法,一起来看看!电脑出现“清理请勿关闭计算机”在Windows 7(SP1)和Windows Server 2008 R2 SP1中,添加了1个新功能在“磁…...
2022/11/19 21:17:03 - 请勿关闭计算机还原更改要多久,电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机怎么办...
许多用户在长期不使用电脑的时候,开启电脑发现电脑显示:配置windows更新失败,正在还原更改,请勿关闭计算机。。.这要怎么办呢?下面小编就带着大家一起看看吧!如果能够正常进入系统,建议您暂时移…...
2022/11/19 21:17:02 - 还原更改请勿关闭计算机 要多久,配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以...
配置windows update失败 还原更改 请勿关闭计算机,电脑开机后一直显示以以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧!配置windows update失败 还原更改 请勿关闭计算机&#x…...
2022/11/19 21:17:01 - 电脑配置中请勿关闭计算机怎么办,准备配置windows请勿关闭计算机一直显示怎么办【图解】...
不知道大家有没有遇到过这样的一个问题,就是我们的win7系统在关机的时候,总是喜欢显示“准备配置windows,请勿关机”这样的一个页面,没有什么大碍,但是如果一直等着的话就要两个小时甚至更久都关不了机,非常…...
2022/11/19 21:17:00 - 正在准备配置请勿关闭计算机,正在准备配置windows请勿关闭计算机时间长了解决教程...
当电脑出现正在准备配置windows请勿关闭计算机时,一般是您正对windows进行升级,但是这个要是长时间没有反应,我们不能再傻等下去了。可能是电脑出了别的问题了,来看看教程的说法。正在准备配置windows请勿关闭计算机时间长了方法一…...
2022/11/19 21:16:59 - 配置失败还原请勿关闭计算机,配置Windows Update失败,还原更改请勿关闭计算机...
我们使用电脑的过程中有时会遇到这种情况,当我们打开电脑之后,发现一直停留在一个界面:“配置Windows Update失败,还原更改请勿关闭计算机”,等了许久还是无法进入系统。如果我们遇到此类问题应该如何解决呢࿰…...
2022/11/19 21:16:58 - 如何在iPhone上关闭“请勿打扰”
Apple’s “Do Not Disturb While Driving” is a potentially lifesaving iPhone feature, but it doesn’t always turn on automatically at the appropriate time. For example, you might be a passenger in a moving car, but your iPhone may think you’re the one dri…...
2022/11/19 21:16:57