39.1Elastic Stack笔记

   搜索引擎：
索引组件：获取数据-->建立文档-->文档分析-->文档索引（倒排索引）
搜索组件：用户搜索接口-->建立查询（将用户键入的信息转换为可处理的查询对象）-->搜索查询-->展现结果

索引组件：Lucene
搜索组件：Solr, ElasticSearch

Lucene Core：
Apache LuceneTM is a high-performance, full-featured text search engine library written entirely in Java. It is a technology suitable for nearly any application that requires full-text search, especially cross-platform.
Solr：
SolrTM is a high performance search server built using Lucene Core, with XML/HTTP and JSON/Python/Ruby APIs, hit highlighting, faceted search, caching, replication, and a web admin interface.
ElasticSearch：
Elasticsearch is a distributed, RESTful search and analytics engine capable of solving a growing number of use cases. As the heart of the Elastic Stack, it centrally stores your data so you can discover the expected and uncover the unexpected.

Elastic Stack：
ElasticSearch
Logstash
Logstash is an open source, server-side data processing pipeline that ingests data from a multitude of sources simultaneously, transforms it, and then sends it to your favorite “stash.” (Ours is Elasticsearch, naturally.)
Beats：
Filebeat：Log Files
Metricbeat：Metrics
Packetbeat：Network Data
Winlogbeat：Windows Event Logs
Heartbeat：Uptime Monitoring
Kibana：
Kibana lets you visualize your Elasticsearch data and navigate the Elastic Stack, so you can do anything from learning why you're getting paged at 2:00 a.m. to understanding the impact rain might have on your quarterly numbers.

TF/IDF算法：
https://zh.wikipedia.org/wiki/Tf-idf

ES的核心组件：
物理组件：
集群：
状态：green, yellow, red
节点：
Shard：

Lucene的核心组件：
索引（index）：数据库(database)
类型（type）：表(table)
文档（Document）：行(row)
映射（Mapping）：

ElasticSearch 5的程序环境：
配置文件：
/etc/elasticsearch/elasticsearch.yml
/etc/elasticsearch/jvm.options
/etc/elasticsearch/log4j2.properties
Unit File：elasticsearch.service
程序文件：
/usr/share/elasticsearch/bin/elasticsearch
/usr/share/elasticsearch/bin/elasticsearch-keystore：
/usr/share/elasticsearch/bin/elasticsearch-plugin：管理插件程序

搜索服务：
9200/tcp

集群服务：
9300/tcp

els集群的工作逻辑：
多播、单播：9300/tcp
关键因素：clustername

所有节点选举一个主节点，负责管理整个集群的状态(green/yellow/red)，以及各shards的分布方式；

插件：

集群配置：
elasticsearch.yml配置文件：
cluster.name: myels
node.name: node1
path.data: /data/els/data
path.logs: /data/els/logs
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["node1", "node2", "node3"]
discovery.zen.minimum_master_nodes: 2

RESTful API: CRUD(Create, Read, Update, Delete)
curl -X<VERB> '<PROTOCOL>://<HOST>:<PORT>/<PATH>?<QUERY_STRING>' -d '<BODY>'
<BODY>：json格式的请求主体；

<VERB>
GET，POST，PUT，DELETE

特殊PATH：/_cat, /_search, /_cluster

<PATH>
/index_name/type/Document_ID/

curl -XGET 'http://10.1.0.67:9200/_cluster/health?pretty=true'

curl -XGET 'http://10.1.0.67:9200/_cluster/stats?pretty=true'

curl -XGET 'http://10.1.0.67:9200/_cat/nodes?pretty'

curl -XGET 'http://10.1.0.67:9200/_cat/health?pretty'

创建文档：
curl -XPUT

特殊PATH：/_cat, /_search, /_cluster

文档：
{"key1": "value1", "key2": value, ...}

ELS：分布式、开源、RESTful、近乎实时
集群：一个或多个节点的集合；
节点：运行的单个els实例；
索引：切成多个独立的shard；（以Lucene的视角，每个shard即为一个独立而完整的索引）
primary shard：r/w
replica shard: r

查询：
ELS：很多API
_cluster, _cat, _search

curl -X GET '<SCHEME://<HOST>:<PORT>/[INDEX/TYPE/]_search?q=KEYWORD&sort=DOMAIN:[asc|desc]&from=#&size=#&_source=DOMAIN_LIST'

/_search：搜索所有的索引和类型；
/INDEX_NAME/_search：搜索指定的单个索引；
/INDEX1,INDEX2/_search：搜索指定的多个索引；
/s*/_search：搜索所有以s开头的索引；
/INDEX_NAME/TYPE_NAME/_search：搜索指定的单个索引的指定类型；

简单字符串的语法格式
http://lucene.apache.org/core/6_6_0/queryparser/org/apache/lucene/queryparser/classic/package-summary.html#package.description

bike, bake, age: [20,200]

查询类型：Query DSL，简单字符串；

文本匹配的查询条件：
(1) q=KEYWORD, 相当于q=_all:KEYWORD
(2) q=DOMAIN:KEYWORD

{
"name" : "Docker in Action",
"publisher" : "wrox",
"datatime" : "2015-12-01",
"author" : "Blair"
}

_all: "Docker in Action Wrox 2015-12-01 Blair"

修改默认查询域：df属性

查询修饰符：
https://www.elastic.co/guide/en/elasticsearch/reference/current/search-uri-request.html

自定义分析器：
analyzer=

默认操作符：OR/AND
default_operator, 默认值为OR

返回字段：
fields=

注：5.X不支持；

结果排序：
sort=DOMAIN:[asc|desc]

搜索超时：
timeout=

查询结果窗口：
from=，默认为0；
size=, 默认为10；

Lucene的查询语法：
q=
KEYWORD
DOMAIN:KEYWORD

+DOMAIN:KEYWORD -DOMAIN:KEYWORD

els支持从多类型的查询：
Full text queries

安装elasticsearch-head插件：
5.X：
(1) 设置elasticsearch.yml配置文件：
http.cors.enabled: true
http.cors.allow-origin: "*"

(2) 安装head：
$ git clone https://github.com/mobz/elasticsearch-head.git
$ cd elasticsearch-head
$ npm install
$ npm run start

$ npm run proxy

ELK：
E: elasticsearch
L: logstash，日志收集工具；
ELK Beats Platform：
PacketBeat：网络报文分析工具，统计收集报文信息；
Filebeat：是logstash forwarder的替换者，因此是一个日志收集工具；
Topbeat：用来收集系统基础数据，如cpu、内存、io等相关的统计信息；
Winlogbeat
Metricbeat
用户自定义beat：

前提：模拟互联网访问的请求命令：

while true; do curl -H "X-Forwarded-For:$[$RANDOM%223+1].$[$RANDOM%255].1.1" http://172.18.0.70/test$[$RANDOM%25+1].html; sleep 1; done

Logstash配置：

input {
...
}

filter{
...
}

output {
...
}

简单示例配置：

input {
stdin {}
}

output {
stdout {
codec => rubydebug
}
}

示例2：从文件输入数据，经grok过滤器插件过滤之后输出至标准输出：
input {
file {
path => ["/var/log/httpd/access_log"]
start_position => "beginning"
}
}

filter {
grok {
match => {
"message" => "%{COMBINEDAPACHELOG}"
}
remove_field: "message"
}
}

output {
stdout {
codec => rubydebug
}
}

示例3：date filter插件示例：
filter {
grok {
match => {
"message" => "%{HTTPD_COMBINEDLOG}"
}
remove_field => "message"
}
date {
match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
remove_field => "timestamp"
}

}

插件：mutate
The mutate filter allows you to perform general mutations on fields. You can rename, remove, replace, and modify fields in your events.

示例4：mutate filter插件
filter {
grok {
match => {
"message" => "%{HTTPD_COMBINEDLOG}"
}
}
date {
match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
}
mutate {
rename => {
"agent" => "user_agent"
}
}
}

示例5：geoip插件

filter {
grok {
match => {
"message" => "%{HTTPD_COMBINEDLOG}"
}
}
date {
match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
}
mutate {
rename => {
"agent" => "user_agent"
}
}
geoip {
source => "clientip"
target => "geoip"
database => "/etc/logstash/maxmind/GeoLite2-City.mmdb"
}
}

示例3：使用Redis
(1) 从redis加载数据
input {
redis {
batch_count => 1
data_type => "list"
key => "logstash-list"
host => "192.168.0.2"
port => 6379
threads => 5
}
}

(2) 将数据存入redis
output {
redis {
data_type => "channel"
key => "logstash-%{+yyyy.MM.dd}"
}
}

示例4：将数据写入els cluster
output {
elasticsearch {
hosts => ["http://node1:9200/","http://node2:9200/","http://node3:9200/"]
user => "ec18487808b6908009d3"
password => "efcec6a1e0"
index => "logstash-%{+YYYY.MM.dd}"
document_type => "apache_logs"
}
}

示例5：综合示例，启用geoip

input {
beats {
port => 5044
}
}

filter {
grok {
match => {
"message" => "%{COMBINEDAPACHELOG}"
}
remove_field => "message"
}
geoip {
source => "clientip"
target => "geoip"
database => "/etc/logstash/GeoLite2-City.mmdb"
}
}

output {
elasticsearch {
hosts => ["http://172.16.0.67:9200","http://172.16.0.68:9200","http://172.16.0.69:9200"]
index => "logstash-%{+YYYY.MM.dd}"
action => "index"
document_type => "apache_logs"
}
}

grok：
%{SYNTAX:SEMANTIC}
SYNTAX：预定义的模式名称；
SEMANTIC：给模式匹配到的文本所定义的键名；

1.2.3.4 GET /logo.jpg 203 0.12
%{IP:clientip} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}

{ clientip: 1.2.3.4, method: GET, request: /logo.jpg, bytes: 203, duration: 0.12}

%{IPORHOST:client_ip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:http_version})?|-)" %{HOST:domain} %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} "(%{WORD:x_forword}|-)" (%{URIHOST:upstream_host}|-) %{NUMBER:upstream_response} (%{WORD:upstream_cache_status}|-) %{QS:upstream_content_type} (%{BASE16FLOAT:upstream_response_time}) > (%{BASE16FLOAT:request_time})

"message" => "%{IPORHOST:clientip} \[%{HTTPDATE:time}\] \"%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:http_status_code} %{NUMBER:bytes} \"(?<http_referer>\S+)\" \"(?<http_user_agent>\S+)\" \"(?<http_x_forwarded_for>\S+)\""

filter {
grok {
match => {
"message" => "%{IPORHOST:clientip} \[%{HTTPDATE:time}\] \"%{WORD:verb} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:http_status_code} %{NUMBER:bytes} \"(?<http_referer>\S+)\" \"(?<http_user_agent>\S+)\" \"(?<http_x_forwarded_for>\S+)\""
}
remote_field: message
}
}

nginx.remote.ip
[nginx][remote][ip]

filter {
grok {
match => { "message" => ["%{IPORHOST:[nginx][access][remote_ip]} - %{DATA:[nginx][access][user_name]} \[%{HTTPDATE:[nginx
][access][time]}\] \"%{WORD:[nginx][access][method]} %{DATA:[nginx][access][url]} HTTP/%{NUMBER:[nginx][access][http_version]}\
" %{NUMBER:[nginx][access][response_code]} %{NUMBER:[nginx][access][body_sent][bytes]} \"%{DATA:[nginx][access][referrer]}\" \"
%{DATA:[nginx][access][agent]}\""] }
remove_field => "message"
}
date {
match => [ "[nginx][access][time]", "dd/MMM/YYYY:H:m:s Z" ]
remove_field => "[nginx][access][time]"
}
useragent {
source => "[nginx][access][agent]"
target => "[nginx][access][user_agent]"
remove_field => "[nginx][access][agent]"
}
geoip {
source => "[nginx][access][remote_ip]"
target => "geoip"
database => "/etc/logstash/GeoLite2-City.mmdb"
}

}

output {
elasticsearch {
hosts => ["node1:9200","node2:9200","node3:9200"]
index => "logstash-ngxaccesslog-%{+YYYY.MM.dd}"
}
}

注意：
1、输出的日志文件名必须以“logstash-”开头，方可将geoip.location的type自动设定为"geo_point"；
2、target => "geoip"

除了使用grok filter plugin实现日志输出json化之外，还可以直接配置服务输出为json格式；

示例：使用grok结构化nginx访问日志
filter {
grok {
match => {
"message" => "%{HTTPD_COMBINEDLOG} \"%{DATA:realclient}\""
}
remove_field => "message"
}
date {
match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
remove_field => "timestamp"
}
}

示例：使用grok结构化tomcat访问日志
filter {
grok {
match => {
"message" => "%{HTTPD_COMMONLOG}"
}
remove_field => "message"
}
date {
match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
remove_field => "timestamp"
}
}

Nginx日志Json化:
log_format json '{"@timestamp":"$time_iso8601",'
'"@source":"$server_addr",'
'"@nginx_fields":{'
'"client":"$remote_addr",'
'"size":$body_bytes_sent,'
'"responsetime":"$request_time",'
'"upstreamtime":"$upstream_response_time",'
'"upstreamaddr":"$upstream_addr",'
'"request_method":"$request_method",'
'"domain":"$host",'
'"url":"$uri",'
'"http_user_agent":"$http_user_agent",'
'"status":$status,'
'"x_forwarded_for":"$http_x_forwarded_for"'
'}'
'}';

access_log logs/access.log json;

Conditionals
Sometimes you only want to filter or output an event under certain conditions. For that, you can use a conditional.

Conditionals in Logstash look and act the same way they do in programming languages. Conditionals support if, else if and else statements and can be nested.

The conditional syntax is:

if EXPRESSION {
...
} else if EXPRESSION {
...
} else {
...
}

What’s an expression? Comparison tests, boolean logic, and so on!

You can use the following comparison operators:

equality: ==, !=, <, >, <=, >=
regexp: =~, !~ (checks a pattern on the right against a string value on the left) inclusion: in, not in

The supported boolean operators are:

and, or, nand, xor

The supported unary operators are:

!
Expressions can be long and complex. Expressions can contain other expressions, you can negate expressions with !, and you can group them with parentheses (...).

filter {

if [type] == 'tomcat-accesslog' {
grok {}
}

if [type] == 'httpd-accesslog' {
grok {}
}

}

在filebeat上添加自定义字段，区分不同的日志示例：

filebeat.prospectors:

- input_type: log
paths:
- /var/log/httpd/access_log
fields:
logtype: access

- paths:
- /var/log/httpd/error_log
fields:
logtype: errors

在logstash中分别处理不同日志的配置示例：

input {
redis {
host => "172.18.0.70"
port => 6379
password => "dhy.com"
db => 0
key => "filebeat"
data_type => "list"
}
}

filter {
if [fields][logtype] == "access" {
grok {
match => { "message" => "%{HTTPD_COMBINEDLOG}" }
remove_field => ["message","beat"]
}
date {
match => ["timestamp","dd/MMM/YYYY:H:m:s Z"]
remove_field => "timestamp"
}
geoip {
source => "clientip"
target => "geoip"
database => "/etc/logstash/maxmind/GeoLite2-City.mmdb"
}
}
}

output {
if [fields][logtype] == "access" {
elasticsearch {
hosts => ["http://node01.dhy.com:9200/","http://node02.dhy.com:9200/"]
index => "logstash-%{+YYYY.MM.dd}"
document_type => "httpd_access_logs"
}
} else {
elasticsearch {
hosts => ["http://node01.dhy.com:9200/","http://node02.dhy.com:9200/"]
index => "logstash-%{+YYYY.MM.dd}"
document_type => "httpd_error_logs"
}
}
}

查看全文
如若内容造成侵权/违法违规/事实不符，请联系编程学习网邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！

Angular进阶知识回顾
一.注解 1.什么是装饰器（注解） 装饰器(注解)就是一个函数，但它是一个返回函数的函数如果注解需要传递参数，则在声明注解的时候获取参数并使用即可它是TypeScript的特性，而不是Angular的特性 2.自定义无参数注解定义…...
2024/4/21 4:01:15
Angular动态创建组件
Angular动态创建组件什么是动态创建？一般来说就是组件不需要在html内定义，而是通过typescript来控制该组件的创建。往往我们大部分的时候都是在html内定义，之所以这样也能够创建出我们想要的组件，这是因为Angular框架在编译后或运行时会帮助我们创建这个组件并生成相应…...
2024/4/21 4:01:13
脏值检测
以前用jquery对页面中的表单元素做验证绑定事件（表单元素）focus,blur,keydown,keyup,change,click 等等在事件回调函数中获取需要验证的表单对表单内容做验证处理（正则） 根据结果显隐提示提交表单时候我们还会对数据进行拼接&…...
2024/5/7 18:39:51
Angular 变更检测及单向数据流
本文学习总结于太狼关于“angular2中数据状态管理方案有哪些？”的回答Angular 2 Change Detection - 2Angular - What is Unidirectional Data Flow ? Learn How the Angular Development Mode Works, why its important to use it and how to Troubleshoot it数…...
2024/5/7 5:29:04
Angular变化检测机制：改善的脏检查
前端展示的页面是由视图和数据共同构成的，视图模板定义了页面的框架，而数据定义了页面具体的显示内容。而数据发生变化的时候，我们需要及时将变化的内容更新到视图中，否则用户看到的数据就是不正确的。系统及时感知到数据模型的变…...
2024/4/21 4:01:10
angular 触发‘脏值’检查的几种情况
2019独角兽企业重金招聘Python工程师标准>>> DOM事件，譬如用户输入文本，点击按钮等。(ng-click)XHR响应事件 ($http)浏览器Location变更事件 ($location)Timer事件($timeout, $interval)执行$digest()或$apply()转载于:https://my.oschina.ne…...
2024/4/21 4:01:10
Angular的变更检测
angular变更检测分为默认的（“CheckAlways”）变更检测策略和 OnPush（“CheckOnce”）变更检测策略，angular变更检测是一种单向数据流，也就是检测永远是从父组件到子组件的，如果在一次变更周期内…...
2024/4/21 4:01:09
angular——数据操作及管道
 <div [title]title>{{content}} </div> content: string <h1>我是 html</h1> <div [innerHtml]content></div> <div *ngFor"let item of …...
2024/5/7 17:48:54
angular 模板循环ng-container
angular2 在组件模板中可以循环数组集合等对象,语法非常简单,如: <ng-container *ngFor"let item of model.list"> <div class"sermons-post">{{item.name}}</div> </ng-container>ng2 结构指令不能直接嵌套使用,可使用<ng-co…...
2024/5/7 13:42:46
前端讲义57_AngularJS数组循环
ng-repeat 指令会重复一个 HTML 元素，对于集合中（数组中）的每项会克隆一次HTML元素。效果如下： <!DOCTYPE html> <html> <head> <meta charset"utf-8"> <title>AngularJS循环取出数组值&…...
2024/4/21 4:01:05
【Angular2】遍历嵌套实体生成数组
前言需要根据实体生成一个数组，存放初始数据实体是ExamPaperModel（试卷），其中一个属性为QuestionTypeList，包含的是实体QuestionTypeModel（题型），题型实体中有一个属性为Questio…...
2024/5/7 14:19:08
Vue与React和Angular的区别（书籍摘要：待继续更新）
Vue会自动通过状态生成DOM，并将其输出到页面上显示出来，这个过程叫渲染。Vue的渲染过程是声明式的，我们通过模板（template）来描述状态与DOM之间的映射关系。通常，在运行时应用内部的状态会不断发生变化&a…...
2024/5/2 11:46:55
使用MapReduce实现Bayes算法
代码如下： NBayes.conf 4 cl1 cl2 cl3 cl4 3 p1 12 p2 16 p3 17 NBayes.train cl1 5 6 7 cl2 3 8 4 cl1 2 5 2 cl3 7 8 7 cl4 3 8 2 cl4 9 2 7 cl2 1 8 5 cl5 2 9 4 cl3 10 3 4 cl1 4 5 6 cl3 4 6 7 NBayes.test 1 5 6 7 2 1 8 5 3 2 9 4 4 10 3 4 5 4 5 6 6 3 8 4 7 2 5 2 8 …...
2024/4/21 4:01:03
在angular中使用假数据（mock）
前端有时候多个页面需要相同的数据，如果在ts文件里面写大量假数据，很长也容易混乱，用mock就会方便很多， 1、首先安装mock yarn add delon/mock -D2、在app.module.ts文件的 imports:[ ] 中添加(第一步完成以后，系统会…...
2024/4/21 4:01:01
angular数据绑定与监控(学习笔记)
数据的双向绑定 angular实现了双向绑定机制,所谓双向绑定,就是从界面的操作能实时反映到数据,数据的变更能实时展现到界面.基于单一模型的界面同步 ng-model 指令:可以将输入域的值与 AngularJS 创建的变量绑定。 <!DOCTYPE html><html><head><meta chars…...
2024/4/21 4:01:01
angular2+中数据变更子组件页面未更新
引入监测 import {ChangeDetectorRef} from angular/core; constructor( private changeDetectorRef:ChangeDetectorRef ){} 转载于:https://www.cnblogs.com/ckAng/p/8574207.html...
2024/4/21 4:01:00
Angular数据可视化项目总结1
在实习，用Angular做一个数据可视化的项目，总结一下。 1 怎么使用Echart npm install echarts -S npm install ngx-echarts -S npm install types/echarts -D 例子： // active-line.component.ts import { Component, OnInit } from angul…...
2024/5/4 11:24:54
angular判断数据类型
angular.isArray 判断括号内的值是否为数组。格式：angular.isArray(value); value: 被判断是否为数组的值。 --------------------------------------------------------------- angular.isDate 判断括号内的值是否是一个时间。格式：angular.isDate(va…...
2024/5/1 4:09:39
Angular4--【数据绑定】
数据绑定事件绑定属性绑定很多人对于DOM属性还是HTML属性易混，那我们首先来区分一下HTML和DOM； 少量的HTML和DOM属性之前存在着1:1的映射，比如id;有些HTML属性没有对应的DOM属性；有些DOM属性没有对应的HTML属性，…...
2024/4/20 1:05:58
angularJS变量变化时页面视图不更新问题
页面视图不更新时，在方法后手动调用$scope.$apply()方法，手动更新视图举例如下： else if(count1){ $scope.showImgdataBase64;strHeaddataBase64.indexOf(data:image/);strFootdataBase64.indexOf(base64,,strHead)7;strValuedataBase64.s…...
2024/4/20 2:35:18

39.1Elastic Stack笔记

相关文章

最新文章