CentOS 8 部署 ELK 8.7真的是方便呀
之前装过一次 ELK 7.7,相比之下装 8.7可方便太多了~
CentOS版本
CentOS-8.5.2111-x86_64-dvd1
JAVA
ELK会自己使用内置版本的JDK
ElasticSearch
8.7.0 下载页面 Download Elasticsearch | Elastic
Kinbana
Logstash
安装ElasticSearch8
加入资源
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
在/etc/yum.repos.d/位置创建文件elasticsearch.repo
cd /etc/yum.repos.d/ vim elasticsearch.repo
输入如下内容:
[elasticsearch]
name=Elasticsearch repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md
将镜像从 mirror.centos.org 更改为 vault.centos.org (yum可用,则跳过)
进入到 yum 的 repos 目录
cd /etc/yum.repos.d/
修改 centos 文件内容
sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-*
sed -i 's|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g' /etc/yum.repos.d/CentOS-*
生成缓存更新
yum makecache
运行 yum update,并且重新安装 vim
yum update -y
yum -y install vim
执行 yum 命令完成 es 安装
yum install --enablerepo=elasticsearch elasticsearch
安装完记得保存如下信息,便于后续使用
Authentication and authorization are enabled.
TLS for the transport and HTTP layers is enabled and configured. The generated password for the elastic built-in superuser is : xxxxxxxxx If this node should join an existing cluster, you can reconfigure this with
'/usr/share/elasticsearch/bin/elasticsearch-reconfigure-node --enrollment-token <token-here>'
after creating an enrollment token on your existing cluster. You can complete the following actions at any time: Reset the password of the elastic built-in superuser with
'/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic'. Generate an enrollment token for Kibana instances with
'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana'. Generate an enrollment token for Elasticsearch nodes with
'/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s node'.
添加用户和用户组 es 并未用户组提供文件夹权限
groupadd es
useradd es -g es -p password chown es:es -R /usr/share/elasticsearch
chown es:es -R /etc/elasticsearch
chown es:es -R /var/lib/elasticsearch
chown es:es -R /var/log/elasticsearch
chown es:es -R /var/
chmod 777 /etc/elasticsearch
chmod 777 /usr/share/elasticsearch/
chmod 777 /etc/sysconfig/elasticsearch
编辑 elasticsearch.yml 配置文件
cd /etc/elasticsearch
vim elasticsearch.yml
配置如下:
network.host: 0.0.0.0
http.port: 9200
xpack.security.enabled: false
使用 es 账号启动 ElasticSearch
cd /usr/share/elasticsearch/bin/
su es
bin/elasticsearch -d
关闭防火墙或者开放9200端口,即可通过 IP:9200 访问
# 查看防火墙状态
systemctl status firewalld.service # 关闭防火墙
systemctl stop firewalld.service
如果遇到安全提示则选择继续访问,并输入用户名密码这个用到的用户名密码是安装Es后我们保存的那个哦
安装 Kibana
在 /etc/yum.repos.d/ 位置创建文件 kibana.repo
cd /etc/yum.repos.d/ vim kibana.repo
输入如下内容
[kibana-8.x]
name=Kibana repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
执行yum命令完成安装
yum install kibana
修改 kibana 配置文件
vim /etc/kibana/kibana.yml
增加如下内容:
server.host: "0.0.0.0"
server.post: 5601
以root后台启动服务
nohup /usr/share/kibana/bin/kibana --allow-root &
在ES安装目录 执行如下代码获取 token (本文 8.7 版本不需要)
/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana
关闭防火墙或者开启5601端口,并使用浏览器访问 IP:5601
安装 Logstash
在 /etc/yum.repos.d/ 位置创建文件 logstash.repo
cd /etc/yum.repos.d/
vim logstash.repo
输入如下内容:
[logstash-8.x]
name=Elastic repository for 8.x packages
baseurl=https://artifacts.elastic.co/packages/8.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
执行yum命令完成安装
yum install logstash
安装完成后的启动目录
/usr/share/logstash/bin/logstash
在 /etc/logstash/ 目录下创建 logstash.conf 配置文件
cd /etc/logstash/
vim logstash.conf
输入如下内容,以搜集 Nginx 的日志
#---------------------------------------------------------------- nginx-----------------------------------------------------------------------
input {
file {
type => "nginx-error-log"
path => "/usr/local/nginx/logs/error.log"
}
file {
type => "nginx-access-log"
path => "/usr/local/nginx/logs/access.log"
codec => json
}
} filter {
if [type] =~ "nginx-error-log"
{
grok {
match => {
"message" => "(?<datetime>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}) \[(?<errtype>\w+)\] \S+: \*\d+ (?<errmsg>[^,]+), (?<errinfo>.*$)"
}
} mutate {
rename => {
"message" => "z_message"
"host" => "fromhost"
}
}
} else if [type] =~ "nginx-access-log" {
mutate {
split => {"upstremtime" => ","}
}
mutate {
convert => { "upstremtime" => "float"}
}
} if [errinfo]
{
ruby {
code => "
new_event = LogStash::Event.new(Hash[event.get('errinfo').split(', ').map{ |l| l.split(': ') }])
new_event.remove('@timestamp')
event.append(new_event)
"
} grok {
match => {
"request" => '"%{WORD:verb} %{URIPATHPARAM:urlpathparam}?(?: HTTP/%{NUMBER:httpversion})"'
}
patterns_dir => ["/home/data/logstash/patterns/"]
remove_field => [ "errinfo","request" ]
}
}
} output {
#elasticsearch { host => localhost }
stdout { codec => rubydebug }
if [type] =~ "nginx-error-log" {
elasticsearch {
hosts => ["http://ES的域名或者IP地址"]
index => "logstash-nginx-error-log-%{+YYYY.MM.dd}"
document_type => "data"
user => "es用户名"
password => "es密码"
}
}else if [type] =~ "nginx-access-log" {
elasticsearch {
hosts => ["http://ES的域名或者IP地址"]
index => "logstash-nginx-access-log-%{+YYYY.MM.dd}"
document_type => "data"
user => "es用户名"
password => "es密码"
}
}
}
指定配置文件,启动 logstash
/usr/share/logstash/bin/logstash -f /etc/logstash/logstash.conf
格式化 Nginx 日志
进入 nginx 配置文件(以各自的文件目录、文件名为准)
cd /usr/local/nginx/conf/
vim nginx.conf
在 http 里输入如下内容:
log_format main '{"@timestamp":"$time_iso8601",'
'"host":"$server_addr",'
' "clientip" : "$remote_addr",'
' "size" : "$body_bytes_sent" ,'
'"respnsetime":"$request_time",'
'"upstremtime":"$upstream_response_time",'
'"upstremhost":"$upstream_addr",'
'"httphost":"$host",'
'"referer":"$http_referer",'
'"xff":"$http_x_forwarded_for",'
'"agent":"$http_user_agent",'
'"clientip":"$remote_addr",'
'"request":"$request",'
'"uri":"$uri",'
'"status":"$status"}'; access_log /usr/local/nginx/logs/access.log main;
error_log /usr/local/nginx/logs/error.log error;
重新加载 Nginx
/usr/local/nginx/sbin/nginx -s reload
进入 kibana,就能看到推过来的 Nginx 的日志
告辞~
CentOS 8 部署 ELK 8.7真的是方便呀的更多相关文章
- centos 7部署ELK
一.ELK介绍 Elasticsearch 是基于 JSON 的分布式搜索和分析引擎,专为实现水平扩展.高可用和管理便捷性而设计.Logstash 是动态数据收集管道,拥有可扩展的插件生态系统,能够与 ...
- [原创]ubuntu14.04部署ELK+redis日志分析系统
ubuntu14.04部署ELK+redis日志分析系统 [环境] host1:172.17.0.4 搭建ELK+redis服务 host2:172.17.0.3 搭建logstash+nginx服务 ...
- Kubernetes部署ELK并使用Filebeat收集容器日志
本文的试验环境为CentOS 7.3,Kubernetes集群为1.11.2,安装步骤参见kubeadm安装kubernetes V1.11.1 集群 1. 环境准备 Elasticsearch运行时 ...
- docker-compose部署ELK(亲测)
具体的配置可以参考上面一篇:docker部署ELK 以下是做了一些修改的地方: kibana.yml [root@topcheer config]# cat kibana.yml server.hos ...
- CentOS 7部署flume
CentOS 7部署flume 准备工作: 安装java并设置java环境变量,在`/etc/profile`中加入 export JAVA_HOME=/usr/java/jdk1.8.0_65 ex ...
- CentOS 7部署Kafka和Kafka集群
CentOS 7部署Kafka和Kafka集群 注意事项 需要启动多个shell脚本交互客户端进行验证,运行中的客户端不要停止. 准备工作: 安装java并设置java环境变量,在`/etc/prof ...
- 在centos中部署jenkins
在centos中部署jenkins,需要的环境:安装jdk,Apache-tomcat 这两步我前面文章里已写,再次忽略 到官网下载最新的jenkins 我这里的是 jenkins.war 把该文件 ...
- Centos 上部署 tomcat7
在 Centos 上部署 tomcat7 搜索tomcat,选下面红色框框的官网 选箭头指着的版本7, 选 tar.gz 格式, 下载完压缩包,使用 ftpx 工具,放在 centos 的 /opt ...
- Centos7单机部署ELK+x-pack
ELK分布式框架作为现在大数据时代分析日志的常为大家使用.现在我们就记录下单机Centos7部署ELK的过程和遇到的问题. 系统要求:Centos7(内核3.5及以上,2核4G) elk版本:6.2. ...
- Docker 部署 elk + filebeat
Docker 部署 elk + filebeat kibana 开源的分析与可视化平台logstash 日志收集工具 logstash-forwarder(原名lubmberjack)elastics ...
随机推荐
- 简介及spring mvc初体验
一.C\S和B\S C/S C/S 是 Client/Server 的简写,简称客户端/服务器模式.例如 QQ 是客户端和服务器模式,首先安装一个客户端到个人电脑,然后登入到腾讯服务器. 缺点:更新不 ...
- spring boot 常见问题
什么是 Spring Boot? 简单来说,spring boot 底层就是:spring + spring mvc + tomcat + 其他框架 starter: spring boot 依靠 s ...
- SqlServer获取一周内每天的金额统计数据
select datename(weekday,CAST([CompletedTime] AS date)) WeekNum, CAST([CompletedTime] AS date) AS 'Da ...
- RPA的市场需求
最基本的RPA软件机器人定义:机器人通过记录员工在电脑桌面上的操作行为,将业务处理规则和操作行为记录下来,并模拟人的方式在电脑上自动执行一系列特定的工作流程.采用RPA软件机器人解决方案,快速实施,快 ...
- File 未释放文件权柄问题处理
Unreleased Resource: Files Abstract 程序可能无法释放某个文件句柄. Explanation 程序可能无法成功释放某一个文件句柄. 资源泄露至少有两种常见的原因: - ...
- App 用户新体验——Agora Native SDK 3.4.0
声网Agora Native SDK 3.4.0 本月已正式上线.新版本不仅增加了更丰富的实时美声音效.屏幕共享.虚拟节拍器等功能,同时在 SDK 的稳定性.兼容性及安全合规上做了大幅度升级,希望为 ...
- 微软wsl2启用天父行程systemd
默认情况下 微软wsl2的天父行程是init,没办法使用systemctl相关指令,所以想使用天父行程 systemd. 本文以Wsl2 Alma Linux为例,启用systemd 上帝与你同在,阿 ...
- 基于PaddleOCR的多视角集装箱箱号检测识别
基于PaddleOCR的多视角集装箱箱号检测识别 一.项目介绍 集装箱号是指装运出口货物集装箱的箱号,填写托运单时必填此项.标准箱号构成基本概念:采用ISO6346(1995)标准 标准集装箱箱号由1 ...
- salesforce零基础学习(一百一十六)workflow -> flow浅谈
本篇参考: https://help.salesforce.com/s/articleView?id=sf.migrate_to_flow_tool_considerations_workflow.h ...
- 利用Karlibr生成April标定板图像
1 关键的命令 rosrun kalibr kalibr_create_target_pdf --type apriltag --nx 6 --ny 6 --tsize 0.02 --tspace 0 ...