在RHEL8/CentOS8上建立多节点Elastic stack集群的方法

这篇文章将为大家详细讲解有关在RHEL8/CentOS8上建立多节点Elastic stack集群的方法，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。

Elastic stack 俗称 ELK stack，是一组包括 Elasticsearch、Logstash 和 Kibana 在内的开源产品。Elastic Stack 由 Elastic 公司开发和维护。使用 Elastic stack，可以将系统日志发送到 Logstash，它是一个数据收集引擎，接受来自可能任何来源的日志或数据，并对日志进行归一化，然后将日志转发到 Elasticsearch，用于分析、索引、搜索和存储，最后使用 Kibana 表示为可视化数据，使用 Kibana，我们还可以基于用户的查询创建交互式图表。

在本文中，我们将演示如何在 RHEL 8 / CentOS 8 服务器上设置多节点 elastic stack 集群。以下是我的 Elastic Stack 集群的详细信息:

Elasticsearch：

• 三台服务器，最小化安装 RHEL 8 / CentOS 8

• IP & 主机名 – 192.168.56.40（elasticsearch2.linuxtechi.local）、192.168.56.50 （elasticsearch3.linuxtechi.local）、192.168.56.60（elasticsearch4.linuxtechi.local`）

Logstash：**

• 两台服务器，最小化安装 RHEL 8 / CentOS 8

• IP & 主机 – 192.168.56.20（logstash2.linuxtechi.local）、192.168.56.30（logstash3.linuxtechi.local）

Kibana：

一台服务器，最小化安装 RHEL 8 / CentOS 8IP & 主机名 – 192.168.56.10（kibana.linuxtechi.local）

Filebeat：

• 一台服务器，最小化安装 CentOS 7

• IP & 主机名 – 192.168.56.70（web-server）

让我们从设置 Elasticsearch 集群开始，

设置3个节点 Elasticsearch 集群

正如我已经说过的，设置 Elasticsearch 集群的节点，登录到每个节点，设置主机名并配置 yum/dnf 库

使用命令 hostnamectl 设置各个节点上的主机名：

[root@linuxtechi ~]# hostnamectl set-hostname "elasticsearch2.linuxtechi. local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#[root@linuxtechi ~]# hostnamectl set-hostname "elasticsearch3.linuxtechi. local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#[root@linuxtechi ~]# hostnamectl set-hostname "elasticsearch4.linuxtechi. local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#

对于 CentOS 8 系统，我们不需要配置任何操作系统包库，对于 RHEL 8 服务器，如果你有有效订阅，那么用红帽订阅以获得包存储库就可以了。如果你想为操作系统包配置本地 yum/dnf 存储库，请参考以下网址：

如何使用 DVD 或 ISO 文件在 RHEL 8 服务器上设置本地 Yum / DNF 存储库

在所有节点上配置 Elasticsearch 包存储库，在 /etc/yum.repo.d/ 文件夹下创建一个包含以下内容的 elastic.repo 文件：

~]# vi /etc/yum.repos.d/elastic.repo[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

保存文件并退出。

在所有三个节点上使用 rpm 命令导入 Elastic 公共签名密钥。

~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

在所有三个节点的 /etc/hosts 文件中添加以下行:

192.168.56.40  elasticsearch2.linuxtechi.local192.168.56.50  elasticsearch3.linuxtechi.local192.168.56.60  elasticsearch4.linuxtechi.local

使用 yum/dnf 命令在所有三个节点上安装 Java：

[root@linuxtechi ~]# dnf install java-openjdk -y[root@linuxtechi ~]# dnf install java-openjdk -y[root@linuxtechi ~]# dnf install java-openjdk -y

使用 yum/dnf 命令在所有三个节点上安装 Elasticsearch：

root@linuxtechi ~]# dnf install elasticsearch -y[root@linuxtechi ~]# dnf install elasticsearch -y[root@linuxtechi ~]# dnf install elasticsearch -y

注意： 如果操作系统防火墙已启用并在每个 Elasticsearch 节点中运行，则使用 firewall-cmd 命令允许以下端口开放：

~]# firewall-cmd --permanent --add-port=9300/tcp~]# firewall-cmd --permanent --add-port=9200/tcp~]# firewall-cmd --reload

配置 Elasticsearch, 在所有节点上编辑文件 /etc/elasticsearch/elasticsearch.yml 并加入以下内容：

~]# vim /etc/elasticsearch/elasticsearch.ymlcluster.name: opn-cluster
node.name: elasticsearch2.linuxtechi.local
network.host: 192.168.56.40http.port: 9200discovery.seed_hosts: ["elasticsearch2.linuxtechi.local", "elasticsearch3.linuxtechi.local", "elasticsearch4.linuxtechi.local"]
cluster.initial_master_nodes: ["elasticsearch2.linuxtechi.local", "elasticsearch3.linuxtechi.local", "elasticsearch4.linuxtechi.local"]

注意： 在每个节点上，在 node.name 中填写正确的主机名，在 network.host 中填写正确的 IP 地址，其他参数保持不变。

现在使用 systemctl 命令在所有三个节点上启动并启用 Elasticsearch 服务：

~]# systemctl daemon-reload~]# systemctl enable elasticsearch.service~]# systemctl start elasticsearch.service

使用下面 ss 命令验证 elasticsearch 节点是否开始监听 9200 端口：

[root@linuxtechi ~]# ss -tunlp | grep 9200tcp LISTEN 0 128 [::ffff:192.168.56.40]:9200  *:* users:(("java",pid=2734,fd=256))
[root@linuxtechi ~]#

使用以下 curl 命令验证 Elasticsearch 群集状态：

[root@linuxtechi ~]# curl http://elasticsearch2.linuxtechi.local:9200[root@linuxtechi ~]# curl -X GET http://elasticsearch3.linuxtechi.local:9200/_cluster/health?pretty

命令的输出如下所示：

以上输出表明我们已经成功创建了 3 节点的 Elasticsearch 集群，集群的状态也是绿色的。

注意： 如果你想修改 JVM 堆大小，那么你可以编辑了文件 /etc/elasticsearch/jvm.options，并根据你的环境更改以下参数

• -Xms1g

• -Xmx1g

现在让我们转到 Logstash 节点。

安装和配置 Logstash

在两个 Logstash 节点上执行以下步骤。

登录到两个节点使用 hostnamectl 命令设置主机名：

[root@linuxtechi ~]# hostnamectl set-hostname "logstash2.linuxtechi.local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#[root@linuxtechi ~]# hostnamectl set-hostname "logstash3.linuxtechi.local"[root@linuxtechi ~]# exec bash[root@linuxtechi ~]#

在两个 logstash 节点的 /etc/hosts 文件中添加以下条目：

~]# vi /etc/hosts192.168.56.40  elasticsearch2.linuxtechi.local192.168.56.50  elasticsearch3.linuxtechi.local192.168.56.60  elasticsearch4.linuxtechi.local

保存文件并退出。

在两个节点上配置 Logstash 存储库，在文件夹 /ete/yum.repo.d/ 下创建一个包含以下内容的文件 logstash.repo：

~]# vi /etc/yum.repos.d/logstash.repo[elasticsearch-7.x]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md