ELK 快速安装

ELK 快速安装

ELK 简介


对于日志来说,最常见的需求就是收集、存储、查询、展示,
开源社区正好有相对应的开源项目:Logstash(收集)、Elasticsearch(存储 + 搜索)、Kibana(展示),
我们将这三个组合起来的技术称之为 ELKStack,
所以说 ELKStack 指的是 Elasticsearch、Logstash、Kibana 技术栈的结合。

20170317:

今天更新下这篇文章,现在 ELK 官网将 ELKStack 官方称为 Elastic Stack,而且最新系列版本为 5.2。   关于 Elastic Stack 的快速安装最新文档请参考官网的安装文档Installing the Elastic Stack,总结得比较完整。

安装 Elasticsearch


Elasticsearch 首先需要 Java 环境,所以需要提前安装好 JDK,可以直接使用 yum 安装。
也可以从 Oracle 官网下载 JDK 进行安装。开始之前要确保 JDK 正常安装并且环境变量也配置正确。


# 0. 安装 JDK

[root@linux-node1 ~]# yum install java
[root@linux-node1 ~]# java -version
openjdk version "1.8.0_101"
OpenJDK Runtime Environment (build 1.8.0_101-b13)
OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)

# 1. 下载安装 GPG Key

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

# 2. 配置 yum 仓库

vim /etc/yum.repos.d/elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=https://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

# 3. 安装

yum install elasticsearch -y

安装 Logstash

和 Elasticsearch 一样,在开始部署 Logstash 之前也需要你的环境中正确的安装的 JDK。


# 0. 安装 JDK

[root@linux-node1 ~]# yum install java
[root@linux-node1 ~]# java -version
openjdk version "1.8.0_101"
OpenJDK Runtime Environment (build 1.8.0_101-b13)
OpenJDK 64-Bit Server VM (build 25.101-b13, mixed mode)

# 1. 下载安装 GPG Key

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

# 2. 配置 yum 仓库

vim /etc/yum.repos.d/logstash.repo
[logstash-2.3]
name=Logstash repository for 2.3.x packages
baseurl=https://packages.elastic.co/logstash/2.3/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

# 3. 安装

yum install logstash -y

安装 Kibana

Kibana 是为 Elasticsearch 设计的开源分析和可视化平台。 你可以使用 Kibana 来搜索,查看存储在 Elasticsearch 索引中的数据并与之交互。 你可以很容易实现高级的数据分析和可视化,以图表的形式展现出来。


# 1. 下载安装 GPG Key

rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch

# 2. 配置 yum 仓库

vim /etc/yum.repos.d/kibana.repo
[kibana-4.5]
name=Kibana repository for 4.5.x packages
baseurl=http://packages.elastic.co/kibana/4.5/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

# 3. 安装

yum install kibana -y

小技巧:yum install *.rpm 会验证依赖。 当 yum 下载安装软件包比较慢时,可以用其他快速下载工具下载对应的软件包,然后再安装。

使用 Cobbler 创建 ELKStack 仓库

生产环境一般不能使用外网的 YUM 仓库,可以使用 Cobbler 来创建自己的 yum 仓库。


[root@linux-node1 ~]# cobbler repo add --name=elasticsearch-2.x --mirror=https://packages.elastic.co/elasticsearch/2.x/centos --arch=x86_64 --breed=yum
[root@linux-node1 ~]# cobbler repo add --name=logstash-2.3 --mirror=https://packages.elastic.co/logstash/2.3/centos --arch=x86_64 --breed=yum
[root@linux-node1 ~]# cobbler repo add --name=kibana-4.5 --mirror=http://packages.elastic.co/kibana/4.5/centos --arch=x86_64 --breed=yum
[root@linux-node1 ~]# cobbler reposync

Ref

Installing the Elastic Stack
Elasticsearch Repositories
Installing Logstash
Kibana Repositories
ELKStack 快速安装