一、部署規劃

1、源日志服務器Logstash收集日志，然后存儲在Redis的list中，接收日志服務器LogStash從Redis的list中讀取日志，存儲在日志存儲分析服務器elasticsearch中，然后用戶在日志查詢服務器kibana連接elasticsearch，查詢相關日志。

【源日志服務器Logstash】->【Redis服務器】->【接收日志服務器LogStash】->【日志存儲分析服務器elasticsearch】->【日志查詢服務器kibana】

這種適合稍大一點的服務器集群，簡單的可以直接源日志服務器Logstash存儲在日志存儲分析服務器elasticsearch中。

2、由于kibana中采用utf8編碼作為默認編碼，所以日志格式最好為utf8編碼，如果不是可以最好做編碼轉換。

3、為了提升elasticsearch的處理效率，日志格式為Json格式，如果不是用進行日志格式

二、各工具的安裝部署

大部分工具的下載地址：https://www.elastic.co/downloads，工具統一安裝在/data目錄.

1、安裝JDK

1.7%20JDK下載地址：http://www.Oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

下載后安裝

[plain] view%20plain copy rpm -ivh jdk-7u80-linux-x64.rpm  設置JDK環境變量

修改/etc/PRofile或者.bash_profile，在其中增加幾行：

[plain] view%20plain copy export JAVA_HOME=/usr/java/jdk1.7.0_80  export CLASSPATH=$JAVA_HOME/lib/tools.jar  export PATH=$JAVA_HOME/bin:$PATH  

2、安裝LogStash

[plain] view%20plain copy wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz  tar zxvf logstash-2.3.4.tar.gz  測試

[plain] view%20plain copy /data/logstash-2.3.4/bin/logstash -e 'input { stdin { }}  output { stdout {}}'<pre name="code" class="plain"><span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">輸出輸入的內容即為正確</span>  

運行

[plain] view%20plain copy /data/logstash-2.3.4/bin/logstash -f <span style="font-family: Arial, Helvetica, sans-serif;">logstash</span>.conf &  

3、安裝elasticsearch[plain] view%20plain copy wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.5/elasticsearch-2.3.5.tar.gz  tar zxvf elasticsearch-2.3.5.tar.gz  /data/elasticsearch-2.3.5/bin/elasticsearch &  安裝后進行測試。安裝文件管理插件elasticsearch-head，方便管理文件。

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/plugin install mobz/elasticsearch-head  安裝后可以用

[plain] view%20plain copy curl -XGet http://localhost:19200/_plugin/head/  

檢驗結果是否正確。

文件管理時，直接用瀏覽器打開網址http://localhost:19200/_plugin/head/ 進行文件管理。

4、安裝kibana

[plain] view%20plain copy wget https://download.elastic.co/kibana/kibana/kibana-4.5.4-linux-x64.tar.gz  tar zxvf kibana-4.5.4-linux-x64.tar.gz  /data/kibana-4.5.4-linux-x64/bin/kibana &  安裝完執行進行測試。

[plain] view%20plain copy curl -XGet localhost:15601  用瀏覽器打開http://localhost:15601進行查詢操作。

5、安裝Redis

[plain] view%20plain copy mkdir /data/redis/  cp redis-3.2.1.tar.gz /data/redis/redis-3.2.1.tar.gz  cd /data/redis/  tar xzvf redis-3.2.1.tar.gz  cd /data/redis/redis-3.2.1  make  make install  sysctl vm.overcommit_memory=1    /data/redis/redis-3.2.1/src/redis-server /data/redis/redis-3.2.1/redis.conf &  ln -s /data/redis/redis-3.2.1/src/redis-cli /bin/redis-cli  

6、安裝驗證插件shield1）此插件有30天的有效期，有效期過了打不開kibana頁面，謹慎安裝。

[sql] view%20plain copy #安裝驗證插件shield  /data/elasticsearch-2.3.5/bin/plugin install license  /data/elasticsearch-2.3.5/bin/plugin install shield  http://localhost:19200/_shield/user  http://localhost:19200/_shield/role  

增加賬號格式如下：

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/shield/esusers useradd 用戶名 -r 權限組 -p 密碼  

安裝后增加賬號es_admin作為管理員權限，密碼123456

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/shield/esusers useradd es_admin -r admin -p 123456  

2）LogStash必須增加相應的賬號

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/shield/esusers useradd logstashserver -r logstash -p 123456  然后修改logstash.conf的配置，增加相應的賬號和密碼。3）kibana必須增加相應的權限才能使用

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/shield/esusers useradd kibanaserver -r kibana4_server -p 123456  修改配置/data/kibana-4.5.4-linux-x64/config/kibana.yml

[plain] view%20plain copy elasticsearch.username: "kibanaserver"  elasticsearch.passWord: "123456"  4)%20后期增加賬號權限，都要把kibana4組的權限給增加上去，不然打不開kibana界面

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/shield/esusers useradd test -r usergroup -p 123456  /data/elasticsearch-2.3.5/bin/shield/esusers roles test -a kibana4_server  

5)%20license%20過期后執行刪除shield命令

[plain] view%20plain copy /data/elasticsearch-2.3.5/bin/plugin remove shield