首页
登录 | 注册

elk系统搭建并收集nginx日志-主要步骤

一)简介

    elk系统是一套目前较为流行的日志收集分析系统,主要由elasticserch,logstash,kibana三部分组成,其中elasticsearch负责数据的存储,logstash负责日志的收集过滤,kibana负责日志的可视化部分。整个工作流程为logstash收集日志,过滤后输出并保存到elasticsearch中,最后用户通过kibana从elasticsearch中读取数据并处理。本文中日志收集引入filebeat收集日志,logstash监听在5000端口并接受filebeat传入的日志。


各组件分配如下:


192.168.1.17filebeat

192.168.1.18elk


二)搭建过程

    1.在官方网站下载安装包

https://www.elastic.co/cn/downloads

    2.因为elk依赖java开发环境,所以首先安装jdk

yum install java-1.8.0-openjdk

    3.安装elk(192.168.1.18主机上)

yum install elasticsearch-5.5.2.rpm kibana-5.5.2-x86_64.rpm logstash-5.5.2.rpm

    4.创建elasticsearch数据存储目录并赋予权限

mkdir -p  /data/elasticsearch

chown  elasticsearch.elasticsearch /data/elasticsearch

    5.修改elasticsearch配置文件,更改其中的数据存储路径

vim /etc/elasticsearch/elasticsearch.yml

path.data: /data/elasticsearch

    6.启动elasticsearch服务,并查看9200端口是否处于监听状态

systemctl start elasticsearch

ss  -tnl

    7.修改kibana配置文件,改变其监听的ip地址

vim /etc/kibana/kibana.yml

server.host: "0.0.0.0"  (也可更改为192.168.1.17,此处主要是为了方便访问)

    8.启动kibana服务并查看端口

systemctl start kibana

ss -tnl

    9.在/etc/logstash/conf.d/目录中添加logstash配置文件nginx.conf

input {

            beats {

            port => 5000

            type => "logs"

            }

        }


        filter {

          if [type] == "nginx-all" {

          grok {

          match => [ "message","(?:%{IPORHOST:clientip}|-) - %{NOTSPACE:remote_user} \[%{HTTPDATE:timestamp}\] \"(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:referrer} %{QS:agent} \"(?:%{IPV4:http_x_forwarded_for}|-)\"" ]

           }

            geoip {

            source => "clientip"

            add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]

            add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]

           }


         mutate {

           convert => [ "[geoip][coordinates]", "float" ]

           convert => [ "response","integer" ]

           convert => [ "bytes","integer" ]

         }


         syslog_pri {}

         date {

               match => [ "timestamp" , "dd/MMM/YYYY:HH:mm:ss Z" ]

           }

          }

         }


        output {

             elasticsearch {

                 hosts => ["127.0.0.1:9200"]

                 index => "logstash-nginx-access-%{+YYYY.MM.dd}"

             }

             stdout { codec => rubydebug }

          }


        input段:表示监听的端口以及类型

        filter段:

        grok:日志的匹配,数据结构转换,需要根据日志的具体格式进行匹配,匹配格式可以参考https://grokdebug.herokuapp.com/patterns,匹配结果可以在https://grokdebug.herokuapp.com/中进行验证

        geoip:获取ip,以便最后显示地理位置,部分系统可能需要安装geoip

        mutate:数据类型转换

        date:用日志中的时间对timestamp进行转换,若不做转换,在导入老数据的时候系统会根据当前时间排序

        output段:输出到elasticsearch中


    10.启动logstash服务并查看端口

systemctl start logstash

ss -tnl

    11.安装filebeat(192.168.1.17)

yum install filebeat-5.5.2-x86_64.rpm  (包需要提前下载)

    12.修改配置文件/etc/filebeat/filebeat.yml

    filebeat:

        spool_size: 1024

        idle_timeout: 5s

        registry_file: .filebeat

        config_dir: /etc/filebeat/conf.d

    output:

        logstash:

        hosts:

        - 192.168.1.18:5000

        enabled: true

    shipper: {}

    logging: {}

    runoptions: {}


    其中output中host指向logstash


    13.创建/etc/filebeat/conf.d/目录。并添加配置文件nginx.yml

        filebeat:

            prospectors:

                - paths:

                    - /var/log/nginx/access.log

                    encoding: plain

                    fields_under_root: false

                    input_type: log

                    ignore_older: 24h

                    document_type: nginx-all

                    scan_frequency: 10s

                    harvester_buffer_size: 16384

                    tail_files: false

                    force_close_files: false

                    backoff: 1s

                    max_backoff: 1s

                    backoff_factor: 2

                    partial_line_waiting: 5s

                    max_bytes: 10485760


其中path指向需要收集的日志文件,type需要与logstash配置文件中对应


    14.启动filebeat并查看

systemctl start filebeat

netstat -altp|grep filebeat(与logstash建立了连接)



相关文章

  • ELK中如何搭建客户端客户端如何将日志发送给服务端的logstash
    [背景]我们要统一收集日志,统一分析,统一在一个平台上搜索过滤日志!在上一篇中已经完成了ELK的搭建,那么该如何将每台客户端的日志集中到ELK平台中呢?[本系统介绍]ELK -- 192.168.100.10  (这个地方要有FQDN 创建 ...
  • 使用开源工具fluentd-pilot收集容器日志
    来自用户的最佳实践分享,如何用阿里开源的Docker日志收集工具fluentd-pilot收集机器上所有Docker应用日志. fluentd-pilot简介 fluentd-pilot是阿里开源的docker日志收集工具,Github项目 ...
  • 手机直播程序直播系统搭建经验浅谈方法!前端推流1.推流可以采用命令: ffmpeg -i input -vcodec copy -acodec copy -f flv rtmp://127.0.0.1/live/cgstream0input ...
  • 酒店IPTV系统搭建有什么省钱方案?
    客户情况和需求:1.酒店行业相关从业者,想做一套适合小酒店的IPTV系统方案 2.国内主流电视直播频道 3.点播(可选非必选) 4.开机画面和酒店介绍可以每个酒店可以自己改(可选项非必选) 目前遇到的问题:1.中小酒店价格承受力弱 2.小型 ...
  • 九爷带你了解 nginx 日志配置指令详解
    nginx日志配置指令详解日志对于统计排错来说非常有利的.本文总结了nginx日志相关的配置如 access_log.log_format.open_log_file_cache.log_not_found.log_subrequest.r ...
  • ngx_http_log_module 模块负责日志: =======默认nginx日志 log_format main '$remote_addr - $remote_user [$time_local] "$request&q ...

2019 jeepyurongfu.net webmaster#jeepyurongfu.net
12 q. 0.031 s.
京ICP备10005923号