架構簡介
ELK是三個開源項目的首字母縮寫,這三個項目分別是:Elasticsearch
、Logstash
和Kibana
。
Elasticsearch
是一個搜索和分析引擎。Logstash
是服務器端數據處理管道,能夠同時從多個來源採集數據,轉換數據,然後將數據發送到諸如Elasticsearch
等存儲庫中。Kibana
則可以讓用戶在Elasticsearch
中使用圖形和圖表對數據進行可視化。
ELK安裝
請參考此篇文章,非常的詳細
ELK 教學 – 從無到有安裝 ELK (CentOS/Red Hat)
大致簡述一下:
- 安裝VirtualBox
- 安裝Java
- 安裝Elasticsearch
- 安裝Beats
Config設定
請參考下面這些文章
Logstash的filter設定
使用grok教學
- https://www.elastic.co/guide/en/logstash/7.3/plugins-filters-grok.html
- https://medium.com/@hungtaohsieh/3%E7%A8%AE%E5%B8%B8%E7%94%A8logstash-filter-493e94a391b7
使用mutate教學
https://blog.csdn.net/cromma/article/details/52919742
grok測試工具
http://grokdebug.herokuapp.com/