10 分鐘帶你了解 Elastic Stack(ELK) 是什麼?
內容目錄
Elastic Stack(ELK) 是什麼？
ELK 是取自三個開源產品的字首作為縮寫分別為：Elasticsearch、Logstash 和 Kibana。ELK 提供中心化的日誌功能，協助用戶發現伺服器與應用程式中的問題，它讓用戶能在一個平台上搜尋與監控所有日誌，讓日誌搜尋與監控變得輕而易舉。
-
- Elasticsearch：Elasticsearch 為分散式、 RESTful 的搜尋及分析的搜尋引擎，能解決與日俱增的使用案例 ，做為 ELK 的核心，Elasticsearch 能集中儲存資料以便於做快速搜尋，並做關聯性的微調，及能輕易擴展的分析功能。如此強大的性能使 Elasticsearch 在用戶中獲得很高的評價跟人氣，公司也因此聲名大噪 。
-
- Logstash：Logstash 是一種輕量型且開源的伺服器端資料處理管道，能夠從多個資料源擷取、轉換、再將其傳送至您的「存放區」。即使資料複雜多元，Logstash 依然能靈活運用動態搜索以找到正確資料，並即時轉換、傳送到指定之處，且不受資料源格式和架構影響。
-
- Kibana：是一套免費開源的前端應用程式，將 ELK作為其基礎，為 Elasticsearch 裡的數據資料提供搜尋和可視化的功能， Kibana 不僅是 ELK 的繪圖工具，也能作為儀表板，用於監控、管理和維護 ELK 集群，甚至能作為 ELK 開發及解決方案的彙整中心。
為什麼你一定要用 Elastic Stack(ELK) ？
（一）開源且有提供免費的社群版
ELK 廣受好評的關鍵在於它開源的本質，由於 ELK 的所有軟體組件都有提供免費的社群版本，因此使用者在導入時無需花費昂貴的許可費用。
（二）多主機選擇
在部署 ELK 時，企業擁有多種 Hosting (代管）選擇。對於具有足夠資源的企業來說， ELK 能夠被安裝在地端伺服器上並能直接在內部管理。另外，企業也能與 MSP 專員協作，利用 Amazon Opensearch 將 ELK 部署為託管服務（託管服務）。
（三）中心化的日誌處理功能
ELK 最重要的功能為，它提供中心化的日誌記錄功能，允許使用者將雲環境中的日誌聚合至 Single Searchaable Index（單一可搜索的索引）中。該功能能串連多個來源的日誌與 Data Event（資料事件），並實現資安監控與根本原因分析等多樣用途。
（四）近實時資料分析與可視化
使用者能利用 ELK 中的 Kibana ，將來自 Elastic Search 的近實時資料可視化，並製作成客製化儀表板。將近實時資料可視化能夠縮短資料分析的時間，並能夠支援多項工作任務，從而推動組織的靈活性以及做出以資料驅動為主的決策。
（五）多種程式語言之間的高度相容性
Elastic Stack 使用者的代碼庫中常常有多種程式語言，並希望每種語言都能相容 Elastic Search 。為此，Elastic 的研發人員已讓 Elastic Search 支援至少 12 種程式語言，其中包含 JavaScript、Go、Python、NET 和 Perl。另外 Elastic 也提供錯誤修復及響應查詢的服務。
Elastic Stack(ELK) 的運作流程： 日誌搜集、儲存＆搜尋、可視化
以下為 ELK 的日誌處理流程
（一）資料處理：Beats & Logstash 
首先，ELK 會先利用 Beats 搜集日誌，再將搜集後的 Raw Data （原始資料）傳送至 Logstash 中進行轉換與資料的預處理
（二）集中儲存 ＆ 快速搜尋：ElasticSearch
不同來源的資料 (日誌、數字資料、網頁應用程式) 將被匯入至 Elasticsearch，並在那裡被分門別類的儲存以及收藏，當資料被 Elastic search 索引後，使用者便能對他們的資料進行複雜的查詢
（三）可視化：KiBana
最後再使用 Kibana 建置強大的資料可視化、共享儀表板並管理您的 ElatsicStack。總而言之， 資料分類及儲存需要透過這三個步驟，良好地分工和搭配，因此每個過程均缺一不可。
Elastic Stack(ELK) 的其他功能介紹
一、Kibana Lens
Kibana Lens 是一個易於使用且直觀的 UI（使用者介面），它透過拖曳功能簡化了資料可視化的過程。不論使用者需要探索數十億條日誌或從網站流量中發現新趨勢，只需要幾個簡單的步驟， Lens 便能讓使用者從資料中獲得洞察力。另一項 Kibana Lens 的優勢為，它的操作版面容易操作，透過簡易的拖曳功能，您能夠輕易且快速地打造屬於您專屬的儀表板，就算先前沒有使用過 Kibana，您也能快速上手。
二、地理空間分析
對於許多 Elastic Stack 的使用者來說，「地點」經常是他們探討的議題，無論使用者想預防他們的網站遭到駭客襲擊，或想調查特定區域 Application（應用程式）的緩慢執行時間，還是只是想叫車回家，地理空間資訊都扮演著至關重要的角色。而利用 Elastic Stack 的資料分析與可視化功能，使用者能自行建置客製化的地理資訊儀表板。
三、Elastic Security 資訊安全功能
近來資安對企業越發重要， Elastic 進一步將 Security 資訊安全，整合進 ELK (Elastic Satck) 解決方案中，由下面架構圖可見除了既有的搜索功能、觀測性，還多了 Security。
Elastic Security 建立在 Elastic Stack 之上，包含 Limitless XDR、SIEM、Endpoint Security、Cloud Security 等四大功能，提供端點安全防護、威脅即時檢測、預防和響應等功能，幫助資安人員更快速偵測並杜絕資安問題。更多 Ealstic Security 介紹，請看本篇文章: 10 分鐘了解 Elastic Security 四大功能。
總而言之
Elastic Stack 能將大量來源不同的日誌及資料，利用自身的資料處理流程，將資料進行預處理，再將其分類、儲存至統一的平台，在應用於如資料分析、服務異常預測、資訊安全分析、APM 等。Elasticsearch 與其他關聯式資料庫相比，其處理資料的效率更為優秀，因此如果您的機器資料及日誌日益增多，且需要有效的平台，診斷問題和排除故障，ELK 將是您的最佳選擇。
想了解更多 ELK 相關資訊，請參考 : The Elastic Stack
