Logstash – 輕易集中、轉換和儲存您的資料

tableau_webinar
《歐立威科技 2021 系列研討會》10/6 | Tableau 小教室 – 動態參數的應用技巧
2021-09-13
tableau webinar
《歐立威科技 2021 系列研討會》10/13 | Tableau 小教室 – 報表製作常見卡關情境分享
2021-09-22

logstash

什麼是 Logstash ?

Logstash 是一種輕量型且開源的伺服器端資料處理管道,能夠從多個資料源擷取、轉換、再將其傳送至您的「存放區」。即使資料複雜多元,Logstash 依然能靈活運用動態搜索以找到正確資料,並即時轉換、傳送到指定之處,且不受資料源格式和架構影響。當 Logstash 與 Kibana、Elasticsearch 和 Beats 結合使用時,它的日誌處理效能將會非常強大。

 

Logstash 的 4 大優勢

一、擴展性 – 依您的方式創建和配置專屬流程

Logstash 有個具有 200 多個插件的可插拔架構。能混合、匹配和編排各種輸入、過濾及輸出,以便在流程中和諧運作。想從一個客製化應用程式中獲取資料 ? 但找不到適合的插件 ? Logstash 的插件很容易打造,它有個用於開發插件的出色 API 和插件產生器,幫助您建立及分享創作。

 

二、隨插即用 – 利用 Elastic Stack 加速提升洞察力

 Logstash 模組利用 ArcSight 和 NetFlow 等熱門的資料源實現了資料收錄到視覺化的流程。Logstash 即時部署獲取管道 (ingestion pipline) 和精密儀表板,讓您能在幾分鐘內開始資料探索。

 

三、耐用性與安全性 – 專為資料傳輸而生

若 Logstash 不幸故障,它會透過其永久佇列保證至少傳送一次正在進行中的事件。Logstash 持久性的隊列 (persistent queue) 會為您正在執行中的資料提供至少一次的輸出保固。沒有成功處理的事件會被轉移至死信佇列 (Dead letter queue) 進行檢驗和重放。鑒於 Logstash 有充足的吞吐力,其無需使用 外部佇列層 (External queueing layer) 來擴展 就能利用應付資料收取的高峰 (Ingestion spikes) 進行擴展。此外,對於資料收取管道 ingestion pipeline 的安全性也完全不必優心。

 

 四、管理與協作 – 利用單一使用者介面 (UI) 集中管理部署工作

使用 Pipeline Management UI 來掌管您的 Logstash 部署,這讓協作和管理您的 pipeline 變得輕而易舉。 管理控制介面也無縫整合了內建的安控功能,避免任何偷接的通道 (Unintended rewiring)。

 

Logstash 的 3 大步驟:輸入、過濾、輸出

無論資料的格式或複雜度,Logstash 皆能動態收錄、轉換並傳送您的資料。Logstash 運用 grok 從非結構化資料萃取出結構化資料、從 IP 位址中辨認出精確座標、匿名化或排除敏感內容並簡化整體流程。

一、輸入-即時解析

資料往往以雜亂的形式分散或單一儲存在許多系統。Logstash 支援許多資料來源,這些模式能從眾多來源導入事件。也能流暢地從您的日誌、指標、應用程式、數據儲存及 AWS 雲端服務中輕鬆索取資料。diagram-logstash-inputs.svg

二、過濾-轉換資料

從資料來源到儲存的過程中,Logstash 過濾器解析每個事件並辨別命名字段以將其結構化,再將其轉換為通用格式以獲得強大的分析與商業價值。

無論格式或複雜度,Logstash 皆能動態轉換和準備好您的資料:

  • grok 將非結構化資訊結構化
  • 從 IP 位址中辨認出精確座標
  • 匿名化私人資訊、完整排除敏感內容
  • 簡化流程,且不受資料來源、格式或架構影響

探索更多無窮可能性請參考 library of filters  Elastic Common Schema

三、輸出-選擇您的 Stash,並傳送資料

雖然 Elasticsearch 開啟了搜索和分析的大門,成為我們的首選輸出,但他並非唯一輸出方式。 Logstash 有許多輸出的方法把資料導出到任何地點,讓你擁有足夠的彈性,沒有任何資料下行的限制。

diagram-logstash-outputs.svg

其他 Logstash 應用

  • 視覺化和監控功能

    在監測方面,Logstash pipelines 是很尖端且多用途的,它讓性能、可用性和瓶頸變得清晰可見,因而可以發揮更大的價值。利用監測和檢視器 (Viewer) 的功能,您能輕易地觀察和研究 Logstash 啟用的節點或全面的部署狀況。

     

 

想了解更多 Elastic 資訊,請閱讀 什麼是 ELK ? 又為何叫做 Elastic Stack ?Kibana – 通往 Elastic Stack 的窗口 、10 分鐘了解強大搜尋引擎 ー Elasticsearch