Logstash – 輕易集中、轉換和儲存您的資料

什麼是 Logstash ?

Logstash 是一種輕量型且開源的伺服器端資料處理管道，能夠從多個資料源擷取、轉換、再將其傳送至您的「存放區」。即使資料複雜多元，Logstash 依然能靈活運用動態搜索以找到正確資料，並即時轉換、傳送到指定之處，且不受資料源格式和架構影響。當 Logstash 與 Kibana、Elasticsearch 和 Beats 結合使用時，它的日誌處理效能將會非常強大。

Logstash 的 4 大優勢

一、擴展性 – 依您的方式創建和配置專屬流程

Logstash 有個具有 200 多個插件的可插拔架構。能混合、匹配和編排各種輸入、過濾及輸出，以便在流程中和諧運作。想從一個客製化應用程式中獲取資料 ? 但找不到適合的插件 ? Logstash 的插件很容易打造，它有個用於開發插件的出色 API 和插件產生器，幫助您建立及分享創作。

二、隨插即用 – 利用 Elastic Stack 加速提升洞察力

 Logstash 模組利用 ArcSight 和 NetFlow 等熱門的資料源實現了資料收錄到視覺化的流程。Logstash 即時部署獲取管道 (ingestion pipline) 和精密儀表板，讓您能在幾分鐘內開始資料探索。

三、耐用性與安全性 – 專為資料傳輸而生

若 Logstash 不幸故障，它會透過其永久佇列保證至少傳送一次正在進行中的事件。Logstash 持久性的隊列 (persistent queue) 會為您正在執行中的資料提供至少一次的輸出保固。沒有成功處理的事件會被轉移至死信佇列 (Dead letter queue) 進行檢驗和重放。鑒於 Logstash 有充足的吞吐力，其無需使用 外部佇列層 (External queueing layer) 來擴展 就能利用應付資料收取的高峰 (Ingestion spikes) 進行擴展。此外，對於資料收取管道 ingestion pipeline 的安全性也完全不必優心。

 四、管理與協作 – 利用單一使用者介面 (UI) 集中管理部署工作

使用 Pipeline Management UI 來掌管您的 Logstash 部署，這讓協作和管理您的 pipeline 變得輕而易舉。 管理控制介面也無縫整合了內建的安控功能，避免任何偷接的通道 (Unintended rewiring)。

Logstash 的 3 大步驟：輸入、過濾、輸出

無論資料的格式或複雜度，Logstash 皆能動態收錄、轉換並傳送您的資料。Logstash 運用 grok 從非結構化資料萃取出結構化資料、從 IP 位址中辨認出精確座標、匿名化或排除敏感內容並簡化整體流程。

一、輸入－即時解析

資料往往以雜亂的形式分散或單一儲存在許多系統。Logstash 支援許多資料來源，這些模式能從眾多來源導入事件。也能流暢地從您的日誌、指標、應用程式、數據儲存及 AWS 雲端服務中輕鬆索取資料。

二、過濾－轉換資料

從資料來源到儲存的過程中，Logstash 過濾器解析每個事件並辨別命名字段以將其結構化，再將其轉換為通用格式以獲得強大的分析與商業價值。

無論格式或複雜度，Logstash 皆能動態轉換和準備好您的資料:

• grok 將非結構化資訊結構化
• 從 IP 位址中辨認出精確座標
• 匿名化私人資訊、完整排除敏感內容
• 簡化流程，且不受資料來源、格式或架構影響

探索更多無窮可能性請參考 library of filters 和  Elastic Common Schema

三、輸出－選擇您的 Stash，並傳送資料

雖然 Elasticsearch 開啟了搜索和分析的大門，成為我們的首選輸出，但他並非唯一輸出方式。 Logstash 有許多輸出的方法把資料導出到任何地點，讓你擁有足夠的彈性，沒有任何資料下行的限制。

其他 Logstash 應用

• 視覺化和監控功能

  在監測方面，Logstash pipelines 是很尖端且多用途的，它讓性能、可用性和瓶頸變得清晰可見，因而可以發揮更大的價值。利用監測和檢視器 (Viewer) 的功能，您能輕易地觀察和研究 Logstash 啟用的節點或全面的部署狀況。

   

  

想了解更多 Elastic 資訊，請閱讀 什麼是 ELK ? 又為何叫做 Elastic Stack ? 、Kibana – 通往 Elastic Stack 的窗口 、10 分鐘了解強大搜尋引擎 ー Elasticsearch