Logstash 是一種輕量型且開源的伺服器端資料處理管道,能夠從多個資料源擷取、轉換、再將其傳送至您的「存放區」。即使資料複雜多元,Logstash 依然能靈活運用動態搜索以找到正確資料,並即時轉換、傳送到指定之處,且不受資料源格式和架構影響。當 Logstash 與 Kibana、Elasticsearch 和 Beats 結合使用時,它的日誌處理效能將會非常強大。
Logstash 有個具有 200 多個插件的可插拔架構。能混合、匹配和編排各種輸入、過濾及輸出,以便在流程中和諧運作。想從一個客製化應用程式中獲取資料 ? 但找不到適合的插件 ? Logstash 的插件很容易打造,它有個用於開發插件的出色 API 和插件產生器,幫助您建立及分享創作。
二、隨插即用 – 利用 Elastic Stack 加速提升洞察力
Logstash 模組利用 ArcSight 和 NetFlow 等熱門的資料源實現了資料收錄到視覺化的流程。Logstash 即時部署獲取管道 (ingestion pipline) 和精密儀表板,讓您能在幾分鐘內開始資料探索。
若 Logstash 不幸故障,它會透過其永久佇列保證至少傳送一次正在進行中的事件。Logstash 持久性的隊列 (persistent queue) 會為您正在執行中的資料提供至少一次的輸出保固。沒有成功處理的事件會被轉移至死信佇列 (Dead letter queue) 進行檢驗和重放。鑒於 Logstash 有充足的吞吐力,其無需使用 外部佇列層 (External queueing layer) 來擴展 就能利用應付資料收取的高峰 (Ingestion spikes) 進行擴展。此外,對於資料收取管道 ingestion pipeline 的安全性也完全不必優心。
使用 Pipeline Management UI 來掌管您的 Logstash 部署,這讓協作和管理您的 pipeline 變得輕而易舉。 管理控制介面也無縫整合了內建的安控功能,避免任何偷接的通道 (Unintended rewiring)。
無論資料的格式或複雜度,Logstash 皆能動態收錄、轉換並傳送您的資料。Logstash 運用 grok 從非結構化資料萃取出結構化資料、從 IP 位址中辨認出精確座標、匿名化或排除敏感內容並簡化整體流程。
資料往往以雜亂的形式分散或單一儲存在許多系統。Logstash 支援許多資料來源,這些模式能從眾多來源導入事件。也能流暢地從您的日誌、指標、應用程式、數據儲存及 AWS 雲端服務中輕鬆索取資料。
從資料來源到儲存的過程中,Logstash 過濾器解析每個事件並辨別命名字段以將其結構化,再將其轉換為通用格式以獲得強大的分析與商業價值。
無論格式或複雜度,Logstash 皆能動態轉換和準備好您的資料:
探索更多無窮可能性請參考 library of filters 和 Elastic Common Schema
雖然 Elasticsearch 開啟了搜索和分析的大門,成為我們的首選輸出,但他並非唯一輸出方式。 Logstash 有許多輸出的方法把資料導出到任何地點,讓你擁有足夠的彈性,沒有任何資料下行的限制。
在監測方面,Logstash pipelines 是很尖端且多用途的,它讓性能、可用性和瓶頸變得清晰可見,因而可以發揮更大的價值。利用監測和檢視器 (Viewer) 的功能,您能輕易地觀察和研究 Logstash 啟用的節點或全面的部署狀況。
想了解更多 Elastic 資訊,請閱讀 什麼是 ELK ? 又為何叫做 Elastic Stack ? 、Kibana – 通往 Elastic Stack 的窗口 、10 分鐘了解強大搜尋引擎 ー Elasticsearch