不要被數據淹沒！為什麼數據湖成為過去式？

作為安全分析領域的領導者，我們 Elastic® 經常被詢問有關長期數據分析架構的建議。

而「無限數據」的概念往往是一個嶄新的想法。

其他安全分析供應商在支持長期數據保存和分析方面面臨困難，並持續散播一種迷思，認為企業別無選擇，只能部署一個緩慢且笨重的數據湖（或數據沼澤）來長期存儲數據。

讓我們來打破這個迷思！

在 Elastic，「無限數據」並非遙不可及的夢想，而是現實。

數以千計的客戶已經從統一的數據層中受益，該數據層能以經濟實惠且快速可訪問的方式，維持數月甚至數年的可操作數據。

圖 1：大多數數據湖的樣子。圖片由 DALL·E 生成。

為什麼組織現在需要長期可操作的數據？

SolarWinds 攻擊事件顯示出快速處理檔案存檔的必要性，而大多數組織要麼將數據孤立於緩慢的數據沼澤中，要麼根本沒有保留這些數據。

該攻擊於 2020 年 12 月下旬被發現，影響了數萬家公司，而真正令人震驚的是，攻擊者早在 15 個月前就已開始滲透網絡。

瞬間，全球的首席信息安全官（CISO）都需要知道：「我們在過去一年中是否看到了這次攻擊的跡象？」

因此，許多防禦者開始查詢合規和治理系統（數據湖或數據沼澤），但這些系統並未設計為能夠提供快速且可靠的答案。

這種「猜測……重新加載……搜索……再重來」的過程不僅極其緩慢——需要數小時才能將信息上線並可供搜索——而且還不夠準確。

分析師可以對需要分析的時間範圍做出合理假設，但往往無法對存儲的信息提供全面的保證。

SolarWinds 攻擊事件比近期記憶中的任何其他事件更清楚地表明，防禦組織免受持續攻擊的從業者需要一種能快速且完全可靠地搜索歷史數據的方法。

請記住，僅僅確定攻擊是否發生是不夠的。

您還需要能夠確定攻擊的根本原因、全面範圍，並制定補救計劃。

分析師感覺自己正淹沒在這些數據湖中，無法提取出組織急需的信息和保證。

隨著時間流逝，領導者失去了信心，並開始問：「難道沒有更好的方法嗎？」

推薦閱讀：全面解析 Elastic APM Go Agent：效能優化的祕密武器！

Elastic 的無限數據

Elastic 無法違背物理定律，然而，作為數據分析領域十年的領導者，我們以獨特的方式解決這個問題。

我們深知，要實現足夠快速的分析以防止損害和損失，數據平台必須在存儲數據時對其進行結構化。

我們的「寫入即索引」方法正是我們成為最佳開源數據分析平台領導者的部分原因。

通過專注於在 Elasticsearch® 中存儲數據時對其進行結構化，這也使得在廉價的對象存儲上實現卓越的搜索性能成為可能。

與競爭對手的解決方案不同，Elastic 在對象存儲中搜索數據時，無需重新加載其全部內容。

只需查看索引元數據，如果在索引中找到可以回答用戶問題的信息，則從對象存儲中檢索該信息。

在我們的文檔中，我們將此功能稱為「冷凍層可搜索快照」（frozen tier searchable snapshots）。

可搜索快照允許在系統中的所有數據上運行以前不可能的查詢。

但如果涉及多個系統呢？例如，跨越 Amazon AWS、Microsoft Azure 和 Google Cloud 等雲端超大規模服務商，以及本地部署的系統？Elastic 再次創新，推出了一種名為「跨集群搜索」（cross-cluster search）的分佈式查詢功能。

該功能允許分析師同時查詢所有部署，數據保留在其收集的位置。

對用戶來說，這種聯邦式查詢幾乎是無形的——查詢本身完全相同。

例如，想要尋找 Sunburst 攻擊的證據？只需撰寫一次查詢，並指向所有數據。

Elastic 解決方案知道數據的位置，並相應地將查詢分佈到各系統。

現在，分析師可以從一個界面搜索並訪問全球數據。

這項功能大幅降低了數據傳輸和存儲的成本——僅需通過網絡傳輸查詢和匹配結果，同時還有助於維護數據主權。

結合這些無限數據功能，您將擁有前所未有的數據訪問能力。

數據可以存在於全球任何地方的 Elastic 部署中，甚至是雲端超大規模服務商的快照或對象存儲中，或本地系統中，並且可以通過單一界面訪問。

與 Elastic 的一切一樣，無限數據是以極快的速度為核心設計的。

例如，假設您想運行由 Elastic Security Labs 團隊設計的高級關聯規則。

在典型的 Elastic Security 部署的熱層中，該查詢可以在 6 秒內返回所有數據的答案。

而對冷凍數據（例如 S3 中的對象存儲）運行相同的查詢，則僅需 18 秒即可返回答案。

Elastic Security 中的無限數據

Elastic Security 的無限數據

Elastic Security 將 SIEM（安全信息與事件管理）、安全分析、XDR（擴展檢測與響應）、端點安全和雲安全整合為一個統一的解決方案，並提供單一的用戶界面。

這一切都得益於 Elasticsearch 的支持，Elastic Security 充分發揮了無限數據的力量。快速且可靠地分析以往孤立的數據，正在幫助我們的用戶以全新的方式取得成功：

威脅檢測

Elastic Security Labs 提供了超過一千條針對多種數據領域（如主機、網絡和用戶）的預建規則。

雖然大多數 SIEM 只能針對流式數據運行檢測，但在 Elastic 中，這些規則本質上只是搜索。

此外，與其他供應商不同，我們的規則在產品內部和開放的 GitHub 存儲庫中都是完全開放的。

這意味著用戶可以輕鬆修改任何規則，僅需更改規則的回溯時間即可將其應用於數週、數月甚至數年的歷史數據。

高級實體分析

除了規則之外，我們的機器學習異常檢測、監督式機器學習模型以及內置的主機和用戶風險評分也可以無縫運行於無限數據基礎設施上。

這意味著我們的無監督模型除了能夠執行近乎實時的異常檢測外，還可以回溯分析比其他 SIEM 平台通常能處理的更長時間跨度的數據。

威脅狩獵與事件響應

正如 SolarWinds 攻擊所顯示的，威脅狩獵與事件響應是 Elasticsearch 的歷史分析速度真正大放異彩的地方。

對分析師來說，Elastic 的調查工作空間會自動聯邦式搜索任何已連接的遠程系統（集群），甚至包括對象存儲，以完全回答「我們以前是否見過這種情況？」這一問題。

儀表板和其他可視化

Elastic 中的任何數據都可以驅動我們直觀的可視化工具，例如 Lens。再次強調，數年的數據觸手可及，用於支持儀表板和報告。

所有這些強大功能——仍比傳統數據湖更經濟實惠

無限數據的最大優勢之一，除了能夠支持分析師工作流程、檢測技術並提供全面的業務保障外，就是它的高性價比。

全球的客戶已經在利用冷凍層可搜索快照和跨集群搜索的結合力量——無限數據——為其組織提供前所未有的安全保障。

我們一次又一次地發現，我們的實現方式不僅比傳統數據湖更強大，還更具成本效益。

例如，一位每年平均處理約 20TB 數據的客戶，在其數據湖費用上節省了 10%。

更重要的是，他們不僅節省了成本，還實現了以前無法完成的工作流程。

如果需要一個極大規模的例子，可以看看美國的網絡安全與基礎設施安全局（CISA）。

本文翻譯自：Don’t drown in your data — Why you don’t need a data lake

想了解更多資訊，歡迎聯絡我們，或是加入歐立威 Line 好友！