AWS 彙整 - 歐立威科技

起飛吧！當開源遇上雲端 – 打造全方位開源資料平台｜2023 AWS 資料應用與資料分析創新應用研討會

Omni — Tue, 13 Jun 2023 07:12:03 +0000

資料應用與分析：歐立威科技獲邀參與 AWS 創新應用研討會

AWS「數聚未來，雲起新機：AWS 資料應用與資料分析創新應用研討會」中，歐立威科技榮幸地參與並展示了我們的全方位開源軟體與資料分析解決方案。

全球已進入資料驅動創新的時代，資料應用在各個領域迅速興起，從 ESG、客戶資料平台 CDP 到 GenAI 等創新應用，都需要資料庫與大數據分析應用的支持，以實現企業創新所需的基礎建設。

起飛吧！當開源遇上雲端 – 打造全方位開源資料平台

在本次活動中，歐立威科技展示的專業顧問服務包含 Elastic、EDB/Postgres、Greenplum、MongoDB 等資料庫/資料倉儲的導入與建置、客製化教育訓練，旨在協助客戶以最有效益的方式進行數位轉型，更快掌握數位浪潮以及其所帶來的數據加值優勢。我們的解決方案與多年服務經驗，成為客戶與合作夥伴最可靠的後盾。

歐立威科技致力於滿足企業客戶及合作夥伴各種資料需求，我們提供環境部署、系統整合、建置開發、教育訓練與技術支援服務。例如，資料庫升級、地端到雲端的資料移轉，幫助客戶平滑過渡到新的資料庫和分析解決方案。此外，我們提供完整的售後服務與技術支援，確保客戶在全新的雲端資料旅程中順利接軌。

我們將繼續努力，為客戶提供最優質的服務，攜手共同實現資料庫管理與分析最佳化的目標。

立即聯繫我們，了解更多關於如何優化您的資料庫管理和數據分析
>> https://www.omniwaresoft.com.tw/contact/

Elastic Cloud Quick Start 幫助 Elastic 在 AWS 上快速部署

Omni — Mon, 04 Jul 2022 09:49:48 +0000

前言

現在，將資料從 AWS 環境中部署、擷取和遷移到 Elastic 上是件輕而易舉的事情，因此您能快速搜集、儲存和查詢資料。並利用 Elastic Cloud Quick Start（一種自動化的參考部署）的性能，快速建置和啟用您的環境，將先前複雜的手動程序大幅地縮減至幾個步驟！

這篇文章中，我們會詳細探討部署環境的細節，Elastic 在 AWS 上的優勢，以及遷移資料時可利用的資源。

輕鬆地在 AWS 上部署 Elastic

利用 Elastic Cloud Quick Start 簡化您的部署程序。如果 Elastic 正在處理地端的工作負載，您能在部署後輕鬆地將它們遷移至 AWS 上的 Elastic。

Elastic Cloud Quick Start 的部署支援以下組件：

AWS 群集上的 Elastic

Elastic Agent 所需的 Amazon Elastic Compute Cloud (Amazon EC2)

Elastic snapshots 所需的 Amazon Simple Storage Service (Amazon S3) Bucket

Elastic Serverless Forwarder 用於擷取資料

AWS Identity and Access Management (IAM) instance role，具有存取 AWS 服務的細粒度權限。

建置安全及高可用的環境

這種部署提供的關鍵組件，幫助您提高環境的延展性和安全性，包括橫跨多個可用區域 (Available Zone) 的高可用架構、虛擬私有雲網路（VPC）和 Elastic Load Balancing (ELB) ，保護網站應用程式受到常見的漏洞攻擊。為了進一步保護您的環境，利用 AWS Cloudtrail 輕易地追蹤使用者的活動，並使用 Amazon VPC 搜集 IP 流量的資訊。

您能夠透過 Elastic Cloud 獲得所有安全功能，以協助您的部署從根本上得到保障，包括但不限於作業系統的加固、網站安全控管、資料傳輸及靜態資料的加密。

無需代理也能搜集資料

AWS Serverless Application Repository 中的 Elastic serverless forwarder，讓您在 AWS 上的 Elastic Cloud 裡擷取資料。另外，Elastic 還有許多針對 AWS 服務的現成可用資源整合－讓您將 AWS 的日誌、圖表和事件無縫地匯入 Elastic ，且無需下載和管理 Software Agents（軟體代理程式）。您能在這篇文章中，了解更多最新的資源整合，和常見的 AWS 服務與 Elastic Enterprise Search、Observability 和 Security 的搭配。

在 AWS 上部署 Elastic 實現效益

透過提升使用者的搜尋體驗，確保關鍵任務應用程式能順利地運轉，利用 Elastic Enterprise Search、 Elastic Observability 和 Elastic Security 的解決方案預防網路威脅，達到更快的（time to value）價值實現時間。透過 Elastic 對 Amazon EC2、Amazon ECS、AWS Fargate 等資源的整合，您能夠監控所有的雲端資源及應用程式。隨著您的應用程式和作業系統在 AWS 上擴展，Elastic 可以幫助您減少工作量和風險，同時協助您提升Actionable Insights（可操作的洞察）。

Elastic Cloud 是匯集所有 Elastic 產品，並透過 cloud-native features （雲端原生功能）拓展 Elastic 解決方案價值的最佳方式。當您將地端的 ELK 工作負載遷移至 Elastic Cloud，您能降低營運成本，更專注於商業價值，並從以下優勢中受益：

無需採購、配置和管理硬體及軟體配件，因此能夠節省大量時間。另外，Elastic 原廠負責維護和保養，服務範圍包括軟體升級、Security Patches（安全補丁）、以及協助您將資料進行快照備份。

透過開箱即用的整合功能來簡化資料擷取的流程。避免營運過程中，安裝、配置和維護（agent-based data shipper）基於仲介資料傳送器的額外開銷。

利用自動擴展功能確保資源負載與資源利用率相互匹配。隨著您擷取更多資料，自動擴展功能和 index lifecycle management (ILM) policy（索引聲明週期管理）相互協作，確保您的資料層提供所需的儲存容量。

透過 Elastic Cloud 的內建多重區域架構，確保 Elastic 提供的服務韌性，因為 single points of failure（單點故障），可能導致您的部署失敗。使用快照自動備份，有助於加快您的災害恢復過程。

透過內建的最佳安全解決方案，協助您達到安全與符合法規的所有需求－這一切都要歸功於一群擁有上千小時資訊安全經驗的工程師，竭盡所能地守護雲端環境。另外，Elastic Cloud 不斷地受到來自獨立第三方團體的審查，以符合資安、法規和業界隱私標準。

將資料從地端遷移至 AWS 上的 Elastic 程序自動化

您已經擁有自主管理、地端的 Elastic 工作負載了嗎？利用 Elastic 與 AWS 共同研發的最佳解決方案和工具，確保您能夠快速且順利地將資料遷移至 AWS 上的 Elastic Cloud。這篇文章將介紹自助遷移的途徑選項、可用資源、以及 10 個簡單的「操作方法」步驟來自動化您的遷移。閱讀這篇遷移文檔，並根據您的使用情況，提供更多合適的遷移選項資訊，或閱讀 AWS Prescriptive Guidance ，了解更多關於資料遷移、備份快照及災害復原的資訊。

Elastic 是 AWS ISV Workload Migration Program (WMP) 的官方認證夥伴，這項計畫透過到場教育訓練、資源遷移和資助 AWS 基礎架構的信貸及資金，支援 ISV 將工作負載遷移至 AWS。

早點實現 Elastic 在 AWS 上的效益吧！

準備好將無窮的資料轉換成無限可能了嗎？Elastic 的 search-powered solutions 可以祝您一臂之力。在 AWS Marketplace 上註冊就能獲得 7 天的免費試用。在 AWS 上的雲端市集中購入 Elastic，您能夠整合您在雲端上的成本，達到更好的成本節省和管理。快點部署 Elastic Cloud Quick Start ，您就能按照步驟，將現有的地端 Elastic 工作負載遷移至 AWS 。

本文翻譯自：Simplify your Elastic on AWS deployment with the Elastic Cloud Quick Start

AWS FireLens 與 Elastic Cloud：用無代理 (Agentless) 資料提取加快洞察時間

Omni — Wed, 12 Jan 2022 06:00:06 +0000

現在可以使用 Amazon Web Services (AWS) FireLens 將容器日誌和事件直接發送到 Elastic Cloud。 AWS FireLens 是適用於 Amazon Elastic Container Service (Amazon ECS) 的容器日誌路由器 (log router)：Amazon Elastic Compute Cloud (Amazon EC2) 和 AWS Fargate。該整合幫助 DevOps 和 DevSecOps 人員 — 從傳輸和省成本的日誌保存，到監控及威脅分析 — 簡化了整個 AWS 日誌管理。

此文章將介紹如何開始使用 AWS FireLens 將無代理 (agentless) 資料提取到 Elastic Cloud。

簡化日誌和事件的傳送過程

在過去，要將容器日誌和事件傳送到不同地方，十分耗時且具有挑戰性。現在就向費時的作業告別，如將日誌發送到 Cloudwatch、維護 Fluent Bit sidecar 日誌聚合器、額外安裝軟體或額外編寫程式。現在的資料傳送和以往不同了，將會把在 ECS 上運行的應用程式日誌發送到 Elastic Cloud。

簡化搜索、分析及保存日誌

從 FireLens 導出資料並將其儲存在 Elasticsearch 中後，您便能在幾分鐘內用 Kibana 搜索並視覺化資料。您還可以將其他伺服器、虛擬機和容器的日誌、指標和追蹤資訊傳送到 Elastic，並在統一的平台上進行分析與管理。

利用 Elastic Observability 深入了解應用程式並減少分析根本原因所耗的時間。藉由機器學習的異常檢測 (anomaly detection) 和自動關聯 (automated correlations)，快速分析程式碼、層級追蹤 (level traces)、日誌和指標、服務間的依賴性，與機器學習未知的未知物 (unknown unknowns)。

Elastic Security 將平均檢測時間降低至零。擴展相同資料的使用範圍以更加利用擴展保護 (extended protection) 和回應 (response) 的 XDR。整合 SIEM 和端點安全資料，以預防、檢測和因應最新的網路威脅。
隨著資料增加，Elastic 的自動擴展和索引生命週期管理功能 (index lifecycle management) 可在性能和儲存成本之間取得平衡的同時，確保不會遺失任何資料。

輕鬆上手 Elastic 和 AWS FireLens

我們從一個簡單的範例開始：用 FireLens 將容器日誌從 Amazon ECS 轉傳到 Elastic Cloud。此示意圖是 FireLens 的相對標準敘述，圖中 Amazon ECS 中的容器正將容器日誌轉傳到 Elastic Cloud。

FireLens 任務設定步驟：

設定任務定義 (task configuration)。您可以從 GitHub 上的 Amazon ECS FireLens 範例中找到範例定義。
使用您任務的 RoleArn,executionRoleArn IAM roles, Elastic Cloud_Auth and Cloud_ID 來更新及取代 AWS Identity and Access Management (IAM) 角色。可以在 GitHub 存儲庫中找到更新的任務定義和實施此解決方案的自述文件。您還可以查看下面的任務詳細信息作為示例。實行該解決方案的最新任務定義和自述文件 (readme) ，皆可在 GitHub Repository 中找到。您還可以參考下方的任務詳細資訊。

如果您要傳送 Amazon ECS Fargate 容器日誌，請將前幾行替換為以下設定。

設定步驟：

確認已安裝 ECS CLI 和 AWS CLI，若未安裝，請先按照 AWS 安裝指南進行操作。
打開名為 `enable-fluent-log-driver.sh` 的新文件並儲存以下資訊，以啟用 ECS agent 中的 Fluentd log driver :

使用以下指令在 ECS 上建立 EC2 或 Fargate 集群

將任務定義保存到內部文件 `task_definition.json` 並使用 AWS CLI 進行註冊：

5. 建立 ECS service。

當 service 開始運行時，您應該會看到日誌經 Kibana 流入 Elasticsearch。下圖呈現了在 Elastic 中進行的查詢，並能在 Kibana 中視覺化。

在 Kibana 中，您可以視覺化 Elastic 索引中的資料。然後您可以依據 Elastic 上進行的查詢，用儀表板呈現相關資料。用 Elastic aggregations 來提取和處理資料，便能建立圖表和圖形來顯示資料高峰、下降和趨勢。下圖為 Kibana 儀表板的範例。

Elastic 和 AWS 在技術方面的合作，如 FireLens 整合，成功簡化資料提取，且 Elastic 為 DevOps 和 DevSecOps 人員提供安全和合規的統一介面來管理。Elastic 的即用 AWS 整合和儀表板使您能夠一起監控 AWS 和內部環境，從而了解基礎架構、應用程式與整體健康狀況。

AWS FireLens 與 Elastic Cloud 的完美整合

您準備好從單一平台簡化資料提取並管理所有容器日誌了嗎？ Elastic 不斷迭代為您提供順暢的體驗，使您能夠在任何地方運行 —— 這種與 AWS 的整合只是其中的一個例子。 Elastic Cloud 豐富了 Elastic Stack 的價值，讓您可以做得更多、更快。有關其他 AWS 整合的更多資訊，請參考 Elastic integrations library。

Elastic 和 AWS：加速雲端遷移的腳步

Omni — Mon, 03 Jan 2022 06:02:46 +0000

本篇文章將探討 Elastic 和 AWS 如何加快 workloads 遷移的速度，並確保資料順利轉移到雲端。
雲端服務帶來了敏捷和成本效益，但可能因雲端遷移過程和複雜的管理而引發挑戰。Elastic 讓整個組織在雲端作業的每個階段一即便他們遷移 workloads 一都可在單一平台監控、分析和維護 Amazon Web Services (AWS) 及其內部作業。這有助於減少時間和成本，同時降低風險。

雲端作業的優勢與挑戰

數位轉型背後有許多商業因素：從提供更好的客戶服務和提高生產力，到支援應用程式現代化和 AI。企業也希望雲端能帶來擴展性來滿足現今嚴密的規範及安全準則，同時簡化資料結構。使用雲端的主要目的是加快上市時間、提升洞察，和降低整體 IT 成本。

但是，雲端遷移並非全無風險。企業經常會面臨的挑戰為：

複雜性 (Complexity)：通常需遷移上千個微服務 workloads，若無法掌握複雜度，會在技術問題的處理和決策上造成阻礙。
耗時 (Time)：基本上雲端遷移需耗時多年，要在預算與指定時間內完成是很大的挑戰。
適當調整 (Right-sizing)：在遷移之前，需要檢查內部的 workloads，並適當調整雲端中的資源需求（多少 RAM 等），以避免以後有額外費用等超支問題。
重新調整架構 (Re-architecture)：可能需為了雲端重新調整應用程式。尤其是對於傳統的單體應用程式，因為這些應用程式不易藉由容器化、編排、無伺服器和其他原生雲端技術來達到規模擴展和敏捷的優勢。
性能 (Performance)：應用程式可能會因遷移而變慢甚至整個停止。資料引力 (data gravity)、互動力 (interopearbility)，和對非雲端應用程式的依賴通常是該領域的問題。
安全性 (Security)：還需考量資料外洩、資料遺失和外部攻擊。

確保成功又安全的雲端遷移

帶您一窺雲端遷移的每個階段

為了順利做雲端遷移，必須對 AWS、內部應用程式和基礎架構有全面的了解。Elastic 在雲端遷移的每個階段提供統一的混合雲端和多重雲端的可視性。

遷移前：掌握內部應用程式基礎架構能幫助了解微服務的應用程式跟單體應用程式。在此階段，Elastic 使用 service mapping、客戶對應用程式的體驗監測、成本評估、應用程式組合評估和精簡架構來呈現應用程式架構及依賴度。
遷移期間：遷移期間的混合環境監控，可幫助驗證性能和自動判別用戶體驗，如高延遲或錯誤，這些問題通常是因將複雜的內部架構遷移到更分散式的雲端架構而導致的。分散式跟蹤 (distributed tracing) 和 service dependency mapping，對了解整個應用程式組合的微服務架構 (MSA) 和第三方依賴 (third-party dependencies) 特別有價值。
遷移後：遷移後的檢查十分重要。有了 Elastic，團隊可以建立吿警和事件管理，並監控所有雲端資源的正常運行時間和可用性，也能提升問題解決效率、洞悉趨勢並根據雲端使用情況進行優化。

Elastic 提供多種工具和服務來促進自動化和加速雲端遷移流程。

雲端中的 Observability：用精選應用程式更快創造價值

鑑於管理多個雲端平台和內部平台越來越複雜，企業管理協會 (EMA) 的研究顯示：可觀察性 (observability) 正成為各企業的首要目標和 DevOps 團隊的一大挑戰。該研究還指出，DevOps 團隊花了 50% 的時間來尋找問題的原因，但隨著企業在其環境中引入不同的雲、軟體和架構，這情況可能會更加嚴重。現在必須為這類問題採取應對措施及正確的技術。根據 EMA 的研究，部署 Observability 之後能將開發速度提高 70%，並將產品速度提高四倍。

Elastic Observability 能讓您統一監控整個雲端和內部生態系統，因此開發人員可監控環境中任何地方發生的事件並做出應對。 Elastic 將日誌、指標和 APM 追蹤集中在一起，透過內建的機器學習將日誌、指標和 APM 追蹤大規模整合到一個 stack 中，以幫助用戶在意識到問題之前，能檢測問題並找出原因。

Elastic Observability 強大特色為：

對基礎架構和應用程式日誌，以及其他結構化事件做集中日誌分析
對所有基礎架構中的日誌、指標和正常運行時間進監控
對應用程式的日誌、指標、分散式跟蹤、錯誤追蹤、service dependency mapping 和 API 運行狀況進行應用程式性能監控
終端用戶體驗監控提供真實用戶監控、網站可用性監控和基於瀏覽器的綜合監控

雲端中的安全性：共同責任

相同的 observability 資料還可用於擴展 (extended)、檢測 (detection) 和響應 (response，即 XDR)，如此可將平均檢測時間推向零。 Elastic Security 可自動執行安全檢測和預防任務，因此組織可以專注於創新和業務目標。在 AWS Well-Architected Framework 的共同責任模型中，Elastic 為這些安全事件提供工具，而 AWS 則提供基礎架構，這些架構由 AWS 雲端服務的硬體、軟體、網路和裝置所組成。

Elastic 與 AWS 聯手開拓未來

Elastic 已被認定為 AWS ISV Workload Migration Program (WMP) 的合作夥伴，將自行管理的內部 Elasticsearch 或 ELK workloads 遷移到 AWS 的 Elastic Cloud。Elastic 為客戶提供了一種可重複的方式來加速遷移，並與 AWS 發布的遷移指南和最佳實踐保持一致，包括 AWS Well-Architected Framework 和 AWS Migration Acceleration Program。透過 AWS WMP 計劃，Elastic 客戶可以進一步利用入門指南、遷移資源、AWS 基礎架構積分 (infrastructure credits) 和資金援助來實現他們的目標，並加速雲端遷移。

了解更多 Amazon Web Services (AWS) 或 Elasticsearch產品介紹，或聯絡我們。