2021.08.04 《歐立威科技 2021 系列研討會》8/4 | Greenplum X CDC,打造高速實時流數據處理引擎
內容目錄
《免費報名》填寫回饋問卷再拿咖啡兌換券!
前次活動我們介紹過 Greenplum 的流數據整合方案 (研討會回顧影片),本次活動分享如何以 Greenplum 整合 Debezium CDC 技術,打造成近實時的流數據處理。
企業收集數據的一直在變化,資料庫如何在每次數據更改時做出反應,而無需更改修改數據的應用程序呢?
透過 CDC 技術監控資料庫, 並讓任何應用程序按照提交到資料庫的順序,流式傳輸每個行級更改。 Greenplum 為最先進的開源大數據平台,強大分散式的 SQL 處理能力,具備處理複雜問題的優勢。 Greenplum 在開源的基礎上,提供了新的高速流數據引擎 gpKafka, 進而將 Greenplum 強大的 SQL 處理能力引入到流計算領域。
變更資料捕獲 (CDC) 是一種用來追蹤資料庫資料表中的資料列層級變更的技術,以回應建立、更新和刪除作業。 Debezium 是以不同資料庫中可用的 CDC 功能為基礎的分散式平臺 (如 PostgreSQL、Greenplum) 。
Debezium 是一個用於更改數據捕獲的開源分佈式平台。啟動後將其指向資料庫,應用程序就可以開始響應其他應用程序提交到資料庫的所有新增、更新和刪除等操作。 Debezium 耐用、快速,因此應用程序可以快速響應,也不會錯過任何事件。
?研討會有QA時間,由講師解答各種問題!
時間 |
議程 |
講師 |
10:55~11:00 |
來賓報到 |
– |
11:00~11:05 |
Opening |
歐立威科技 技術協理 Alex |
11:05~11:55 |
Greenplum X CDC,打造高速實時流數據處理引擎 |
歐立威科技 技術協理 Alex |
11:55~12:00 |
Q&A |
歐立威科技 技術協理 Alex |
本活動完全免費並在線上進行,歡迎對 Greenplum 有興趣的朋友參與,報名成功後會議連結會寄至報名信箱,請留意!**請以公司信箱報名以加速審核**
此次研討會除了介紹 Tableau 產品整體架構之外,還會針對 Tableau Desktop 進行操作示範,一起來看看它擁有什麼強大的功能吧!
在本次研討會中,HashiCorp 亞太區架構師將帶您探討雲端營運模式的意義,並為 IT 團隊提供雲端營運的解決方案。手刀報名,了解 HashiCorp 如何幫助您的組織自動化、標準化和管理基礎架構配置!
Postgres Vision 2021為全球 Postgres 技術線上會議,本場研討會由資深顧問精挑細選最核心的精華內容,整理成1.5 小時的滿滿乾貨,讓您快速掌握 Postgres 的最新技術與未來趨勢!
流數據處理能力已經成為衡量大數據平台計算能力的一個關鍵指標。Greenplum 為最先進的開源大數據平台,強大分散式的 SQL 處理能力,具備處理複雜問題的優勢。 Greenplum 在開源的基礎上,提供了新的高速流數據引擎 gpKafka, 進而將 Greenplum 強大的 SQL 處理能力引入到流計算領域。
聚合能夠處理數據記錄並回傳計算結果,將來自多個文檔的值分組在一起,對分組後的數據執行各種操作並返回單個結果。MongoDB 的聚合框架以數據處理管道(pipeline)的概念為模型,文檔進入多階段管道,再將文檔轉換為匯總結果。本次研討會將介紹 MongoDB Aggregation Pipeline 基本觀念,基礎語法操作與應用。
GPFDIST 是 Greenplum Database parallel file distribution program,專門用於處理 Greenplum 對外部檔案進行讀取或寫。由於 GreenPlum 將自身定位為可處理 PB 等級資料的數據倉儲產品,因此在實際應用場景中,必然會有 ETL 大量資料匯入的需求,此時就可以透過 GPFDIST 以平行處理、協同作業的方式進行極為快速的資料處理。
本場研討會將探討過去令許多人頭痛的 Shard Key 不可改的問題,如何透過 Reshard 新功能迎刃而解?實際使用又會遇到什麼困難和眉角?和我們一探究竟吧!
本場活動將介紹「資訊安全 – Elastic Security」,Elastic 參與多年 MITRE ATT&CK 評比,提供企業專業的資訊安全防護,融合了機器學習(Machine Learning)邁向 AI Security 自動化。
在不到兩年的時間裡,Southwest IT 全面虛擬化的比例從 0% 上升到 40%,這將配置服務器的時間從六天縮短到一小時。使用 Pivotal GemFire 來執行線上門戶等重要應用程式,而這些佔總業務的 80% 以上。Pivotal 使西南航空能夠推出受歡迎的社交媒體管道,每月訪問量高達數百萬。
Level of Detail (LOD) 指的是資料的分類層級、最小單位依據。例如:我們可以利用 Tableau 將日期資料細分為年、年月日等,使資料能夠分開檢視不同的詳細層級,以進行彙總統計分析。此次研討會將會介紹 LOD 的概念與應用,並說明在 Tableau 中資料的操作順序,讓你能夠更靈活的分析數據!
實際製作儀錶板時,使用者常常遇到一些操作、設計上的瓶頸,無法順利實踐腦中的構想。本次研討會將介紹使用 Tableau 製作儀錶板的重要概念及常用設計。
Pyramid Analytics 是一個一站式分析平臺,搭配額外的模組「Tabulate」,就可以同時滿足 BI 分析及使用 Excel 處理數據的需求,讓你可以延續 Excel 的操作習慣與邏輯,輕鬆避開分析困境,減少出錯機會進而提升生產力。
為了解決現有系統運行上的各種難題,數位服務部門決定將所有執行在 Oracle WebLogic 上的應用系統,全面移轉至 Pivotal tc Server 之上。
不論是在開發、測試、驗證或是正式環境,tc Server 其輕量的特性、經過驗證的穩定性、快速部署的彈性,都足以滿足各項關鍵應用的要求。
因應疫情期間發展,許多企業由辦公室改為遠端作業,因此資訊安全更顯得需要特別關注。本次分享將會介紹 Elasticsearch 上的資訊安全模組 SIEM 以及 Machine Learning。
此次的研討會藉由 Elasticsearch 機器學習非監督型的功能,DEMO 如何針對過往的資料分析,由系統自動判斷並找出真正的異常點,讓系統異常通知不再成為放羊的孩子!