為何 PostgreSQL 是 Mastercard 達到零停機的關鍵 ?
內容目錄
多年來, Mastercard 使用一系列的資料庫技術,其中包括 Oracle,、MySQL、Microsoft SQL Server、Cassandra、Hadoop、DB2 和PostgreSQL。身為首席 BizOps 工程師,我贊成 Mastercard 在 2014 年收購支付網關 (payment gateway) ,而隨後便出現了 PostgreSQL,這算是 Mastercard 與 Postgres 的「美好際遇」。
Mastercard 早已使用 PostgreSQL,提升災害回復策略的響應能力。當時, PostgreSQL 的串流複寫(streaming replication)為其主要使用工具,雖然效果顯著,但 Mastercard 仍探究如何「更上一層樓」。
當時 Mastercard 面臨 2 大難題:處理災害程序所花費的時間,以及執行資料庫維護作業的方法,例如:vacuum full, reindex 等等。99.999 % 的正常運作時間是 Mastercard 的最低要求,因此以上問題是不被容許的。
隨著 PostgreSQL 9.4 的出現,邏輯複寫(Logical Replication)便隨之而來,而隨著邏輯複寫的到來,又出現多源主複製(multi master replication)。
自從建立 xDB MMR 後,諸多優勢便被快速實現。尤其,當切換到 DR 網域時,它不只變的更快,也更加可靠。
xDB MMR 不僅改善 DR 的解決方案,它還提供了資料庫遷移的工具,當 Mastercard 在各大洲間傳送數據,以符合日新月異的個資相關法規時,該工具被證實非常有效。
邏輯複寫相較於串流複寫的優勢是其過濾數據的能力。另一項優勢是目標 PostgreSQL 資料庫能配置函數以及具有觸發功能,以便數據在寫入目標資料庫表格時能被進一步地操作。
Mastercard 發現,跨洲使用 xDB 轉移數據子集以符合日新月異的政府法規非常有效。
xDB 的過濾功能防止數據離開原本存放的資料庫。此外,PostgreSQL 的觸發功能,使數據寫入目標資料庫時,將其他業務邏輯無縫應用於數據上。xDB 作為遷移即時資料的工具,這樣的資料遷移策略也被證實非常成功。
未來 Mastercard 將利用 xDR MMR 在多個數據中心同時處理支付的功能,使各個網站保持同步。部分應用程式需要微調,且會有大量數據衝突 (data conflicts)的檢測。
Mastercard 進行的更新及修正,證明將資料遷移到 PostgreSQL 上對其財務至關重要。每秒均有大量信用卡交易發生,因此 Mastercard 須減少故障轉移 (failover) 時間。使用 PostgreSQL,才能真正達到「零停機」。
精選兩大議題 —「Oracle 遷移至 EDB/Postgres」與「Postgres 執行計畫解讀與效能調教」,1.5 小時的滿滿乾貨,讓您快速掌握 Postgres 的最新技術與未來趨勢!
PostgreSQL 開發團隊於 2023 年 5 月 25 日發布了 PostgreSQL 16 Beta 1 測試版。PG 16 優化了邏輯複寫功能,讓開發者能從備援資料庫(Stand By)進行邏輯複寫,同時也支援平行處理大量資料交易,從而提高效能。
Oracle 到 Postgres 的遷移被劃分為 5 個步驟或階段:資料庫評估、Schema 轉移、功能測試、效能測試和資料遷移。本文將對 Oracle 至 Postgres 的 Schema 轉移進行詳細的講解。
以下參考 Postgres 10 Partitioned Table 原生語法範例與 EDB 10 企業版範例,分別建立 Partitioned Table。然後查詢 Postgres 10 新增的原生系統表與企業版的 Oracle 相容 Data Dictionary。
首先是利用 EDB 10 企業版語法建立 Partitioned Table,然後分別查找原生 Partitioned Table 系統表 pg_partitioned_table 與企業版的 ALL_PART_TABLES
透過 EDB 的協助,Metasphere 成功地在不影響客戶的情況下,將主機託管與地端環境從 Oracle 遷移至 PostgreSQL。為此,Metasphere 拓展了它們下一代 Canvas 平台的商業機遇,這樣 Metasphere 不僅能夠提供基於 Postgres 的低價地端解決方案。
本次研討會將會分享移轉實戰經驗,包含事前/成本評估、 Oracle 與 EDB/Postgres 在開發上的差異、難字編譯的處理、資料型態相容 / 程式語法相容 / Oracle 相容函數等。
力邀資料科學家的工作日常粉專創辦人、PostgreSQL Taiwan 召集人、Pentaho 原廠講師及 ETL 資深技術專家,四位講師 x 四場講座,帶你從不同角度剖析 ETL;從資料工程到 PostgreSQL,從 ETL 工具到實戰解說!報名活動再抽酷炫個人化音響!
EPAS 不僅以與 Oracle 資料庫有高兼容度聞名,還在降低優化批次程式成本方面為人所知。由於選用典型批次程序和驗證 Oracle 資料庫與 EDB 之間的兼容性,我們發現超過一半的程式不需優化即可遷移至 EDB。
PostgreSQL 15 在這次的升級中,地端和分布式部署的工作負載管理有顯著提升,例如:資料排序的升級。PostgreSQL 在這次的更新中支援了熱門的 Merge 語法,並且加入更多能夠監測效能的工具。因為 PostgreSQL 志在提供使用者一種同時對應用程式開發非常有利,也對關鍵資料非常安全的資料庫。
本次研討會將介紹 SSL 連線機制,如何在 Postgres 資料庫設置 SSL 連線保障資料傳輸的安全性;以及 EDB 企業版進階的安全性功能,例如資料庫的使用稽核紀錄、資料遮碼(避免開發時暴露敏感資訊)、Stored Procedure 的程式遮碼、以及密碼安全性與權限的管控方式。
本次研討會將會介紹 EDB 15 新增的 TDE 結合 SSL,組合使用兩種安全措施來保護敏感資料,以達到更高的安全性,講師會概述 TDE 和 SSL 的基本概念與應用場景,以及如何在 EDB15 資料庫中實作 TDE 和 SSL。
新資料庫從一開始就運作的很好,當然我們也有遇到在特定狀況下效能有變慢的問題,然而在進一步審視後,發現到原因都是出在不恰當的 SQL 寫法。修正這些部份之後,結果效能甚至比原先採用的主流資料庫要更好。
截至 2015 年四月,荷蘭銀行已經將單日千萬筆交易量的系統佈署在 Postgres Plus 產品上。該公司更計畫將客戶端查詢入口佈建到全閃存陣列的 Postgres Plus 資料庫上,以達到高效能需求。
Greenplum 能夠將資料存入 AO 表,而 PostgreSQL 這種資料庫工具,與傳統的查詢計劃器相比,更具有查詢計畫的優勢。Greenplum 使用列式儲存的方式儲存資料,它的邏輯是將資料儲存至行與列中,因為這種特性, Greenplum 能夠壓縮所有使用在關聯式資料庫中的 AO 表。
歐立威講師精選 2023 Postgres Vision 的精華內容,濃縮在本次研討會和大家分享。包括 EDB/Postgres 未來發展、雲端技術與趨勢、以及 Postgres 16 的最新功能。