解決方案概觀
企業為因應市場變化,需開拓多樣化通路,因此營運規劃需要能即時滾動,以掌握市場趨勢,企業策略之制定考驗著每一個決策者的智慧,正確的決策將提高公司的競爭優勢。
隨著 IT 成本、資料量爆炸式的增長以及不斷演變的競爭挑戰,催生了關於有效分析系統的新思維方式。所有這些變化驅動著資料庫技術的巨變,而且這些發展共同帶來了實現有效資料採擷的新技術。而資料倉儲正為這需求發展出來的一項技術,資料倉儲的目的是希望藉由整合公司內部資料及綜合各種外部資料,進而能對公司重要決策者提供整體、廣泛的訊息,以供策略性決策的參考依據。
資料倉儲特性
- 優化的成本、性能和靈活性
利用靈活的數據模型和存儲、深入的機器學習以及開箱即用的一體化數據分析與可視化工具,實施多種多樣的企業數據分析實踐
- 縮短數據驅動型創新的周期
使用標準工具集和多種語言——包括結構化查詢語言 (SQL)、Python、Ruby 和 Java——快速實現深度分析功能。將基於發現的大數據集分析與迅速發展的數據分析應用程序結合使用,大大縮短數據驅動型創新的周期
- 執行關鍵業務分析任務
利用成熟的加密、認證、高可用性、冗餘功能,開箱即可執行最關鍵的業務分析任務。遵守最嚴格的安全與法規政策和服務等級協議(SLAs)
- 大規模並行、完全無共享 MPP 數據庫
- 自動執行數據並行處理與查詢的無共享架構
- PB 級並行負載—基於大規模並行處理 (MPP) 的 Scatter/Gather Streaming™ 技術
- 行業領先的資料庫內壓縮技術
- 儲存和分析的靈活性
- 基於成本的 SQL 查詢優化器可創建查詢計劃,以突破技術性能執行複雜關聯操作
- Polymorphic Data Storage™ 處理與壓縮技術,提供優化的性能和儲存效率
- 在多個級別將表格靈活分區
- 高級分析平台
- 專為高容量批處理任務、低延遲交互式任務以及高吞吐量的少量微批處理任務而優化
- 帶有複雜連接操作的 SQL 實現
- 大規模並行資料庫的庫內高級分析
- 用於自定義分析和資料庫函數的擴展性框架
- 企業級穩健性
- 支援業務連續性功能,如高可用性、智能化故障檢測與快速在線還原、完全備份與增量備份以及災難恢復
- 豐富的安全認證功能,幫助企業滿足策略與法規要求
- 無縫整合
- 支援多種 Hadoop 環境整合
- 利用在線分析處理 (OLAP) 擴展軟體提供全面 SQL 支援
- 與內存數據網格和物件儲存整合,以便後處理結構化數據
- 一流數據管理框架
- 可在資料庫維持聯機狀態及業務在線的情況下增加伺服器
- 性能監控框架允許分離硬體和軟體問題
資料倉儲的建置過程
收集資料
資料倉儲的資料源自於日常運作的資料庫系統,如: ERP、CRM、MES、EDA…等交易資料。
資料整理
透過資料集合 (DataSet)、資料表(Table)、資料維度 (Dimension)、資料數值 (Value) 及資料紀錄 (Record)以規劃資料整理方式。
資料整合
將不同資料源以一致的命名方式、度量單位、統一格式等加以整合儲存,以利未來使用者的存取。
資料載入及更新
依據資料整合目標,配置排程作業,以協助資料搜集、清洗、轉換、載入及更新等步驟,將資料載入資料倉儲中,並經由監控與管理使資料倉儲內的資料不被變更,並可將資料分享至資料超市( data mart )以利其它單位使用。