PentahoㄧUIDAI 利用 Pentaho 解決印度政府龐大的人口資料集
內容目錄
公司介紹
印度身分識別管理局（UIDAI）藉由 Hitachi Vantara 的 Pentaho 提供強大的大數據分析平台，以支持超過 10 億公民的政府數據集。
印度唯一身分識別計畫在為全國每個居民提供身份識別，主要用於提供社會福利之服務，並有效監督政府各種計劃。經印度首相批准後，印度的電子與資訊科技部門發行了 Aadhaar，一組由印度身份識別局代表印度政府頒發的十二位數個人識別碼。這個號碼將作為在印度身份和地址的證明。並且，藉由印度郵政所收到的 Aadhaar 信件和從 UIDAI 網站下載的 e-Aadhaar 信件同樣有效。
HCL Infosystems Ltd. 是印度首屈一指的分銷和 IT 服務公司，並擁有印度最大的銷售和分銷網路。HCL Infosystems Ltd. 且獲得了 UIDAI 的內聯網和知識管理門戶的設計、開發、維護的合約。此外，UIDAI 藉由 HCL Infosystems Ltd. 的分銷和 IT 服務與 GrayMatter Software Services Pvt. 成功執行了該計劃。
『 GrayMatter 專業的大數據分析技術與知識，能夠根據 UIDAI 的嚴格要求在 Pentaho 平台上進行分析。HCL 團隊與 GrayMatter 的合作對於第一階段的成功至關重要。』── UIDAI 執行團隊成員說道
使用產品
挑戰
計劃簡介:創建適合各種數據源和數據類型的大數據架構，並利用大量數據進行多重驗證。計劃的另一個關鍵是根據 UIDAI 的需求創建商務邏輯，以對具有國家意義的海量數據進行多重分析。
挑戰如下:
- 沒有符合數據類型和適當規模的理想儲存平台
– 13 億筆資料
– 每月超過 37 TB 的數據
– 非結構化數據類型，如生物識別、虹膜辨識
– 多個機構的交易數據 - 缺少資料庫來執行預期的商務邏輯
- 沒有可用的工具來執行大數據聚合並進一步分析
- 即時和非即時分析的能力十分重要
解決方案成果
GrayMatter 與 HCL 團隊共同提供了一個大數據解決方案，最終解決了上述問題和多項關鍵的商業挑戰，而大數據架構解決方案則是其成功關鍵。
以下是執行的關鍵解決方案點：
- 在 150 個節點上使用 MapR distribution 和 Pentaho 的 PDI 在 Hadoop 中進行數據集成和數據處理
- 使用 Pentaho BI 平台產出商業智慧報表
- 將多種工具和技術與 Hadoop / 大數據互相結合
- Pentaho PDI 是來源系統和大數據 / Hadoop 平台之間連接的關鍵
- Pentaho 的大數據友好環境是在基於 Hadoop 商業規則上將數據轉換為資訊的關鍵
成果
成功建立大數據平台的主因，是從數據的應用和訊息流中執行關鍵的驗證和分析。
- 建立全面的大數據平台
- 完整的 BI 和分析平台可以創造多種分析，包括非即時商業分析
- 目前有 5,000 多家供應商機構無縫且成功地使用該平台
- 成功執行使用者資訊的身份驗證
