公共部門利用 PENTAHO 處理資料解決低營運效率和犯罪問題

Hitachi Vantara 的 Pentaho Data Integration (PDI) 提供商業分析平台，利用公部門資料來提高效率、極大化感測器資料並支援關鍵計劃。 

公司介紹

政府以建立和維護大數據而聞名——從醫療健保記錄到衛星圖像。根據統計，僅美國聯邦機構目前就平均儲存了 3PB 的資料。隨著越來越多的設備上線，政府機構發現自己擁有的資料超出了它們的處理能力。與此同時，與其他組織相比，它們面臨著更大的壓力，無論是偵測詐欺、改善公民生活、執行作戰任務，都需要使用這些資料在各個方面做出立即性回應和提高效率。

隨著機構迅速的採用雲端技術，互操作性是支持這些機構所需的高速資料分析的基礎。因此，保持跨資料集的全面性觀點不僅至關重要，而且是必需的。

當所有資料都儲存在一個中央的安全位置時，就可以使整個政府組織的官員訪問正確的資料，從而減少政府內部的錯誤和低效率，並確保使用正確的訊息。這將使政府官員能夠獲得有關其公民的最新訊息。完成這項工作的基本面是透過消除手動編碼或降低複雜性來無縫整合所有資料源。透過引入這種易於使用的架構，政府組織可以更快地擴展其營運規模並提高效率和生產力，同時降低成本。 Hitachi Vantara 的 Pentaho 平台，包括 Pentaho Data Integration 和 Pentaho Business Analytics，與手動編碼技術相比，已被證明可將大數據分析的設計和部署速度提高多達 15 倍。

繼續閱讀以了解政府機構如何更好地利用現代數據工具來提高效率、極大化感測器資料值的價值並推動關鍵計劃，例如網路安全等。

使用產品

Pentaho

挑戰

根據報導，現今每天產生 2.5 千億位元組的資料，而當今世界上 90% 的資料僅是在過去兩年中產生的。這些資料來自各個地方，通常跨足多個應用程序和資料集。如今，結構化儲存資料與來自雲端、社群媒體和資料儲存的資料整合，以便提供多元應用程式的使用案例。對於政府而言，相同的資料通常同時應用於多個應用程式。例如，一個機構可能正在運行一份財務報告來評估採購效率，而另一個辦公室可能會使用相同的資料進行預算編制。使用案例各不相同，但都需要相同的資料。

然而，在管理這些資料時，政府機構面臨著與當今大多數組織相同的長期問題：如何有效地管理和處理大量結構化和非結構化資料。根據報導，公部門資料分析師幾乎將一半的時間花在收集和整理資料，但只有不到三分之一的時間花在從中收集可操作的洞察上。

解決方案與成果

1. 提高營運效率

83% 的聯邦 IT 官員表示，大數據可以從聯邦預算中為每個美國人節省約 1,200 美元，大約 3,800 億美元。儘管資料管理面臨諸多挑戰，但在最近與 iGov 的一項研究中，76% 的受訪者認為大數據可以使它們的組織受益，其中 88% 的受訪者認為，其中一個核心利益是更深入地了解它們的公民。

由於各機構依靠公資金來運作，因此降低成本是很重要的。蒐集和分析大數據為政府提供了一個方法。例如，政府可以利用大數據來追蹤財政和審計支出，以識別需要減少或改進的部分。

• 世界上最大的財務和會計業務之一的組織：它們負責監督和分配現役和退役美國軍人的款項和其他福利。在發放款項和分配給該機構的其他職責（銷售軍事裝備、發放旅行券等）之間，該機構每天處理數以萬計的交易，而每年向 600 萬不同的帳戶處理價值超過 1 億美元的支付交易。該機構希望樹立一個建立組織效率的標竿，並希望通過賦予其外地辦事處建立和運行自己的商業智能報告，而無需 IT 部門的幫助，從而推動持續改進。透過 Pentaho，無需建構自己的 ETL（提取、轉換、加載）解決方案，該組織能夠節省數年的開發工作和數百萬納稅錢。
  
• 英國稅務海關總署 (HMRC) ：致力於一項多年計畫，以改進其資料管理方式。它正在轉向開源架構，以適應未來的環境並消除供應商鎖定。該機構已發展到 70,000 名全職員工，並擁有獨立、離散的事業線，依靠不同的資料集來完成它們的工作並滿足任意的關鍵績效指標 (KPI)。 HMRC 求助於 Pentaho 以集中其資料架構，消除對第三方諮詢服務的需求，並讓客服中心經理更快地訪問營運報告。實施 Pentaho 後，該機構通過自助分析每天節省了大約 900 個工時。
  
• 政府醫療保健機構：每天高達 1TB 處理醫療索賠資料。雖然每天的資料量並不大，但處理時間卻很長。處理一天的資料需要 27 小時。該機構依靠手動編碼將各種資料源混合在一起，但分析是不完整的，並容易出現人為錯誤。該組織不完整的資料只會使該機構的問題更加複雜，因為它難以為大眾提出的簡單問題提供答案。該機構的分析師團隊很快意識到它們需要訪問基礎數據來修改查詢、資料集和過濾器，並了解和解決資料集中的異常情況。

通過整合和混合組織的不同資料源並直接向商業用戶提供自助分析，該機構能夠提高生產力並提供全面性的構件。借助 Pentaho 的自動化、無編碼環境，與手動編碼相比，該機構能夠將其開發時間縮短 15 倍。此外，該機構能夠將其處理時間從 27 小時縮短到 45 分鐘以內，從而改變了該機構的商業流程並提高了實際效率。該機構不僅可以即時向其組織提供報告，而且也能夠信任推動這些報告的基礎資料。該機構現在可以專注於其真正的任務：改善病人照護。

2. 透過物聯網（IoT）提供主動智能

物聯網被視為當今市場上最大的顛覆性技術之一。如今，有超過 300 億的連接物品，物聯網設備的爆炸式增長正在產生大量的數據，而組織需要這些資料進行有效整合、管理和分析，以提供商業價值。

• Marquis Software 為國家矯正機構提供囚犯全面的解決方案。自 1990 年代初以來，Marquis 一直為國家部門提供軟體。然而，該公司最近才將其產品擴展到提供地理空間情報。有了這個解決方案，監獄現在可以實際追踪囚犯和獄警的位置，以確保安全問題是否得到適當和快速的解決。
  
  透過追踪囚犯的動向，獄警可以在衝突發生之前預測衝突可能發生的地點和時間。這些訊息與囚犯統計數據相結合，例如種族、幫派從屬關係和醫療殘疾，因此儘管監獄人滿為患，人員有限，國家矯正機構仍可以保持對囚犯全面性的監控。
  
• Caterpillar Marine 透過利用感測器資料幫助其客戶（包括政府機構）提高營運效率。 Caterpillar Marine 的一位客戶每兩年花費 35,000 美元來清潔其用於運輸車輛的可行駛船舶的船體。一項分析很快的發現，骯髒的船體每艘船每兩年損失 130 萬美元的燃油效率，或者說，八艘船隊損失超過 1,000 萬美元。

• 政府單位可以混合來自犯罪活動、土地使用、服務請求、情報感測器和許多其他事物的資料，以推動更好的決策。例如，海軍可以使用武器系統的網路感測器，以便導彈、無人機和艦載武器系統可以在地平線以外的距離定位和摧毀接近的目標。有了所有資料，政府機構就可以建立其操作的單一視圖，從士兵、水手、飛行員、海軍陸戰隊或海岸警衛隊到納稅人、囚犯或病人。

3. 使用大數據對抗安全威脅

• 傳統上，安全威脅與更嚴格的執法同義，就像德國聯邦警察 Bundespolizei 的情況一樣。為了更全面地了解其武裝部隊以進行任務規劃，Bundespolizei 需要將 20 多個傳入的資料源整合。這些來源包括邊境入境人數、庇護案件數量和刑事犯罪等資料。然而，當今的安全威脅比以往都更複雜。它不僅僅是保護邊界，還包括網路威脅。處理網路安全的傳統方法需要自訂腳本和整合多個資料源，這可能非常緩慢且耗時。
  
  由於要處理的資料量巨大且種類繁多，因此分析師平均需要 205 天的時間來檢測攻擊。這不僅僅是簡單的大數據，而是來自各種來源的各種雜亂資料，包括應用程式、網路、防火牆、Web 資料存取、人力資源管理（HCM）和客戶關係管理（CRM），這些都是難以整合的。清理和整合資料需要時間，關鍵決策（例如威脅檢測）不能在傳統系統和流程中等待。威脅檢測需要擴展到政府單位，監控其境內所發生的事情並監控可能導致網路威脅的潛在惡意活動。政府可以收集、處理和分析來自政府網路的資料以及公用資料，以保護其國家免受攻擊並識別內部威脅。
  
• 大型能源組織：組織面臨著剖析和分析來自不同來源和位置的大量日誌的挑戰。由於資料格式眾多，因此需要數週時間來整合資料，以檢測特定模式和活動。透過轉向 Pentaho，該組織利用自然語言處理功能和 R 語言在 Hadoop 上大規模部署。因此，它們更快地檢測到網路攻擊，並將開發時間縮短了 10 倍，以便立即處理和分析資料。
  
• 大型電信業者：業者無法檢測到可疑的網路活動，但發現來自具有敏感資料的系統的離埠連接意外激增。在利用 Pentaho 協作“黑名單”和“白名單”分析背後的資料轉換以進行異常檢測後，該組織能夠及時分析潛在威脅。而該組織已經發現用於異常檢測的 IT 資源和時間大幅減少。

更多關於 Pentaho 成功案例