PENTAHO DATA LINEAGE 與第三方工具之應用
內容目錄
June 10, 2016 by Jens Bleuel
本文將介紹如何使用PDI與第三方工具,如yED – 一個免費桌面應用程序用來生成圖表與查看特定數據。
經由PDI工具Pentaho為您提供視覺化數據操作並從中挖掘重要數據。從資料源到應用程式,使用第三方工具包括Meta Integration Technology (MITI) 與 yEd。
一旦Lineage啟用,PDI每次運行一個轉換作業時會生成一個GraphML文件。然後,您可以使用yED查看資料的樹狀圖。此功能可以幫助Data Lineage與Impact Analysis:
印度身分識別管理局(UIDAI)導入 Hitachi Vantara 的 Pentaho 作為解決方案,創建適合各種數據源和數據類型的大數據架構,並利用大量數據進行多重驗證,以支持政府數據集。UIDAI 藉由 HCL Infosystems Ltd. 的分銷和 IT 服務與 GrayMatter Software Services Pvt. 從數據的應用和訊息流中執行關鍵的驗證和分析。
政府機構與多數組織藉由 Pentaho 商業分析與資料整合平台,利用公部門資料來提高效率、極大化感測器資料值並支援關鍵計劃,有效整合、管理、分析以運用至各層面,例如提高營運效率、透過物聯網(IoT)提供主動智能、運用大數據對抗安全威脅等。
Docker可以顯著減少了軟體套用到應用程序或部署到一個新環境所需要的時間。包含運行所需的整個文件系統:代碼、運行時間、系統工具與系統庫與任何可以在伺服器上安裝的軟體,因此開發人員能夠在任何環境繼續原本的工作。
“PDI is a low-…
儘管 Table input 和 Execute SQL script 兩者都支援填寫 SQL 語句,但固定條件值的頻繁調整卻會降低 ETL 流程效率。為此,Pentaho 允許將 SQL 語句設定為「動態內容」,使流程轉為更靈活的函式結構,並在 SQL 查詢中引入「動態內容」,本文將對此做法進行詳細說明。
對於使用 Pentaho (或者類似產品Kettle / Hop) 這類 ETL 工具的開發人員來說,總有一些藏在角落、鮮為人知的方便功能。筆者在此將講解有關 Pentaho 流程中, Merge join 與Multiway merge join 的資料合併做法。
本次研討會將介紹 Apache Hop,以及比較 Pentaho、Apache Hop 兩者差異。趕快報名,一起來認識 Apache Hop 這個明日之星吧!
本文會介紹 SAS EG 的內建排程功能,再往下延伸 2 種結合 ETL 工具如 Trinity 來執行 SAS 軟體的 vbs 及 sas 2 種檔案的排程設定,最後透過 Trinity 環境將上文提到的兩種需求呈現出來。
“Using Pentaho…
分享如何建立數據驅動文化 (DataOps),藉由數據協作、流程自動化、metadata 和端到端的設計思維,幫助企業更好的掌握數據、提升數據品質、安全以及合規性。
Pentaho 原廠講師帶你了解 Pentaho 的總體優勢及客戶價值,重點介紹「支援服務」、「獨有功能」,趕快報名,搭上最新版本的列車吧!
“Our franchise…
Pentaho 6.1版本,為IT專業人員提供更多的陣列(array)運算選項,在使用Pentaho Data Integration時能更好控制複雜邏輯運算。此外,Pentaho推出新的自助服務數據上線藍圖,此產品使企業用戶和客戶無需IT輔助即可加載多樣化的資料來源。
由於 Río Negro 稅務局對於分析所需的資訊延遲和總時間不斷增加,因此它們藉由 Pentaho 資料視覺化分析與 Pentaho Data Integration 下載、更新和協作,使用將其資料視覺化,並分析企業行為和動向的關鍵趨勢。解決方案易於維護且快速,簡化維護並降低成本,提供了更快的整合解決方案。
當前支援的 Pentaho 版本中不存在此漏洞,因為預設情況下沒有使用易受攻擊的類別(Classes)。但是為了響應最近發布的 CVE-2021-44228 漏洞,Hitachi Vantara 的資訊團隊對已發布的軟體 (包括 Pentaho) 進行了測試。