PENTAHO DATA LINEAGE 與第三方工具之應用

Pentaho’s Commitment to Open Source Innovation
2018-01-25
PENTAHO 6.1 SPEEDS DATA PIPELINE
2018-01-25

June 10, 2016 by Jens Bleuel

本文將介紹如何使用PDI與第三方工具,如yED – 一個免費桌面應用程序用來生成圖表與查看特定數據。

pentaho與第三方應用圖片

經由PDI工具Pentaho為您提供視覺化數據操作並從中挖掘重要數據。從資料源到應用程式,使用第三方工具包括Meta Integration Technology (MITI) 與yEd。

一旦Lineage啟用,PDI每次運行一個轉換作業時會生成一個GraphML文件。然後,您可以使用yED查看資料的樹狀圖。此功能可以幫助Data Lineage與Impact Analysis:

  • Data Lineage: 提供發現數據流的一連串轉換與工作的關係
  • Impact Analysis: 了解資料的使用狀況與管理資料變化或評估
為了更好地展示Data Lineage與Impact Analysis,這裡有一些範例:
As an ETL Developer:
  • 資料源有變化,例如如其中的添加欄位、刪除欄位和重新命名,哪些部分會在ETL過程?
  • 我需要從目標系統獲得更多信息,例如報告。什麼來源可以提供這些額外的信息?
As a Report/Business User:
  • 我的資料準確嗎?
  • 我需要一個特定報告,其中包括從一個資料來源的特定信息。例如,是否有包括銷售和性別欄位的任何資料來源?是否有包括銷售額和郵政編碼欄位?
As a Troubleshooting Operator:
  • 報告中的數字是錯誤的。什麼樣的作業流程可以幫助我確定這些數字是從哪裡來的?
  • 作業沒有成功完成。報告中的哪些表格會受到影響?
As an Administrator:
  • 我想要ETL過程當中使用的外資料來源、表格、欄位與資料庫的報告
  • 為確保符合標準,我想驗證字串轉換是否符合規定
  • 對於第三方工具,我想彈性匯出所蒐集到Data Lineage的信息