Pentaho 技術專欄彙整 - 歐立威科技

Pentaho VS Apache Hop：選擇最佳 ETL 工具的關鍵考量

gladdis siew — Tue, 01 Jul 2025 03:20:12 +0000

背景介紹

Kettle 和 Apache Hop 作為兩款重要的開源 ETL（Extract，Transform，Load）工具，在資料工程領域扮演著關鍵角色。它們不僅體現了開源社群的創新精神，也反映了資料處理技術的演進趨勢。

Kettle 的起源與發展

Kettle 最初由比利時開發者 Matt Casters 於 2001 年開發，並於 2005 年以 LGPL 授權方式開源。2006 年，Kettle 被 Pentaho 收購，並更名為 Pentaho Data Integration（PDI），成為其商業智慧平台的重要組件。2015 年，Hitachi Data Systems 宣布收購 Pentaho，並將其整合至自家先進分析軟體中，以強化物聯網（IoT）和大數據分析的市場領導地位。

Apache Hop 的誕生與演進

2019 年，原 Kettle 開發團隊成員啟動了 Apache Hop（Hop Orchestration Platform）專案，作為 Kettle 的分支，重新設計資料整合平台以滿足現代資料工程的需求。Apache Hop 採用模組化架構，強調元資料驅動，並提供直覺式圖形化介面，使資料工程師能更高效地設計、執行和監控資料流程。2021 年，Apache Hop 發布首個正式版本，並於 2022 年初正式成為 Apache 軟體基金會的頂級專案。

這段歷程展現了開源社群在資料整合領域的持續創新，也為企業選擇 ETL 工具提供了更多元、現代化的選項。

然而，深入實作後會發現，Pentaho 與 Apache Hop 雖理念相近，但在術語與架構設計上仍有不少差異。

為幫助大家釐清這些概念落差，接下來將逐一拆解核心對照。

術語與基礎架構對比

核心概念對照

Pentaho 與 Apache Hop 的操作邏輯有許多共通之處，但命名方式大不相同。以下是幾個最常見的概念對照：

PDI（Pentaho）	Apache Hop	解釋
Transformation	Pipeline	皆為設計資料處理流程的主要單位，用來串接並執行一連串的轉換步驟。
Step	Transform	流程中的單一步驟，執行資料處理任務，如讀取、轉換、輸出等。
Job	Workflow	控制流程邏輯（如條件判斷、迴圈、任務串接等）的單元。
Spoon（GUI）	Hop GUI	可視化開發介面，協助使用者設計 ETL 任務。

開發介面比較

左圖為 Pentaho 的 Spoon 介面：使用者透過左側元件選單拖拉 Step 至畫布建立 Transformation，操作方式直覺，適合視覺化建構流程。

右圖為 Apache Hop GUI：使用者透過滑鼠右鍵在畫布上開啟選單後選取 Transform 插入至 Pipeline，操作邏輯更模組化。

執行工具比較

Pentaho 使用兩個命令列工具分別執行不同流程：

pan：執行 Transformation
kitchen：執行 Job

Apache Hop 則使用單一工具 hop-run，可同時執行 Pipeline 或 Workflow，簡化指令與排程整合。

遠端伺服器比較

Pentaho Carte Server

提供 HTTP Servlet 接口接收 XML 任務請求，並回傳執行結果。

Apache Hop Server

支援標準 RESTful API（使用 JSON 格式），更易與 Airflow 等自動化平台整合。
可搭配 Run Configurations 指定任務執行位置（如本機、遠端、Spark 等）並提供 UI 監控介面。

雖然 Hop Server 架構更現代化，但實際操作邏輯上與 Carte Server 相近，對熟悉 PDI 的使用者而言轉換門檻不高。

專案管理與版本控管功能

Pentaho：Repository 架構

集中儲存 Transformation / Job
支援權限設定與版本管理（企業版）

Apache Hop：開放式儲存結構

支援 Git 儲存與版本控制
元資料可放在 S3 等雲端平台
結構清晰，利於 DevOps 流程與 CI/CD 整合

*適合需要跨環境佈署、敏捷協作的資料工程團隊

成功案例：Pentaho 資料遷移

情境：某大型銀行每日在其核心 OLTP（Online Transaction Processing）系統中產生大量交易紀錄，例如轉帳、提款、存款與繳費等。這些交易資料需要每日準時依照排程，自動搬移到 Greenplum 數據倉儲系統，以支援內部的財務報表、客戶行為分析、風險控管及其他商業決策用途。

為了確保資料處理流程穩定、透明且具備高可靠性，此解決方案不僅僅完成資料搬移，更強調資料檢核機制與異常處理能力，以保證：

不重複搬資料（No duplication）
不漏搬資料（No data loss）
不誤搬資料（No corruption）

解決方案：Airflow + Pentaho PDI

Airflow：排程、重試控制與任務監控
PDI：資料抽取、轉換與目標資料庫寫入

下圖說明了 Airflow 與 Pentaho 之間的資料遷移流程

圖表說明:

Airflow 觸發排程（對應一個 Pentaho job），Pentaho 擷取來源資料並計算筆數後，根據客戶需求進行寫入（如 update/insert 或 truncate/insert）。寫入完成後再計算目標端筆數，最後由 Airflow 驗證兩邊筆數是否一致，以判斷是否成功。

註：虛線箭頭代表資料流向（Data Flow）

透過 Airflow 與 Pentaho 的整合，不僅實現了自動化、穩定且可監控的資料搬移流程，更確保了資料的一致性與完整性，為企業後續的數據分析與決策提供了可靠基礎。

文章參考資料

[1] kettle背景

[2] Pentaho VS Hop-ETL 圖形化開發工具的新戰場

[3] Hop vs Kettle

[4] Pentaho 企業與社群版本的開源優勢

[5] Hop 官方文件

[6] Pentaho 官方文件

想了解更多資訊，歡迎聯絡我們，或是加入歐立威 Line 好友！

Pentaho ETL 實作技巧：無共通欄位資料合併 Merge join & Multiway merge join

Omni — Fri, 17 Nov 2023 10:21:37 +0000

對於使用 Pentaho (或者類似產品 Kettle / Hop) 這類 ETL 工具的開發人員來說，總有一些藏在角落、鮮為人知的方便功能。
筆者在此將講解有關 Pentaho 流程中，Merge join 與 Multiway merge join 的資料合併做法。

資料合併步驟

Merge join

萬一要合併的兩個資料來源，不屬於同一個資料庫伺服器，甚至不是資料庫來源呢?

這時 Merge join 就派上用場了。

Merge join 會合併兩個步驟傳遞的資料(包含資料庫來源、檔案來源等)，可選擇 INNER JOIN 或多種 OUTER JOIN。

Merge join流程示意圖

Merge join設定視窗

設定需合併資料的步驟：
First step
Second step

選擇合併方式：
INNER, LEFT OUTER,
RIGHT OUTER, FULL OUTER

設定合併關聯鍵：
Keys for 1st step:
Keys for 2nd step:
(可用 Get key fields 快速加入)

Multiway merge join

糟糕，Merge join 只能合併兩個資料來源，但是來源有三個，該怎麼辦？

別急，這裡還有 Multiway merge join 可以幫忙。

步驟 Multiway merge join 會合併兩個以上步驟傳遞的資料(包含資料庫來源、檔案來源等)，可選擇 INNER JOIN 或

FULL OUTER JOIN。

Multiway merge join流程示意圖

Multiway merge join設定視窗

設定輸入步驟：Input Step（n）
※ 欄位數量隨連結步驟而增減

設定合併關聯鍵：Join Keys
※ 必須點選 Select Keys 按鈕、開啟小視窗填寫關聯鍵名稱

選擇合併方式：Join Type: （INNER 或 FULL OUTER）

「常值膠帶」與「序列膠帶」

看過標準的 join 步驟，可能有人會問：每次都要設定共通欄位，有沒有更便利的方法?

方法有，而且步驟連起來就可以。

情境：兩股資料來源、資料欄位組成相同

資料來源A (左側ABC字樣)

資料來源B (右側JKL字樣)

兩個來源都由欄位 name, score 組成

預期結果：
合併資料、每列資料呈現所有資料來源欄位

「常值膠帶」：利用 Add constants 步驟追加固定常值，合併多股來源資料

※ 注意：資料合併順序受資料來源步驟建立順序影響，可後續追加 Sort rows 步驟重新排序

「序列膠帶」：利用 Add sequence 步驟追加固定序列，合併多股來源資料

※ 注意：資料合併順序受資料來源步驟建立順序影響，可後續追加 Sort rows 步驟重新排序

無共通欄位情境處理

看過前面的介紹，資料合併動作都在「有共通欄位」的前提下完成。如果有兩股以上、沒有共通欄位的資料載入 Pentaho，如何實現欄位合併？

那就自己製造共通欄位！

「常值雙面膠」：配合 join 一對多合併

情境：兩股資料來源、資料量不同、沒有共通欄位可以對照

資料來源A：欄位 group

資料來源B：欄位 name, score

預期結果：合併資料、每列資料呈現所有資料來源欄位

合併資料：欄位 group, name, score

利用 Add constants 步驟添加相同內容欄位，配合 Merge join 步驟指定新欄位、完成合併

※ 如果來源超過兩項，可改用 Multiway merge join 步驟執行合併

「序列雙面膠」：配合 join 多對多合併

情境：兩股資料來源、資料量相同、沒有共通欄位可以對照

資料來源A (左)：欄位 group

資料來源B (右)：欄位 name, score

預期結果：合併資料、每列資料呈現所有資料來源欄位

利用 Add sequence 步驟添加序列，配合 Merge join 步驟指定新欄位、完成合併

※ 如果來源超過兩項，可改用 Multiway merge join 步驟執行合併

Pentaho ETL 實作技巧：SQL 動態內容引用 Table input & Execute SQL scripts

Omni — Fri, 17 Nov 2023 10:09:34 +0000

對於使用 Pentaho（或者類似產品 Kettle / Hop）這類 ETL 工具的開發人員來說，總有一些藏在角落、鮮為人知的方便功能。

在此講解有關 Pentaho 流程中，使用 Table input 與 Execute SQL scripts 兩種流程步驟的動態內容引用。

什麼是動態內容?

在 Pentaho 的各項流程步驟中，雖然 Table Input 與 Execute SQL Script 都可以直接填寫 SQL 語句，但固定條件值往往需要 ETL 流程設計者手動調整，這不僅降低效率，也增加出錯風險。若將 SQL 語句設定為「動態內容」，流程就能轉換為函式（function）結構，取代人工調整，並可透過使用者輸入或上游步驟查詢的資料獲得結果，大幅提升效率並減少錯誤發生！

由於不同資料庫產品的特性各異，Pentaho 提供了兩種方式將「動態內容」引入 SQL 查詢中。本文將以變數與參數來區分，並詳細說明各種引入方法。

定義「變數」與「參數」

在進入操作說明之前，為避免 Pentaho 介面上的名詞造成混淆，本文先釐清在 Pentaho 應用範圍內，「變數」與「參數」的差異：

變數 (variables)

通過流程步驟 Set variables 與 Get variables 載入的 SQL 動態內容，稱為「變數」。

「變數」可以在 Transformation / Job 流程的屬性 (Properties) 設定中，利用「Parameters」區域進行定義（如欄位名稱、預設值、欄位說明等）

※在畫面空白處可用滑鼠右鍵（或左鍵連續點擊）點選「Properties…」選項進入屬性設定（上圖紅框處），選擇「Parameters」區域即可定義「變數」（下圖）

「變數」的利用方法有二：

1. 呼叫 Transformation / Job 流程時指定內容

1. 利用流程步驟 Set variables 與 Get variables 指定流程中產生的目標內容

受到 Pentaho 當中 Transformation 流程特性[1]影響，所有步驟「幾乎同時執行」，當一個 Transformation 設定「變數」後，該流程無法使用「變數」，必須透過 Job 流程傳送到另一個 Transformation，才能利用先前設定的「變數」。

※Set variables 步驟確認離開時，會出現提示：同一 Transformation 內無法使用新增「變數」

參數（parameters）

通過 Transformation 流程中繼資料欄位 (fields) 取用的 SQL 動態內容，稱為「參數」；「參數」出現在 Spoon 執行流程後、執行結果（Execution Results）的 Preview data 頁籤：

※ （圖A）Pentaho 流程執行後，下方的執行結果可選 Preview data 查看不同步驟的「參數」呈現

和「變數」不同的是，「參數」可以直接在同一 Transformation 當中進行利用，由於「參數」本質仍是 ETL 流程的中繼資料，因此經過其它步驟，內容仍會因為篩選而變化（如 Select values、Filter rows）或者遺失（如 Table input）。

※ （圖B）相對於圖 A，「參數」經過流程步驟 Select values，欄位可能減少或更換名稱

（圖C）相對於圖 A，「參數」經過流程步驟 Filter rows，受到篩選條件影響、產生資料列數量變化

※ （圖D）相對於圖 A，「參數」經過流程步驟 Execute SQL scripts，由於該項步驟不輸出內容，故不會變化

※ （圖E）相對於圖 A，「參數」經過流程步驟 Table input，由於該項步驟必定輸出內容，故內容被步驟輸出替代

「變數」文字替代

變數文字替代（Variable substitution）需要在 SQL 語法中填寫 ${variable} 標記[2]，括號內名稱自訂，以流程屬性定義為主，且字串內容必須追加單引號；之所以叫做「文字替代」，是因為動態內容會直接替代變數標記，才送出語法執行。

- 勾選選項「Replace variables in script?」啟用變數文字替代[3]

- SQL 語法動態內容位置填寫「${variable}」標記（字串內容必須添加單引號，數值、布林值除外）

Execute SQL script 變數文字替代方法

- 勾選選項「Variable substitution」啟用變數文字替代[4]

- SQL語法動態內容位置填寫「${variable}」標記（字串內容必須添加單引號，數值、布林值除外）

「參數」綁定

相對於變數文字替代，參數綁定（Bind parameters）只要在SQL語法中填寫「?」標記即可，不過需要「參數」的數量、順序，必須與語法結構保持一致。

以效能角度比較，變數文字替代產生的SQL語法，儘管架構相同，資料庫掃描語法時，卻因為動態內容「一字之差」，視為不同的查詢，每次查詢便重做執行計畫，屬於美中不足；

參數綁定產生的 SQL 語法不同，語法、動態內容分開送出，資料庫掃描後，即可套用首次掃描的執行計畫，才引入動態內容，大幅增進查詢效能。實際設計流程時，流程步驟 Table input 與 Execute SQL script 對「參數」的影響也有所不同：
前者會傳回查詢結果、替代「參數」欄位，後者則保持原樣，「參數」可以繼續利用[5]。

Table input 參數綁定方法

- 屬性「Insert data from step」選擇流程上一步驟，啟用參數綁定[6]

- 勾選選項「Execute for each row?」確保動態內容通過「資料列逐一輸入」執行

- SQL語法動態內容位置填寫「?」標記即可
  - - 注意：由於參數綁定對數量、順序要求，上一步驟應使用Select values進行欄位排序、複製與重新命名

Execute SQL script參數綁定方法

- 先後勾選選項「Execute for each row?」以及「Bind parameters?」，啟用參數綁定[7]（必須勾選「Execute for each row?」，選項「Bind parameters?」才能操作）

- SQL語法動態內容位置填寫 ? 標記即可，參數可在左下角”Parameters」表格填寫（須按照標記順序；欄位可重複填寫）

「參數」綁定SQL語法的限制

利用參數綁定執行 SQL 腳本時，可能遭遇下面的狀況：

腳本存在多段分號間隔語法

儘管參數綁定可以增進查詢效能，但不代表可以處理結構複雜的腳本。
如果有一段SQL腳本具有下面的結構：

“

UPDATE… SET… WHERE = ? AND = ? ;

SELECT… FROM… WHERE = ? AND = ? ;

“

按照前述解說，參數可能按照「ABAB」格式做綁定、順利完成作業，然而實際執行流程後，Pentaho 可能會回覆異常訊息：

“

：Unable to set value on prepared statement on index 4.

欄位索引超過許可範圍：3，欄位數：2。

“

或者

“

Error setting value #1 on prepared statement

欄位索引超過許可範圍：1，欄位數：0。

“

這是因為 Execute SQL scripts 步驟只會執行分號間隔最後一段語法，如果指派參數數量超過最後一段語法指定數量，或者最後一段語法沒有指定參數，就會出現上述異常訊息。

腳本需要利用暫存表 (temp table)

腳本內容在 Pentaho 執行時，可能遭遇效能較差，需要利用暫存表的情形。需要注意的是，前述 Transformation 流程特性當中，不只所有步驟「幾乎同時執行」，而且是各個步驟「執行完畢即釋放資源」。

因此，不僅建置暫存表、查詢暫存表的語法無法寫在同一步驟，即使分開執行，由於ETL步驟的工作階段(session)完成後馬上結束，暫存表建立完成的當下，也會馬上被消滅[8]。

參考資料

[1] StackOverflow問答 “Am I using switch/case wrong here to control?”，2022-05-30

[2] Pentaho官方文件 “Variables – Hitachi Vantara Lumada and Pentaho Documentation”，2021-10-08

[3] Pentaho官方文件 “Table Input – Hitachi Vantara Lumada and Pentaho Documentation”，Options段落，2021-10-08

[4] Pentaho官方文件 “Execute SQL Script – Hitachi Vantara Lumada and Pentaho Documentation”，Options段落，2021-10-08

[5] StackOverflow問答 “Pentaho Transformation “Execute SQL Statements” vs “Table Input” step”，2018-07-12

[6] 同[3]，Example段落

[7] 同[4]

[8] StackOverflow問答 “How to create a Temporary Table using (Select * into ##temp from table) syntax(For MS SQL) using Pentaho data integration”，2014-03-04

加入歐立威 LINE 好友，了解更多產品資訊

Pentaho Community Edition

Omni — Thu, 01 Feb 2018 08:38:01 +0000

Pentaho Community Edition 為開源商業智慧軟體，旨在提供用戶資料分析流程整合服務，減少資料從各種來源萃取-轉換-載入 (Extract-Transform-Load, ETL) 到目標儲存設備，以及進一步資料探勘與報表呈現，所需的時間與人力。

以上所提的服務與對應的專案套件整理如下：

資料ETL (Kettle or Pentaho Data Integration, PDI)
資料即時分析 (Mondrian)
資料報表呈現 (Reporting)
資料探勘 (WEKA)
Plugin 製作 (Sparkl)

本操作說明手冊主要是針對 Kettle 進行講解，也就是 Pentaho 所提供的ETL工具。說明如何透過此工具介接不同資料源，進行所需的資料轉換，最後匯出到目標儲存設備。

下載與安裝 Kettle

進入 Kettle 介紹網頁，前往 Download Section 下載，下載檔案在作業系統都可使用。
下載並解壓縮後，解壓縮後的檔案無需另外的安裝程序，但執行前須確認是否有安裝 Java，若無 Kettle 會無法開啟。
雖然 Kettle 在所有作業系統都可使用，但會因為作業系統使啟動方式不同，故下面分別對 Mac/Windows/Linux 說明啟動方式。

Mac用戶：點擊 Data Integration.app 檔案開啟 Kettle
Windows用戶：點擊sh 檔案開啟 Kettle
Linux用戶：進入 Terminal 中，前往 Kettle 的路徑，並鍵入 sh spoon.sh 開啟 Kettle

基本概念

Kettle 的ETL程序主要可靠拖曳達成，其介面如下圖所示。

可看到左側有Transformations 與 Jobs、Design 與 View。左側為流程設計區域。
Transformations 與 Jobs 的差別如下:

Transformations：控制資料從資料源的轉換與搬動。且在 Transformations 中的步驟可是平行執行。
Jobs：控制整體 ETL 流程，通常包含多個 Transformations。且在 Jobs 中的步驟是循序執行。

Design 與 View 的差別如下:

Design：包含可設定的步驟 (Step)。
View：包含目前設定 Transformation 或 Job 的步驟與資料庫連線資訊。

建立第一個轉換與工作流程

接下來就開始試著建立第一個 Transformation 與 Job 。

第一個轉換

在第一個 Transformation 中，我們要在 Kettle 中產生資料，並驗證資料，最後在加入序列碼 (Sequence)。
首先，點上方功能列的 File，再點擊 New，選擇 Transformation，以新增一個新的 Transformation，如下圖所示。

接下來，在右方的 Design中，拖曳 Input中的 Generate Rows 圖示到設計區域，結果如下圖所示。

對於設計區域的步驟點擊左鍵後，可看到四個按鈕。最左邊的圖示可設定步驟的前一步，最右邊的圖示可設定步驟的下一步。第二個圖示是編輯步驟 (Edit Step)。第三個圖示是其他可對此步驟的操作。

首先編輯 Generate Rows，設定要產生的資料型態與格式。Limit為欲產生的資料筆數。點擊 Fields中的空白欄位後，可建立變數名稱、型態、欲產生值與其他格式。例子如下圖所示，注意日期格式。

接下來，加入 Checksum 資料驗證步驟。在 Design，拖曳在 Transformation 中的 Add a checksum 的圖示到設計區域。將資料來源設定為 Generate Rows。

編輯此步驟，設定範例如下圖。其中 Get Field 可直接全選前步驟的欄位。並設定 Result field ，也就是欄位的名稱。 Compatibility Mode 是使與較舊版本相容，可見說明。最後點擊 Help 旁的空白部分，以完成設定 (介面無顯示，應為 Bug)。

最後，加入 Add sequence 新增序列號。在右方的 Design中，拖曳在 Transformation 中的 Add sequence 圖示到設計區域。設定資料來源為 Add a checksum，編輯此步驟，主要設定 Name of value (欄位名稱) 即可。
以上步驟都設定好後，就可以點選執行，如下圖所示。

若無設定錯誤，點擊 Add sequence 後，下方的 Execution Results中的 Preview data應如下圖所示。最後將此 Transformation 另存新檔，以利設定下面的 Job。

第一個工作流程

在第一個 job 中，我們要將上面的 Transformation 再進一步包裝。首先新增一個新的 job。(File -> New->job)
在 Design ，拖曳在 General 中的 START 到設計區域，編輯此步驟可以制定排程，如下圖所示。

接著再拖曳在 General 中的 Transformation 到設計區域，並編輯此步驟，主要是 Transformation filename 要指定上面所設定的 Transformation 檔案的路徑。

最後再拖曳 General 中的 SUCCESS 到設計區域，作為 Job 的結束點。點選執行，以執行此 Job。