<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Pentaho 彙整 - 歐立威科技</title>
	<atom:link href="https://www.omniwaresoft.com.tw/tag/pentaho/feed/" rel="self" type="application/rss+xml" />
	<link>https://www.omniwaresoft.com.tw/tag/pentaho/</link>
	<description>歐立威科技 Omniwaresoft｜全方位企業級開源軟體解決方案</description>
	<lastBuildDate>Tue, 27 Jan 2026 09:48:04 +0000</lastBuildDate>
	<language>zh-TW</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=6.7.4</generator>

<image>
	<url>https://www.omniwaresoft.com.tw/wp-content/uploads/2022/12/android-icon-192x192-1.png</url>
	<title>Pentaho 彙整 - 歐立威科技</title>
	<link>https://www.omniwaresoft.com.tw/tag/pentaho/</link>
	<width>32</width>
	<height>32</height>
</image> 
<site xmlns="com-wordpress:feed-additions:1">242464019</site>	<item>
		<title>Pentaho VS Apache Hop：選擇最佳 ETL 工具的關鍵考量</title>
		<link>https://www.omniwaresoft.com.tw/techcolumn/pentaho-vs-apache-hop/</link>
		
		<dc:creator><![CDATA[gladdis siew]]></dc:creator>
		<pubDate>Tue, 01 Jul 2025 03:20:12 +0000</pubDate>
				<category><![CDATA[Pentaho 技術專欄]]></category>
		<category><![CDATA[技術專欄]]></category>
		<category><![CDATA[Pentaho]]></category>
		<guid isPermaLink="false">https://www.omniwaresoft.com.tw/?p=44783</guid>

					<description><![CDATA[在數據驅動的時代，企業對於高效、靈活的資料整合工具需求日益增加。Kettle 和 Apache Hop 作為兩款重要的開源 ETL（Extract, Transform, Load）工具，在資料工程領域扮演著關鍵角色。它們不僅體現了開源社群的創新精神，也反映了資料處理技術的演進趨勢。]]></description>
										<content:encoded><![CDATA[
<h2 class="wp-block-heading"><strong>背景介紹</strong></h2>



<p>Kettle 和 Apache Hop 作為兩款重要的開源 ETL（Extract，Transform，Load）工具，在資料工程領域扮演著關鍵角色。<span style="background-image: linear-gradient(transparent 60%, rgba(252, 185, 0, 0.5) 60%)" class="sme-highlighter">它們不僅體現了開源社群的創新精神，也反映了資料處理技術的演進趨勢。</span></p>



<h3 class="wp-block-heading"><strong>Kettle 的起源與發展</strong></h3>



<p>Kettle 最初由比利時開發者 Matt Casters 於 2001 年開發，並於 2005 年以 LGPL 授權方式開源。2006 年，Kettle 被 Pentaho 收購，並更名為 Pentaho Data Integration（PDI），成為其商業智慧平台的重要組件。2015 年，Hitachi Data Systems 宣布收購 Pentaho，並將其整合至自家先進分析軟體中，以強化物聯網（IoT）和大數據分析的市場領導地位。</p>



<h3 class="wp-block-heading"><strong>Apache Hop 的誕生與演進</strong></h3>



<p>2019 年，原 Kettle 開發團隊成員啟動了 Apache Hop（Hop Orchestration Platform）專案，作為 Kettle 的分支，重新設計資料整合平台以滿足現代資料工程的需求。Apache Hop 採用模組化架構，強調元資料驅動，並提供直覺式圖形化介面，使資料工程師能更高效地設計、執行和監控資料流程。2021 年，Apache Hop 發布首個正式版本，並於 2022 年初正式成為 Apache 軟體基金會的頂級專案。</p>



<p>這段歷程展現了開源社群在資料整合領域的持續創新，也為企業選擇 ETL 工具提供了更多元、現代化的選項。</p>



<p>然而，深入實作後會發現，Pentaho 與 Apache Hop 雖理念相近，但在術語與架構設計上仍有不少差異。</p>



<p>為幫助大家釐清這些概念落差，接下來將逐一拆解核心對照。</p>



<h2 class="wp-block-heading"><strong>術語與基礎架構對比</strong></h2>



<h3 class="wp-block-heading"><strong>核心概念對照</strong></h3>



<p>Pentaho 與 Apache Hop 的操作邏輯有許多共通之處，但命名方式大不相同。以下是幾個最常見的概念對照：</p>



<figure class="wp-block-table"><table class="has-fixed-layout"><tbody><tr><td><strong>PDI（Pentaho）</strong></td><td><strong>Apache Hop</strong></td><td><strong>解釋</strong></td></tr><tr><td>Transformation</td><td>Pipeline</td><td>皆為設計資料處理流程的主要單位，用來串接並執行一連串的轉換步驟。</td></tr><tr><td>Step</td><td>Transform</td><td>流程中的單一步驟，執行資料處理任務，如讀取、轉換、輸出等。</td></tr><tr><td>Job</td><td>Workflow</td><td>控制流程邏輯（如條件判斷、迴圈、任務串接等）的單元。</td></tr><tr><td>Spoon（GUI）</td><td>Hop GUI</td><td>可視化開發介面，協助使用者設計 ETL 任務。</td></tr></tbody></table></figure>



<h2 class="wp-block-heading"><strong>開發介面比較</strong></h2>



<p>左圖為 Pentaho 的 Spoon 介面：使用者透過左側元件選單拖拉 Step 至畫布建立 Transformation，<span style="background-image: linear-gradient(transparent 60%, rgba(252, 185, 0, 0.5) 60%)" class="sme-highlighter">操作方式直覺，適合視覺化建構流程</span>。</p>



<p>右圖為 Apache Hop GUI：使用者透過滑鼠右鍵在畫布上開啟選單後選取 Transform 插入至 Pipeline，<span style="background-image: linear-gradient(transparent 60%, rgba(252, 185, 0, 0.5) 60%)" class="sme-highlighter">操作邏輯更模組化</span>。</p>



<p class="has-text-align-center"><img fetchpriority="high" src="https://lh7-rt.googleusercontent.com/docsz/AD_4nXe_eHNF_5malDqI7oseqVWx4umPjomvsePQ2mID7rMc6a6t3GyXv_i3_iiUBV28EIw-YpyyujmafLG6_VuqyiyiP8U91-sNCOn5BTlBbGZb5W_DC7OdLtR1qv0D3J5pnHa5yabyjvThrdl8I7KhNPk?key=8C6v2tbdAt8XX2v-8ic0OA" width="602" height="376"></p>



<p class="has-text-align-center"></p>



<h2 class="wp-block-heading"><strong>執行工具比較</strong></h2>



<p>Pentaho 使用兩個命令列工具分別執行不同流程：</p>



<ul class="wp-block-list">
<li>pan：執行 Transformation</li>



<li>kitchen：執行 Job</li>
</ul>



<p>Apache Hop 則使用單一工具 hop-run，可同時執行 Pipeline 或 Workflow，簡化指令與排程整合。</p>



<figure class="wp-block-table"><table class="has-fixed-layout"><tbody><tr><td class="has-text-align-center" data-align="center"><img width="286" height="307" src="https://lh7-rt.googleusercontent.com/docsz/AD_4nXd_3zRKQyTfLFE34NMat7cqDZq54LZSUo6MbwQDo_-hQcHWfCDFkExG9GSb9uCbojqlt8wHLCs43xQPdN7oRROcnlutCD-yqiXcnriSEAjIuhjxQhdZ1QLdH8GRQgisO3dcPTrjJqopNARd1cPIJAo?key=8C6v2tbdAt8XX2v-8ic0OA"></td><td class="has-text-align-center" data-align="center"><img width="286" height="245" src="https://lh7-rt.googleusercontent.com/docsz/AD_4nXcb_nJ6rC98EmfZDTB7FSVh7i5V2F03jE7cktHrFGW5icjJB5MmpM-4CLpJPjdPuSsmAfHNeEmTpW64jyejv8HbJPj3SD2HsSxXkORB9c0RGMtL9j3ao5ELaS7IC3_dTdsh61S1mGC3StiMbAXF5-k?key=8C6v2tbdAt8XX2v-8ic0OA"></td></tr></tbody></table></figure>



<h2 class="wp-block-heading"><strong>遠端伺服器比較</strong></h2>



<h3 class="wp-block-heading"><strong>Pentaho Carte Server</strong></h3>



<ul class="wp-block-list">
<li>提供 HTTP Servlet 接口接收 XML 任務請求，並回傳執行結果。<br></li>
</ul>



<h3 class="wp-block-heading"><strong>Apache Hop Server</strong></h3>



<ul class="wp-block-list">
<li>支援標準 RESTful API（使用 JSON 格式），更易與 Airflow 等自動化平台整合。</li>



<li>可搭配 Run Configurations 指定任務執行位置（如本機、遠端、Spark 等）並提供 UI 監控介面。</li>
</ul>



<p>雖然 Hop Server 架構更現代化，但實際操作邏輯上與 Carte Server 相近，對熟悉 PDI 的使用者而言轉換門檻不高。</p>



<h2 class="wp-block-heading"><strong>專案管理與版本控管功能</strong></h2>



<h3 class="wp-block-heading"><strong>Pentaho：Repository 架構</strong></h3>



<ul class="wp-block-list">
<li>集中儲存 Transformation / Job</li>



<li>支援權限設定與版本管理（企業版）</li>
</ul>



<h3 class="wp-block-heading"><strong>Apache Hop：開放式儲存結構</strong></h3>



<ul class="wp-block-list">
<li>支援 Git 儲存與版本控制</li>



<li>元資料可放在 S3 等雲端平台</li>



<li>結構清晰，利於 DevOps 流程與 CI/CD 整合</li>
</ul>



<p>*適合需要跨環境佈署、敏捷協作的資料工程團隊</p>



<h2 class="wp-block-heading"><strong>成功案例：Pentaho 資料遷移</strong></h2>



<p><strong>情境</strong>：某大型銀行每日在其核心 OLTP（Online Transaction Processing）系統中產生大量交易紀錄，例如轉帳、提款、存款與繳費等。這些交易資料需要每日準時依照排程，自動搬移到 Greenplum 數據倉儲系統，以支援內部的財務報表、客戶行為分析、風險控管及其他商業決策用途。</p>



<p>為了確保資料處理流程穩定、透明且具備高可靠性，此解決方案不僅僅完成資料搬移，<span style="background-image: linear-gradient(transparent 60%, rgba(252, 185, 0, 0.5) 60%)" class="sme-highlighter">更強調資料檢核機制與異常處理能力</span>，以保證：</p>



<ul class="wp-block-list">
<li>不重複搬資料（No duplication）</li>



<li>不漏搬資料（No data loss）</li>



<li>不誤搬資料（No corruption）</li>
</ul>



<p><strong>解決方案：Airflow + Pentaho PDI</strong></p>



<ul class="wp-block-list">
<li><strong>Airflow</strong>：排程、重試控制與任務監控</li>



<li><strong>PDI</strong>：資料抽取、轉換與目標資料庫寫入</li>
</ul>



<p>下圖說明了 Airflow 與 Pentaho 之間的資料遷移流程</p>



<p><strong>圖表說明: </strong>​</p>



<p>Airflow 觸發排程（對應一個 Pentaho job），Pentaho 擷取來源資料並計算筆數後，根據客戶需求進行寫入（如 update/insert 或 truncate/insert）。寫入完成後再計算目標端筆數，最後由 Airflow 驗證兩邊筆數是否一致，以判斷是否成功。</p>



<figure class="wp-block-image"><img src="https://lh7-rt.googleusercontent.com/docsz/AD_4nXcXGHePhVSGCB1_2l1o2QGK-PEYv0Gr8H_mHXvX1YKgc2eqKFEgJ0Pj-XYy44D4AYgsF8GYjjILo7iGKkZswgkNQPUVp51UU6L1ALw1fZC5nIDFjgKS7cpNByHSDB-ZcyhwTP7y0ZFeiKov0_O2Ow?key=8C6v2tbdAt8XX2v-8ic0OA" alt=""/></figure>



<p>註：虛線箭頭代表資料流向（Data Flow）</p>



<p>透過 Airflow 與 Pentaho 的整合，不僅實現了自動化、穩定且可監控的資料搬移流程，更確保了資料的一致性與完整性，為企業後續的數據分析與決策提供了可靠基礎。</p>



<p><span style="background-image: linear-gradient(transparent 60%, rgba(252, 185, 0, 0.5) 60%)" class="sme-highlighter">推薦閱讀：</span><a href="https://www.omniwaresoft.com.tw/techcolumn/pentaho-techcolumn/pentaho-etl-practices-table-input-and-output/" target="_blank" rel="noreferrer noopener">Pentaho ETL 實作技巧：SQL 動態內容引用 Table input &amp; Execute SQL scripts</a></p>



<iframe width="560" height="315" src="https://www.youtube.com/embed/MbJgNJUPU5g?si=Y6n6Ozb2CT2j5wKI" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share" referrerpolicy="strict-origin-when-cross-origin" allowfullscreen></iframe>



<p><strong>文章參考資料</strong></p>



<p>[1] <a href="https://kettle.bleuel.com/2015/02/14/some-historic-cornerstones-of-kettle-pentaho/?utm_source=chatgpt.com" target="_blank" rel="noreferrer noopener">kettle背景</a></p>



<p>[2] <a href="https://www.youtube.com/watch?v=6mZFXoi-fnM" target="_blank" rel="noreferrer noopener">Pentaho VS Hop-ETL 圖形化開發工具的新戰場</a></p>



<p>[3] <a href="https://hop.apache.org/tech-manual/latest/hop-vs-kettle/index.html" target="_blank" rel="noreferrer noopener">Hop vs Kettle</a></p>



<p>[4] <a href="https://www.omniwaresoft.com.tw/product-news/pentaho-news/pentaho-ee-ec-edition/" target="_blank" rel="noreferrer noopener">Pentaho 企業與社群版本的開源優勢</a></p>



<p>[5] <a href="https://hop.apache.org/manual/latest/index.html" target="_blank" rel="noreferrer noopener">Hop 官方文件</a></p>



<p>[6] <a href="https://docs.hitachivantara.com/r/en-us/pentaho-data-integration-and-analytics/10.2.x/mk-95pdia003/pdi-transformation-steps/avro-output" target="_blank" rel="noreferrer noopener">Pentaho 官方文件</a></p>



<p>想了解更多資訊，<a href="https://www.omniwaresoft.com.tw/contact/" target="_blank" rel="noreferrer noopener">歡迎聯絡我們</a>，或是 <a href="https://page.line.me/870pcqyh?oat__id=4761625&amp;openQrModal=true" target="_blank" rel="noreferrer noopener">加入歐立威 Line 好友！</a></p>
]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">44783</post-id>	</item>
		<item>
		<title>《歐立威科技 2024 研討會》6/5 &#124; Pentaho 資料目錄 &#8211; 企業啟動資料治理的第一步</title>
		<link>https://www.omniwaresoft.com.tw/all-events/pentaho-event/pentaho-webinar-20240605/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Tue, 21 May 2024 02:36:07 +0000</pubDate>
				<category><![CDATA[Pentaho 活動]]></category>
		<category><![CDATA[Pentaho]]></category>
		<category><![CDATA[Webinar]]></category>
		<category><![CDATA[資料目錄]]></category>
		<guid isPermaLink="false">https://www.omniwaresoft.com.tw/?p=42475</guid>

					<description><![CDATA[Pentaho Data Catalog 可以自動尋找、分析和標記結構化和非結構化資料，並將商業術語和資料治理策略結合，協助企業開啟資料治理的第一步。Pentaho 原廠講師將介紹資料治理/資料目錄、如何構建資料目錄、Pentaho Data Catalog 應用案例、Reference Data Management 等內容。]]></description>
										<content:encoded><![CDATA[
<p></p>



<div class="wp-block-columns is-layout-flex wp-container-core-columns-is-layout-1 wp-block-columns-is-layout-flex">
<div class="wp-block-column is-layout-flow wp-block-column-is-layout-flow" style="flex-basis:100%">
<figure class="wp-block-gallery aligncenter has-nested-images columns-default is-cropped wp-block-gallery-1 is-layout-flex wp-block-gallery-is-layout-flex">
<figure class="wp-block-image size-large"><img data-recalc-dims="1" loading="lazy" width="1024" height="512" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2024/05/65-Pentaho-%E8%B3%87%E6%96%99%E7%9B%AE%E9%8C%84.png?resize=1024%2C512&#038;ssl=1" alt="Pentaho-資料目錄" class="wp-image-42479" srcset="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2024/05/65-Pentaho-%E8%B3%87%E6%96%99%E7%9B%AE%E9%8C%84.png?resize=1024%2C512&amp;ssl=1 1024w, https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2024/05/65-Pentaho-%E8%B3%87%E6%96%99%E7%9B%AE%E9%8C%84.png?resize=300%2C150&amp;ssl=1 300w, https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2024/05/65-Pentaho-%E8%B3%87%E6%96%99%E7%9B%AE%E9%8C%84.png?resize=768%2C384&amp;ssl=1 768w, https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2024/05/65-Pentaho-%E8%B3%87%E6%96%99%E7%9B%AE%E9%8C%84.png?resize=1536%2C768&amp;ssl=1 1536w, https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2024/05/65-Pentaho-%E8%B3%87%E6%96%99%E7%9B%AE%E9%8C%84.png?resize=2048%2C1024&amp;ssl=1 2048w, https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2024/05/65-Pentaho-%E8%B3%87%E6%96%99%E7%9B%AE%E9%8C%84.png?w=2340&amp;ssl=1 2340w" sizes="(max-width: 1024px) 100vw, 1024px" /></figure>
</figure>



<p></p>
</div>
</div>



<p><strong>活動介紹:</strong></p>



<p>資料是 AI 模型與技術中重要的一環，而資料的蒐集、儲存、存取、應用、權限控管等，則需要資料治理 (Data Governance) 的制度，讓資料發揮最大價值。</p>



<p>然而根據 Gartner 2020 年的報告，高達 42% 的組織在實踐資料治理遭遇困難，原因是「難以接觸、衡量、監控資料與分析結果」。</p>



<p>因此，企業實踐資料治理的第一步，是先建立「資料目錄 (data catalog)」。</p>



<p><strong>什麼是資料目錄？</strong></p>



<p>資料目錄是組織中所有資料資產的清單，它幫助資料專業人員為任何分析或業務目的找到最相關的資料。資料目錄使用元資料來建立一個組織中所有資料資產的資訊和可搜尋清單。（<a href="https://communeit.medium.com/%E4%BB%80%E9%BA%BC%E6%98%AF%E8%B3%87%E6%96%99%E7%9B%AE%E9%8C%84-%E5%AE%9A%E7%BE%A9-%E6%A1%88%E4%BE%8B%E5%92%8C%E6%9C%80%E4%BD%B3%E5%AF%A6%E8%B8%90-9da8bd3032ea">資料來源</a>）</p>



<p>Pentaho Data Catalog 可以自動尋找、分析和標記結構化和非結構化資料，並將商業術語和資料治理策略結合，協助企業開啟資料治理的第一步。</p>



<p>本場研討會我們邀請 Pentaho 原廠講師，介紹以下內容：</p>



<ul class="wp-block-list">
<li>資料治理、資料目錄介紹</li>



<li>如何構建資料目錄</li>



<li>Pentaho Data Catalog 應用案例</li>



<li>Reference Data Management</li>
</ul>



<p>歡迎對 Pentaho, 資料治理, 資料目錄有興趣的朋友報名參加！</p>



<p><br>?&nbsp;<strong>活動議程</strong></p>



<figure class="wp-block-table"><table><tbody><tr><td class="has-text-align-center" data-align="center">時間</td><td class="has-text-align-center" data-align="center">議程</td><td class="has-text-align-center" data-align="center">講師</td></tr><tr><td class="has-text-align-center" data-align="center">10:55~11:00</td><td class="has-text-align-center" data-align="center">來賓報到</td><td class="has-text-align-center" data-align="center">&#8211;</td></tr><tr><td class="has-text-align-center" data-align="center">11:00~11:05</td><td class="has-text-align-center" data-align="center">Opening</td><td class="has-text-align-center" data-align="center">&#8211;</td></tr><tr><td class="has-text-align-center" data-align="center">11:05~11:55</td><td class="has-text-align-center" data-align="center">Pentaho 資料目錄 &#8211; 啟動企業資料治理的第一步</td><td class="has-text-align-center" data-align="center">Pentaho　<br>資深大數據架構師<br>Richie&nbsp;</td></tr><tr><td class="has-text-align-center" data-align="center">11:55~12:00</td><td class="has-text-align-center" data-align="center">QA</td><td class="has-text-align-center" data-align="center">Pentaho　<br>資深大數據架構師<br>Richie&nbsp;</td></tr></tbody></table></figure>



<p>本活動完全免費並在線上進行，歡迎對 Pentaho, 資料治理, 資料目錄有興趣的朋友參與。</p>



<p>因活動有人數限制，報名後須經審核，通過審核後會議連結會寄至報名信箱，請留意！</p>



<p>未通過者不另行通知，祈請見諒。</p>



<p>?<strong>請以公司信箱報名以加速審核</strong></p>



<div class="wp-block-button aligncenter is-style-fill"><a class="wp-block-button__link has-vivid-green-cyan-background-color has-background wp-element-button" href="http://s.accupass.com/uWGiox" target="_blank" rel="noreferrer noopener">立刻報名 <strong>&gt;&gt;</strong></a></div>



<p></p>
]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">42475</post-id>	</item>
		<item>
		<title>Pentaho ETL 實作技巧：無共通欄位資料合併 Merge join &#038; Multiway merge join</title>
		<link>https://www.omniwaresoft.com.tw/techcolumn/pentaho-techcolumn/pentaho-merge-join-and-mulitiway-merge-join-practices/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Fri, 17 Nov 2023 10:21:37 +0000</pubDate>
				<category><![CDATA[Pentaho 技術專欄]]></category>
		<category><![CDATA[ETL]]></category>
		<category><![CDATA[Pentaho]]></category>
		<guid isPermaLink="false">https://www.omniwaresoft.com.tw/?p=38517</guid>

					<description><![CDATA[對於使用 Pentaho (或者類似產品Kettle / Hop) 這類 ETL 工具的開發人員來說，總有一些藏在角落、鮮為人知的方便功能。筆者在此將講解有關 Pentaho 流程中， Merge join 與Multiway merge join 的資料合併做法。]]></description>
										<content:encoded><![CDATA[</p>
<p>


<p>對於使用 Pentaho (或者類似產品 Kettle / Hop) 這類 ETL 工具的開發人員來說，總有一些藏在角落、鮮為人知的方便功能。<br>筆者在此將講解有關 Pentaho 流程中，Merge join 與 Multiway merge join 的資料合併做法。</p>


</p>
<p>


<h2 class="wp-block-heading"><b>資料合併步驟</b></h2>



<p></p>



<p></p>


</p>
<p>


<h2 class="wp-block-heading"><b>Merge join</b></h2>


</p>
<p>


<p><b><i>萬一要合併的兩個資料來源，不屬於同一個資料庫伺服器，甚至不是資料庫來源呢?</i></b></p>


</p>
<p>


</p>
<p><b><i>這時 Merge join 就派上用場了。</i></b></p>
<p>


</p>
<p>


</p>
<p>Merge join 會合併<b>兩個步驟</b>傳遞的資料(包含資料庫來源、檔案來源等)，可選擇 INNER JOIN 或多種 OUTER JOIN。</p>
<p>


</p>
<p>


</p>
<figure><img data-recalc-dims="1" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-14-%E4%B8%8A%E5%8D%8811.19.27.png?w=1170&#038;ssl=1" alt="Multiway merge join設定視窗 " style="aspect-ratio:2.909090909090909;width:475px;height:auto"><p></p>
<figcaption>Merge join流程示意圖 </figcaption>
</figure>
<p>


</p>
<p>


</p>
<p class="is-nowrap is-layout-flex wp-container-core-group-is-layout-1 wp-block-group-is-layout-flex">

</p>
<p class="is-layout-flex wp-container-core-columns-is-layout-2 wp-block-columns-is-layout-flex">

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<figure><img data-recalc-dims="1" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8B%E5%8D%883.15.01.png?w=1170&#038;ssl=1" alt=""></figure>
<p>

</p>
<p>

</p>
<p>

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<p>

</p>
<p>

</p>
<p>Merge join設定視窗</p>
<p>

</p>
<p>

</p>
<ul class="wp-block-list">

<p></p>
<li>設定需合併資料的步驟：<br>&nbsp; &nbsp; First step<br>&nbsp; &nbsp; Second step</li>
<p>

</p>
<p>

</p>
<li>選擇合併方式：<br>&nbsp; &nbsp; INNER, LEFT OUTER,<br>&nbsp; &nbsp; RIGHT OUTER, FULL OUTER</li>
<p>

</p>
<p>

</p>
<li>設定合併關聯鍵：<br>&nbsp; &nbsp; Keys for 1st step:<br>&nbsp; &nbsp; Keys for 2nd step:<br>&nbsp; &nbsp; (可用 Get key fields 快速加入)</li>
<p>

</p>
</ul>
<p>

</p>
<p>

</p>
<p>

</p>
<p>


</p>
<p>


</p>
<h3 class="wp-block-heading"><strong>Multiway merge join</strong></h3>
<p>


</p>
<p>


</p>
<p><strong><em>糟糕，Merge join 只能合併兩個資料來源，但是來源有三個，該怎麼辦</em></strong>？</p>
<p>


</p>
<p>


</p>
<p><strong><em>別急，這裡還有 Multiway merge join 可以幫忙。</em></strong></p>
<p>


</p>
<p>


</p>
<p>步驟 Multiway merge join 會合併<strong>兩個以上步驟</strong>傳遞的資料(包含資料庫來源、檔案來源等)，可選擇 INNER JOIN 或 </p>
<p>


</p>
<p>


</p>
<p>FULL OUTER JOIN。</p>
<p>


</p>
<p>


</p>
<figure><img data-recalc-dims="1" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-14-%E4%B8%8A%E5%8D%8811.30.25.png?w=1170&#038;ssl=1" alt="Multiway merge join設定視窗 " style="aspect-ratio:2.909090909090909;width:541px;height:auto"><p></p>
<figcaption>Multiway merge join流程示意圖</figcaption>
</figure>
<p>


</p>
<p>


</p>
<figure><img data-recalc-dims="1" height="352" width="1024" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-14-%E4%B8%8A%E5%8D%8811.34.00.png?resize=1024%2C352&#038;ssl=1" alt="Multiway merge join設定視窗 " style="aspect-ratio:2.909090909090909;width:549px;height:auto"><p></p>
<figcaption>Multiway merge join設定視窗</figcaption>
</figure>
<p>


</p>
<p>


</p>
<ul class="wp-block-list">

<p></p>
<li>設定輸入步驟：Input Step（n）<br>※ 欄位數量隨連結步驟而增減</li>
<p>

</p>
<p>

</p>
<li>設定合併關聯鍵：Join Keys<br>※ 必須點選 Select Keys 按鈕、開啟小視窗填寫關聯鍵名稱</li>
<p>

</p>
<p>

</p>
<li>選擇合併方式：Join Type: （INNER 或 FULL OUTER）</li>
<p>

</p>
</ul>
<p>


</p>
<p>


</p>
<h4 class="wp-block-heading"><strong>「常值膠帶」與「序列膠帶」</strong></h4>
<p>


</p>
<p>


</p>
<p><strong><em>看過標準的 join 步驟，可能有人會問：每次都要設定共通欄位，有沒有更便利的方法?</em></strong></p>
<p>


</p>
<p>


</p>
<p><strong><em>方法有，而且步驟連起來就可以。</em></strong></p>
<p>


</p>
<p>


</p>
<p>情境：兩股資料來源、資料<strong>欄位組成相同</strong></p>
<p>


</p>
<p>


</p>
<p class="is-layout-flex wp-container-core-columns-is-layout-3 wp-block-columns-is-layout-flex">

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<figure><img data-recalc-dims="1" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8B%E5%8D%883.29.59-1.png?w=1170&#038;ssl=1" alt="" style="aspect-ratio:1.2594142259414225;width:425px;height:auto"></figure>
<p>

</p>
<p>

</p>
<p>

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<p>

</p>
<p>

</p>
<ul class="wp-block-list">

<p></p>
<li>資料來源A (左側ABC字樣)</li>
<p>

</p>
<p>

</p>
<li>資料來源B (右側JKL字樣)</li>
<p>

</p>
<p>

</p>
<li>兩個來源都由欄位 name, score 組成</li>
<p>

</p>
</ul>
<p>

</p>
<p>

</p>
<p>

</p>
<p>

</p>
<p>預期結果：<br>合併資料、每列資料呈現所有資料來源欄位</p>
<p>

</p>
<p>

</p>
<p>

</p>
<p>

</p>
<p>


</p>
<p>


</p>
<p>「常值膠帶」：利用 Add constants 步驟追加<strong>固定常值</strong>，合併多股來源資料</p>
<p>


</p>
<p>


</p>
<p>※ 注意：資料合併順序受<strong>資料來源步驟建立順序</strong>影響，可後續追加 Sort rows 步驟重新排序</p>
<p>


</p>
<p>


</p>
<figure><img data-recalc-dims="1" height="680" width="1024" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-14-%E4%B8%8A%E5%8D%8811.52.33.png?resize=1024%2C680&#038;ssl=1" alt="序列膠帶" style="aspect-ratio:1.5058823529411764;width:528px;height:auto"></figure>
<p>


</p>
<p>


</p>
<p>「序列膠帶」：利用 Add sequence 步驟<strong>追加固定序列</strong>，合併多股來源資料</p>
<p>


</p>
<p>


</p>
<p>※ 注意：資料合併順序受<strong>資料來源步驟建立順序</strong>影響，可後續追加 Sort rows 步驟重新排序</p>
<p>


</p>
<p>


</p>
<figure><img data-recalc-dims="1" height="680" width="1024" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-14-%E4%B8%8A%E5%8D%8811.53.22.png?resize=1024%2C680&#038;ssl=1" alt="" style="aspect-ratio:1.5058823529411764;width:537px;height:auto"></figure>
<p>


</p>
<p>


<h2 class="wp-block-heading"><strong>無共通欄位情境處理</strong></h2>


</p>
<p>


<p><strong><em>看過前面的介紹，資料合併動作都在「有共通欄位」的前提下完成。如果有兩股以上、沒有共通欄位的資料載入 Pentaho，如何實現欄位合併？</em></strong><br><strong><em><br>那就自己製造共通欄位！</em></strong></p>


</p>
<p>


</p>
<h3 class="wp-block-heading"><strong>「常值雙面膠」：配合 join 一 對多合併</strong></h3>
<p>


</p>
<p>


</p>
<p class="is-layout-flex wp-container-core-columns-is-layout-7 wp-block-columns-is-layout-flex">

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<p>情境：兩股資料來源、<strong>資料量不同</strong>、沒有共通欄位可以對照</p>
<p>

</p>
<p>

</p>
<p class="is-layout-constrained wp-block-group-is-layout-constrained">

</p>
<p class="is-layout-flex wp-container-core-columns-is-layout-4 wp-block-columns-is-layout-flex">

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<figure><img data-recalc-dims="1" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8B%E5%8D%884.23.39.png?w=1170&#038;ssl=1" alt=""></figure>
<p>

</p>
<p>

</p>
<p>

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<p>

</p>
<p>

</p>
<ul class="wp-block-list">

<p></p>
<li>資料來源A：欄位 group</li>
<p>

</p>
<p>

</p>
<li>資料來源B：欄位 name, score</li>
<p>

</p>
</ul>
<p>

</p>
<p>

</p>
<p>

</p>
<p>

</p>
<p>

</p>
<p>

</p>
<p>

</p>
<p class="is-layout-flex wp-container-core-columns-is-layout-6 wp-block-columns-is-layout-flex">

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<p class="is-layout-flex wp-container-core-columns-is-layout-5 wp-block-columns-is-layout-flex">

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<figure><img data-recalc-dims="1" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8B%E5%8D%884.28.34.png?w=1170&#038;ssl=1" alt="" style="aspect-ratio:2.239130434782609;width:413px;height:auto"></figure>
<p>

</p>
<p>

</p>
<p>

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<p>

</p>
<p>

</p>
<p>預期結果：合併資料、每列資料呈現所有資料來源欄位</p>
<p>

</p>
<p>

</p>
<ul class="wp-block-list">

<p></p>
<li>合併資料：欄位 group, name, score</li>
<p>

</p>
</ul>
<p>

</p>
<p>

</p>
<p>

</p>
<p>

</p>
<p>

</p>
<p>

</p>
<p>


</p>
<p>


</p>
<p>利用 Add constants 步驟添加相同內容欄位，配合 Merge join 步驟指定新欄位、完成合併</p>
<p>


</p>
<p>


</p>
<figure><img data-recalc-dims="1" height="448" width="1024" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-14-%E4%B8%8A%E5%8D%8811.56.48.png?resize=1024%2C448&#038;ssl=1" alt="Add constants步驟添加相同內容欄位，配合Merge join步驟指定新欄位、完成合併 " style="aspect-ratio:2.2857142857142856;width:594px;height:auto"></figure>
<p>


</p>
<p>


</p>
<p>


</p>
<p>


</p>
<p>※ 如果來源超過兩項，可改用 Multiway merge join 步驟執行合併</p>
<p>


</p>
<p>


</p>
<p>


</p>
<p>


</p>
<figure><img data-recalc-dims="1" height="583" width="1024" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-14-%E4%B8%8B%E5%8D%881.35.32.png?resize=1024%2C583&#038;ssl=1" alt="Multiway merge join" style="aspect-ratio:1.7564322469982847;width:607px;height:auto"></figure>
<p>


</p>
<p>


</p>
<h3 class="wp-block-heading"><strong>「序列雙面膠」：配合 join 多對多合併</strong></h3>
<p>


</p>
<p>


</p>
<p>情境：兩股資料來源、<strong>資料量相同</strong>、沒有共通欄位可以對照</p>
<p>


</p>
<p>


</p>
<p class="is-layout-flex wp-container-core-columns-is-layout-8 wp-block-columns-is-layout-flex">

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<figure><img data-recalc-dims="1" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8B%E5%8D%884.08.01.png?w=1170&#038;ssl=1" alt=""></figure>
<p>

</p>
<p>

</p>
<p>

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<p>

</p>
<p>

</p>
<ul class="wp-block-list">

<p></p>
<li>資料來源A (左)：欄位 group</li>
<p>

</p>
<p>

</p>
<li>資料來源B (右)：欄位 name, score</li>
<p>

</p>
</ul>
<p>

</p>
<p>

</p>
<p>


</p>
<p>


</p>
<p class="is-layout-flex wp-container-core-columns-is-layout-9 wp-block-columns-is-layout-flex">

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<figure><img data-recalc-dims="1" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8B%E5%8D%884.10.05-1.png?w=1170&#038;ssl=1" alt=""></figure>
<p>

</p>
<p>

</p>
<p>

</p>
<p class="is-layout-flow wp-block-column-is-layout-flow">

</p>
<p>預期結果：合併資料、每列資料呈現所有資料來源欄位</p>
<p>

</p>
<p>

</p>
<p>


</p>
<p>


</p>
<p>


</p>
<p>


</p>
<p>利用 Add sequence 步驟添加序列，配合 Merge join 步驟指定新欄位、完成合併</p>
<p>


</p>
<p>


</p>
<p>


</p>
<p>


</p>
<figure><img data-recalc-dims="1" height="482" width="1024" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-14-%E4%B8%8B%E5%8D%881.39.26.png?resize=1024%2C482&#038;ssl=1" alt="" style="aspect-ratio:2.12448132780083;width:598px;height:auto"></figure>
<p>


</p>
<p>


</p>
<p>


</p>
<p>


</p>
<p>※ 如果來源超過兩項，可改用 Multiway merge join 步驟執行合併</p>
<p>


</p>
<p>


<p></p>


</p>
<p>


<p class="has-text-align-center"></p>


</p>]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">38517</post-id>	</item>
		<item>
		<title>Pentaho ETL 實作技巧：SQL 動態內容引用 Table input &#038; Execute SQL scripts</title>
		<link>https://www.omniwaresoft.com.tw/techcolumn/pentaho-techcolumn/pentaho-etl-practices-table-input-and-output/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Fri, 17 Nov 2023 10:09:34 +0000</pubDate>
				<category><![CDATA[Pentaho 技術專欄]]></category>
		<category><![CDATA[ETL]]></category>
		<category><![CDATA[Pentaho]]></category>
		<guid isPermaLink="false">https://www.omniwaresoft.com.tw/?p=38598</guid>

					<description><![CDATA[儘管 Table input 和 Execute SQL script 兩者都支援填寫 SQL 語句，但固定條件值的頻繁調整卻會降低 ETL 流程效率。為此，Pentaho 允許將 SQL 語句設定為「動態內容」，使流程轉為更靈活的函式結構，並在 SQL 查詢中引入「動態內容」，本文將對此做法進行詳細說明。]]></description>
										<content:encoded><![CDATA[		<div data-elementor-type="wp-post" data-elementor-id="38598" class="elementor elementor-38598" data-elementor-post-type="post">
						<section data-particle_enable="false" data-particle-mobile-disabled="false" class="elementor-section elementor-top-section elementor-element elementor-element-51ac6536 elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="51ac6536" data-element_type="section">
						<div class="elementor-container elementor-column-gap-thegem"><div class="elementor-row">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-72dc5add" data-id="72dc5add" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-5d9dc496 flex-horizontal-align-default flex-horizontal-align-tablet-default flex-horizontal-align-mobile-default flex-vertical-align-default flex-vertical-align-tablet-default flex-vertical-align-mobile-default elementor-widget elementor-widget-text-editor" data-id="5d9dc496" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
												<div class="elementor-text-editor elementor-clearfix">
						<p><span style="text-transform: initial;">對於使用 Pentaho（或者類似產品 Kettle / Hop）這類 ETL 工具的開發人員來說，總有一些藏在角落、鮮為人知的方便功能。</span></p>
<p><span style="text-transform: initial;">在此講解有關 Pentaho 流程中，使用 Table input 與 Execute SQL scripts 兩種流程步驟的動態內容引用。</span></p>
<p><strong style="color: #3c3950; font-size: 30px; letter-spacing: 0.05em; text-transform: capitalize;">什麼是動態內容?</strong></p>
<p><!-- /wp:heading --></p>
<p><!-- wp:paragraph {"align":"left"} --></p>
<p data-start="32" data-end="231">在 Pentaho 的各項流程步驟中，雖然 Table Input 與 Execute SQL Script 都可以直接填寫 SQL 語句，但固定條件值往往需要 ETL 流程設計者手動調整，這不僅降低效率，也增加出錯風險。若將 SQL 語句設定為「動態內容」，流程就能轉換為函式（function）結構，取代人工調整，並可透過使用者輸入或上游步驟查詢的資料獲得結果，大幅提升效率並減少錯誤發生！</p>
<p> </p>
<p data-start="233" data-end="308">由於不同資料庫產品的特性各異，Pentaho 提供了兩種方式將「動態內容」引入 SQL 查詢中。本文將以變數與參數來區分，並詳細說明各種引入方法。</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:heading --></p>
<h2><strong>定義「變數」與「參數」</strong></h2>
<p><!-- /wp:heading --></p>
<p><!-- wp:paragraph --></p>
<p>在進入操作說明之前，為避免 Pentaho 介面上的名詞造成混淆，本文先釐清在 Pentaho 應用範圍內，「變數」與「參數」的差異：</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:heading {"level":3} --></p>
<h3><strong>變數 (variables)</strong></h3>
<p><!-- /wp:heading --></p>
<p><!-- wp:paragraph --></p>
<p>通過流程步驟 Set variables 與 Get variables 載入的 SQL 動態內容，稱為「變數」。</p>
<p>「變數」可以在 Transformation / Job 流程的屬性 (Properties) 設定中，利用「Parameters」區域進行定義（如欄位名稱、預設值、欄位說明等）</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:image {"align":"center","id":38601,"width":"344px","height":"auto","aspectRatio":"1.5566502463054188","sizeSlug":"full","linkDestination":"none"} --></p>
<figure><img data-recalc-dims="1" style="aspect-ratio: 1.5566502463054188; width: 344px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-16-%E4%B8%8B%E5%8D%885.03.28.png?w=1170&#038;ssl=1" alt="properties" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:paragraph {"align":"center"} --></p>
<p>※在畫面空白處可用滑鼠右鍵（或左鍵連續點擊）點選「Properties…」選項進入屬性設定（上圖紅框處），選擇「Parameters」區域即可定義「變數」（下圖）</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:image {"align":"center","id":38602,"width":"496px","height":"auto","aspectRatio":"3.9844357976653697","sizeSlug":"large","linkDestination":"none"} --></p>
<figure><img loading="lazy" data-recalc-dims="1" height="257" width="1024" style="aspect-ratio: 3.9844357976653697; width: 496px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-16-%E4%B8%8B%E5%8D%885.08.21.png?resize=1024%2C257&#038;ssl=1" alt="transformation properties" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:paragraph --></p>
<p>「變數」的利用方法有二：</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:list {"ordered":true} --></p>
<ol>
<li style="list-style-type: none;">
<ol><!-- wp:list-item --></ol>
</li>
</ol>
<ol>
<li style="list-style-type: none;">
<ol>
<li>呼叫 Transformation / Job 流程時指定內容</li>
</ol>
</li>
</ol>
<p><!-- /wp:list-item --></p>
<p><!-- wp:list-item --></p>
<ol>
<li style="list-style-type: none;">
<ol>
<li>利用流程步驟 Set variables 與 Get variables 指定流程中產生的目標內容</li>
</ol>
</li>
</ol>
<p><!-- /wp:list-item --></p>
<p><!-- /wp:list --></p>
<p><!-- wp:paragraph --></p>
<p>受到 Pentaho 當中 Transformation 流程特性<a href="https://stackoverflow.com/a/72445978" target="_blank" rel="noopener">[1]</a>影響，所有步驟「幾乎同時執行」，當一個 Transformation 設定「變數」後，該流程無法使用「變數」，必須透過 Job 流程傳送到另一個 Transformation，才能利用先前設定的「變數」。</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:image {"align":"center","id":38603,"width":"431px","height":"auto","aspectRatio":"2.1777777777777776","sizeSlug":"full","linkDestination":"none"} --></p>
<figure><img data-recalc-dims="1" style="aspect-ratio: 2.1777777777777776; width: 431px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-16-%E4%B8%8B%E5%8D%885.28.44.png?w=1170&#038;ssl=1" alt="motice" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:paragraph {"align":"center"} --></p>
<p>※Set variables 步驟確認離開時，會出現提示：同一 Transformation 內無法使用新增「變數」</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:heading {"level":3} --></p>
<h3><strong>參數（parameters</strong>）</h3>
<p><!-- /wp:heading --></p>
<p><!-- wp:paragraph --></p>
<p>通過 Transformation 流程中繼資料欄位 (fields) 取用的 SQL 動態內容，稱為「參數」；「參數」出現在 Spoon 執行流程後、執行結果（Execution Results）的 Preview data 頁籤：</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:image {"align":"center","id":38604,"width":"495px","height":"auto","aspectRatio":"1.5398496240601505","sizeSlug":"large","linkDestination":"none"} --></p>
<figure><img loading="lazy" data-recalc-dims="1" height="665" width="1024" style="aspect-ratio: 1.5398496240601505; width: 495px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-16-%E4%B8%8B%E5%8D%885.55.54.png?resize=1024%2C665&#038;ssl=1" alt="transformation parameter" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:paragraph {"align":"center"} --></p>
<p>※ （圖A）Pentaho 流程執行後，下方的執行結果可選 Preview data 查看不同步驟的「參數」呈現</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>和「變數」不同的是，「參數」可以直接在同一 Transformation 當中進行利用，由於「參數」本質仍是 ETL 流程的中繼資料，因此經過其它步驟，內容仍會因為篩選而變化（如 Select values、Filter rows）或者遺失（如 Table input）。</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:image {"align":"center","id":38606,"width":"500px","height":"auto","aspectRatio":"1.5398496240601505","sizeSlug":"large","linkDestination":"none"} --></p>
<figure><img loading="lazy" data-recalc-dims="1" height="665" width="1024" style="aspect-ratio: 1.5398496240601505; width: 500px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-16-%E4%B8%8B%E5%8D%885.58.50-1.png?resize=1024%2C665&#038;ssl=1" alt="execution results" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:paragraph {"align":"center"} --></p>
<p>※ （圖B） 相對於圖 A，「參數」經過流程步驟 Select values，欄位可能減少或更換名稱</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:image {"align":"center","id":38607,"width":"462px","height":"auto","aspectRatio":"1.5036710719530102","sizeSlug":"large","linkDestination":"none"} --></p>
<figure><img loading="lazy" data-recalc-dims="1" height="681" width="1024" style="aspect-ratio: 1.5036710719530102; width: 462px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-16-%E4%B8%8B%E5%8D%886.15.46.png?resize=1024%2C681&#038;ssl=1" alt="Filter row" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:paragraph {"align":"center"} --></p>
<p> （圖C） 相對於圖 A，「參數」經過流程步驟 Filter rows，受到篩選條件影響、產生資料列數量變化</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:image {"align":"center","id":38608,"width":"464px","height":"auto","aspectRatio":"1.532934131736527","sizeSlug":"large","linkDestination":"none"} --></p>
<figure><img loading="lazy" data-recalc-dims="1" height="668" width="1024" style="aspect-ratio: 1.532934131736527; width: 464px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-16-%E4%B8%8B%E5%8D%886.18.03.png?resize=1024%2C668&#038;ssl=1" alt="execution results" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:paragraph {"align":"center"} --></p>
<p>※ （圖D）相對於圖 A，「參數」經過流程步驟 Execute SQL scripts，由於該項步驟不輸出內容，故不會變化</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:image {"align":"center","id":38611,"width":"450px","height":"auto","aspectRatio":"1.5375375375375375","sizeSlug":"large","linkDestination":"none"} --></p>
<figure><img loading="lazy" data-recalc-dims="1" height="666" width="1024" style="aspect-ratio: 1.5375375375375375; width: 450px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8A%E5%8D%889.49.24.png?resize=1024%2C666&#038;ssl=1" alt="execution results" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:paragraph {"align":"center"} --></p>
<p>※  （圖E）相對於圖 A，「參數」經過流程步驟 Table input，由於該項步驟必定輸出內容，故內容被步驟輸出替代</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:heading {"level":3} --></p>
<h3><strong>「變數」文字替代</strong></h3>
<p><!-- /wp:heading --></p>
<p><!-- wp:paragraph --></p>
<p>變數文字替代（Variable substitution）需要在 SQL 語法中填寫 ${variable} 標記<a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Variables" target="_blank" rel="noopener">[2]</a>，括號內名稱自訂，以流程屬性定義為主，且字串內容必須追加單引號；之所以叫做「文字替代」，是因為動態內容會直接替代變數標記，才送出語法執行。</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:image {"align":"center","id":38612,"width":"493px","height":"auto","aspectRatio":"1.2864321608040201","sizeSlug":"large","linkDestination":"none"} --></p>
<figure><img loading="lazy" data-recalc-dims="1" height="796" width="1024" style="aspect-ratio: 1.2864321608040201; width: 493px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8A%E5%8D%889.51.30.png?resize=1024%2C796&#038;ssl=1" alt="table input" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:list --></p>
<ul>
<li style="list-style-type: none;">
<ul><!-- wp:list-item --></ul>
</li>
</ul>
<ul>
<li style="list-style-type: none;">
<ul>
<li>勾選選項「Replace variables in script?」啟用變數文字替代<a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Table_Input" target="_blank" rel="noopener">[3]</a></li>
</ul>
</li>
</ul>
<p><!-- /wp:list-item --></p>
<p><!-- wp:list-item --></p>
<ul>
<li style="list-style-type: none;">
<ul>
<li>SQL 語法動態內容位置填寫「${variable}」標記（字串內容必須添加單引號，數值、布林值除外）</li>
</ul>
</li>
</ul>
<p><!-- /wp:list-item --></p>
<p><!-- /wp:list --></p>
<p><!-- wp:heading {"level":4} --></p>
<h4><strong>Execute SQL script 變數文字替代方法</strong></h4>
<p><!-- /wp:heading --></p>
<p><!-- wp:image {"align":"center","id":38613,"width":"517px","height":"auto","aspectRatio":"1.3247089262613196","sizeSlug":"large","linkDestination":"none"} --></p>
<figure><img loading="lazy" data-recalc-dims="1" height="773" width="1024" style="aspect-ratio: 1.3247089262613196; width: 517px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8A%E5%8D%889.54.26.png?resize=1024%2C773&#038;ssl=1" alt="execute SQL script" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:list --></p>
<ul>
<li style="list-style-type: none;">
<ul><!-- wp:list-item --></ul>
</li>
</ul>
<ul>
<li style="list-style-type: none;">
<ul>
<li>勾選選項「Variable substitution」啟用變數文字替代<a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Execute_SQL_Script" target="_blank" rel="noopener">[4]</a></li>
</ul>
</li>
</ul>
<p><!-- /wp:list-item --></p>
<p><!-- wp:list-item --></p>
<ul>
<li style="list-style-type: none;">
<ul>
<li>SQL語法動態內容位置填寫「${variable}」標記（字串內容必須添加單引號，數值、布林值除外）</li>
</ul>
</li>
</ul>
<p><!-- /wp:list-item --></p>
<p><!-- /wp:list --></p>
<p><!-- wp:heading {"level":3} --></p>
<h3><strong>「參數」綁定</strong></h3>
<p><!-- /wp:heading --></p>
<p><!-- wp:paragraph --></p>
<p>相對於變數文字替代，參數綁定（Bind parameters）只要在SQL語法中填寫「?」標記即可，不過需要「參數」的數量、順序，必須與語法結構保持一致。</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>以效能角度比較，變數文字替代產生的SQL語法，儘管架構相同，資料庫掃描語法時，卻因為動態內容「一字之差」，視為不同的查詢，每次查詢便重做執行計畫，屬於美中不足；</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>參數綁定產生的 SQL 語法不同，語法、動態內容分開送出，資料庫掃描後，即可套用首次掃描的執行計畫，才引入動態內容，大幅增進查詢效能。實際設計流程時，流程步驟 Table input 與 Execute SQL script 對「參數」的影響也有所不同：<br />前者會傳回查詢結果、替代「參數」欄位，後者則保持原樣，「參數」可以繼續利用<a href="https://stackoverflow.com/a/51297306" target="_blank" rel="noopener">[5]</a>。</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:heading {"level":4} --></p>
<h4><strong>Table input 參數綁定方法</strong></h4>
<p><!-- /wp:heading --></p>
<p><!-- wp:image {"align":"center","id":38614,"width":"493px","height":"auto","aspectRatio":"1.2884615384615385","sizeSlug":"full","linkDestination":"none"} --></p>
<figure><img data-recalc-dims="1" style="aspect-ratio: 1.2884615384615385; width: 493px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8A%E5%8D%889.57.01.png?w=1170&#038;ssl=1" alt="Table input 綁定方法" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:list --></p>
<ul>
<li style="list-style-type: none;">
<ul><!-- wp:list-item --></ul>
</li>
</ul>
<ul>
<li style="list-style-type: none;">
<ul>
<li>屬性「Insert data from step」選擇流程上一步驟，啟用參數綁定<a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Table_Input#Example" target="_blank" rel="noopener">[6]</a></li>
</ul>
</li>
</ul>
<p><!-- /wp:list-item --></p>
<p><!-- wp:list-item --></p>
<ul>
<li style="list-style-type: none;">
<ul>
<li>勾選選項「Execute for each row?」確保動態內容通過「資料列逐一輸入」執行</li>
</ul>
</li>
</ul>
<p><!-- /wp:list-item --></p>
<p><!-- wp:list-item --></p>
<ul>
<li style="list-style-type: none;">
<ul>
<li>SQL語法動態內容位置填寫「?」標記即可<!-- wp:list -->
<ul>
<li style="list-style-type: none;">
<ul><!-- wp:list-item --></ul>
</li>
</ul>
<ul>
<li style="list-style-type: none;">
<ul>
<li>注意：由於參數綁定對數量、順序要求，上一步驟應使用Select values進行欄位排序、複製與重新命名</li>
</ul>
</li>
</ul>
<p><!-- /wp:list-item --></p>
<p><!-- /wp:list --></p>
</li>
</ul>
</li>
</ul>
<p><!-- /wp:list-item --></p>
<p><!-- /wp:list --></p>
<p><!-- wp:heading {"level":4} --></p>
<h4><strong>Execute SQL script參數綁定方法</strong></h4>
<p><!-- /wp:heading --></p>
<p><!-- wp:image {"align":"center","id":38615,"width":"472px","height":"auto","aspectRatio":"1.3361823361823362","sizeSlug":"full","linkDestination":"none"} --></p>
<figure><img data-recalc-dims="1" style="aspect-ratio: 1.3361823361823362; width: 472px; height: auto;" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2023/11/%E6%88%AA%E5%9C%96-2023-11-17-%E4%B8%8A%E5%8D%889.59.11.png?w=1170&#038;ssl=1" alt="execute SQL script" /></figure>
<p><!-- /wp:image --></p>
<p><!-- wp:list --></p>
<ul>
<li style="list-style-type: none;">
<ul><!-- wp:list-item --></ul>
</li>
</ul>
<ul>
<li style="list-style-type: none;">
<ul>
<li>先後勾選選項「Execute for each row?」以及「Bind parameters?」，啟用參數綁定<a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Execute_SQL_Script" target="_blank" rel="noopener">[7]</a>（必須勾選「Execute for each row?」，選項「Bind parameters?」才能操作）</li>
</ul>
</li>
</ul>
<p><!-- /wp:list-item --></p>
<p><!-- /wp:list --></p>
<p><!-- wp:list --></p>
<ul>
<li style="list-style-type: none;">
<ul><!-- wp:list-item --></ul>
</li>
</ul>
<ul>
<li style="list-style-type: none;">
<ul>
<li>SQL語法動態內容位置填寫 ? 標記即可，參數可在左下角”Parameters」表格填寫（須按照標記順序；欄位可重複填寫）</li>
</ul>
</li>
</ul>
<p><!-- /wp:list-item --></p>
<p><!-- /wp:list --></p>
<p><!-- wp:heading {"level":3} --></p>
<h3><strong>「參數」綁定SQL語法的限制</strong></h3>
<p><!-- /wp:heading --></p>
<p><!-- wp:paragraph --></p>
<p>利用參數綁定執行 SQL 腳本時，可能遭遇下面的狀況：</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:heading {"level":4} --></p>
<h4><strong>腳本存在多段分號間隔語法</strong></h4>
<p><!-- /wp:heading --></p>
<p><!-- wp:paragraph --></p>
<p>儘管參數綁定可以增進查詢效能，但不代表可以處理結構複雜的腳本。<br />如果有一段SQL腳本具有下面的結構：</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p>“</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p><em>UPDATE… SET… WHERE &lt;columnA&gt; = </em><strong><em>?</em></strong><em> AND &lt;columnB&gt; = </em><strong><em>?</em></strong><em> ;</em></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p><em>SELECT… FROM… WHERE &lt;columnA&gt; = </em><strong><em>?</em></strong><em> AND &lt;columnB&gt; = </em><strong><em>?</em></strong><em> ;</em></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p>“</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>按照前述解說，參數可能按照「ABAB」格式做綁定、順利完成作業，然而實際執行流程後，Pentaho 可能會回覆異常訊息：</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p><em>“</em></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p><em>&lt;data type&gt;：Unable to set value on prepared statement on index 4.</em></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p><em>欄位索引超過許可範圍：3，欄位數：2。</em></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p><em>“</em></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>或者</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p><em>“</em></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p><em>Error setting value #1 &lt;data type&gt; on prepared statement</em></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p><em>欄位索引超過許可範圍：1，欄位數：0。</em></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph {"textColor":"vivid-red"} --></p>
<p><em>“</em></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>這是因為 Execute SQL scripts 步驟只會執行分號間隔最後一段語法，如果<strong>指派參數數量超過最後一段語法指定數量</strong>，或者<strong>最後一段語法沒有指定參數</strong>，就會出現上述異常訊息。</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:heading {"level":4} --></p>
<h4><strong>腳本需要利用暫存表 (temp table)</strong></h4>
<p><!-- /wp:heading --></p>
<p><!-- wp:paragraph --></p>
<p>腳本內容在 Pentaho 執行時，可能遭遇效能較差，需要利用暫存表的情形。需要注意的是，前述 Transformation 流程特性當中，不只所有步驟「幾乎同時執行」，而且是各個步驟「執行完畢即釋放資源」。</p>
<p>因此，不僅建置暫存表、查詢暫存表的語法無法寫在同一步驟，即使分開執行，由於ETL步驟的工作階段(session)完成後馬上結束，暫存表建立完成的當下，也會馬上被消滅<a href="https://stackoverflow.com/a/22183458" target="_blank" rel="noopener">[8]</a>。</p>
<p>推薦閲讀：<a href="https://www.omniwaresoft.com.tw/techcolumn/pentaho-techcolumn/pentaho-merge-join-and-mulitiway-merge-join-practices/" target="_blank" rel="noopener">Pentaho ETL 實作技巧：無共通欄位資料合併 Merge join &amp; Multiway merge join</a></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:heading --></p>
<h2><strong>參考資料</strong></h2>
<p><!-- /wp:heading --></p>
<p><!-- wp:paragraph --></p>
<p>[1] StackOverflow問答 <a href="https://stackoverflow.com/a/72445978" target="_blank" rel="noopener">&#8220;Am I using switch/case wrong here to control?&#8221;</a>，2022-05-30</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>[2] Pentaho官方文件 <a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Variables" target="_blank" rel="noopener">&#8220;Variables &#8211; Hitachi Vantara Lumada and Pentaho Documentation&#8221;</a>，2021-10-08</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>[3] Pentaho官方文件 <a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Table_Input" target="_blank" rel="noopener">&#8220;Table Input &#8211; Hitachi Vantara Lumada and Pentaho Documentation&#8221;</a>，<a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Table_Input#Options" target="_blank" rel="noopener">Options段落</a>，2021-10-08</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>[4] Pentaho官方文件 <a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Execute_SQL_Script" target="_blank" rel="noopener">&#8220;Execute SQL Script &#8211; Hitachi Vantara Lumada and Pentaho Documentation&#8221;</a>，<a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Execute_SQL_Script#Options">Options段落</a>，2021-10-08</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>[5] StackOverflow問答 <a href="https://stackoverflow.com/a/51297306" target="_blank" rel="noopener">&#8220;Pentaho Transformation &#8220;Execute SQL Statements&#8221; vs &#8220;Table Input&#8221; step&#8221;</a>，2018-07-12</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>[6] 同[3]，<a href="https://help.hitachivantara.com/Documentation/Pentaho/Data_Integration_and_Analytics/8.3/Products/Table_Input#Example" target="_blank" rel="noopener">Example段落</a></p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>[7] 同[4]</p>
<p><!-- /wp:paragraph --></p>
<p><!-- wp:paragraph --></p>
<p>[8] StackOverflow問答 <a href="https://stackoverflow.com/a/22183458" target="_blank" rel="noopener">&#8220;How to create a Temporary Table using (Select * into ##temp from table) syntax(For MS SQL) using Pentaho data integration&#8221;</a>，2014-03-04</p>
<hr />
<p><!-- /wp:paragraph --></p>							</div>
										</div>
				</div>
					</div>
		</div>
					</div></div>
		</section>
				<section data-particle_enable="false" data-particle-mobile-disabled="false" class="elementor-section elementor-top-section elementor-element elementor-element-8e4e1ab elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="8e4e1ab" data-element_type="section">
						<div class="elementor-container elementor-column-gap-thegem"><div class="elementor-row">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-674c0ee" data-id="674c0ee" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-9bd21b5 flex-horizontal-align-default flex-horizontal-align-tablet-default flex-horizontal-align-mobile-default flex-vertical-align-default flex-vertical-align-tablet-default flex-vertical-align-mobile-default elementor-widget elementor-widget-html" data-id="9bd21b5" data-element_type="widget" data-widget_type="html.default">
				<div class="elementor-widget-container">
					<div style="text-align: left;">加入歐立威 LINE 好友，了解更多產品資訊<BR><BR>
  <a href="https://lin.ee/VCvhQSK" style="display: inline-block;" target="_blank"> 
    <img data-recalc-dims="1" width="1170" src="https://i0.wp.com/scdn.line-apps.com/n/line_add_friends/btn/zh-Hant.png?fit=1170%2C36&#038;ssl=1" alt="加入好友" height="36" border="0">
  </a>
</div>				</div>
				</div>
					</div>
		</div>
					</div></div>
		</section>
				</div>
		]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">38598</post-id>	</item>
		<item>
		<title>《歐立威科技 2022 研討會》5/4 &#124; Pentaho VS. Apache Hop &#8211; ETL 圖形化開發工具的新戰場</title>
		<link>https://www.omniwaresoft.com.tw/all-events/pentaho-event/pentaho-webinar-20220504/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Mon, 18 Apr 2022 21:08:44 +0000</pubDate>
				<category><![CDATA[Pentaho 活動]]></category>
		<category><![CDATA[活動及教育訓練]]></category>
		<category><![CDATA[Pentaho]]></category>
		<category><![CDATA[Webinar]]></category>
		<guid isPermaLink="false">http://www.omniwaresoft.com.tw/?p=17329</guid>

					<description><![CDATA[本次研討會將介紹 Apache Hop，以及比較 Pentaho、Apache Hop 兩者差異。趕快報名，一起來認識 Apache Hop 這個明日之星吧！]]></description>
										<content:encoded><![CDATA[		<div data-elementor-type="wp-post" data-elementor-id="17329" class="elementor elementor-17329" data-elementor-post-type="post">
						<section data-particle_enable="false" data-particle-mobile-disabled="false" class="elementor-section elementor-top-section elementor-element elementor-element-20e4dde7 elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="20e4dde7" data-element_type="section">
						<div class="elementor-container elementor-column-gap-thegem"><div class="elementor-row">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-46a01840" data-id="46a01840" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-38430f31 flex-horizontal-align-default flex-horizontal-align-tablet-default flex-horizontal-align-mobile-default flex-vertical-align-default flex-vertical-align-tablet-default flex-vertical-align-mobile-default elementor-widget elementor-widget-text-editor" data-id="38430f31" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
												<div class="elementor-text-editor elementor-clearfix">
						<p></p>
<p></p>
<p></p>
<div class="wp-block-columns is-layout-flex wp-container-core-columns-is-layout-11 wp-block-columns-is-layout-flex"><p></p>
<div class="wp-block-column is-layout-flow wp-block-column-is-layout-flow" style="flex-basis:100%"><p></p>
<figure class="wp-block-gallery aligncenter has-nested-images columns-default is-cropped wp-block-gallery-3 is-layout-flex wp-block-gallery-is-layout-flex"><p></p>
<figure class="wp-block-image size-full"><img data-recalc-dims="1" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2022/07/2022-%E7%A0%94%E8%A8%8E%E6%9C%83%E5%B0%81%E9%9D%A2-1080x540-1.png?w=1170&#038;ssl=1" alt="Pentaho Webinar" class="wp-image-30616"></figure>
<p></p></figure>
<p></p></div>
<p></p></div>
<p></p>
<p></p>
<p><img draggable="false" role="img" class="emoji" alt="&#x2615;" src="https://s.w.org/images/core/emoji/14.0.0/svg/2615.svg">《免費報名》填寫回饋問卷再拿咖啡兌換券！</p>
<p></p>
<p></p>
<h2 class="wp-block-heading" style="font-size:30px"><strong>活動介紹:</strong></h2>
<p></p>
<p></p>
<p>從 Kettle 開源一直到 Pentaho 將 Kettle 納入旗下解決方案以來，Pentaho (Kettle) 在 ETL 開發工具的這片戰場上，一直是 ETL 圖形化開發工具解決方案的佼佼者。</p>
<p></p>
<p></p>
<p>然而從 2019 開始，有個名叫 Hop 的對手悄悄崛起，它是 Kettle 的一個 fork 項目，其1.0.0 版本發佈於2021年10月5日，Hop 這個沉默的對手也終於在 2022 年初正式從 Apache 基金會孵化成為頂級專案，究竟 Apache Hop 的加入能夠為 ETL 開發工具的戰場帶來甚麼樣新的精采好戲？它和 Pentaho 各有何優劣，用戶又該選誰做為開發工具呢？</p>
<p></p>
<p></p>
<p>本次研討會將介紹 Apache Hop，以及比較&nbsp;Pentaho、Apache Hop 兩者差異。</p>
<p></p>
<p></p>
<p>趕快報名，一起來認識 Apache Hop 這個明日之星吧！</p>
<p></p>
<p></p>
<hr class="wp-block-separator has-alpha-channel-opacity">
<p></p>
<p></p>
<h2 class="wp-block-heading" style="font-size:30px"><strong>關於 Apache Hop</strong></h2>
<p></p>
<p></p>
<p>Apache Hop 是一個開源數據整合平台，圖形化開發提供視覺設計程式、伺服器和配置工具，不須編寫程式碼即可操作資料，可以簡單地設定、部署並維護資料工作流程，易於使用、快速且靈活。</p>
<p></p>
<p></p>
<p>Apache Hop 是可擴展的資料解決方案，可以更快速地促進資料使用，如資料調度、測試以支援 DevOps。Apache Hop 可用於本地、雲端、裸機、容器和物聯網等各種場景，主要使用情境如下：</p>
<p></p>
<p></p>
<ul class="wp-block-list">
<li>數據清理和分析</li>
<li>雲端、集群和大規模並行處理環境，將大型數據集加載到資料庫</li>
<li>建構資料倉儲，支援漸變維度、變更數據捕獲和代理鍵創建等</li>
<li>整合不同數據架構，如 RDBS、文件、NoSQL（如 Neo4j、MongoDB、Cassandra等）</li>
<li>不同資料庫和應用程式間的資料遷移&nbsp;</li>
</ul>
<p></p>
<p></p>
<h2 class="wp-block-heading" style="font-size:30px"><strong>活動議程:</strong></h2>
<p></p>
<p></p>
<figure class="wp-block-table">
<table>
<tbody>
<tr>
<td>
<p>時間</p>
</td>
<td>
<p>議程</p>
</td>
<td>
<p>講師</p>
</td>
</tr>
<tr>
<td>
<p>10:55~11:00</p>
</td>
<td>
<p>來賓報到</p>
</td>
<td>
<p>&#8211;</p>
</td>
</tr>
<tr>
<td>
<p>11:00~11:05</p>
</td>
<td>
<p>Opening</p>
</td>
<td>
<p>歐立威科技</p>
<p>技術顧問 Meso</p>
</td>
</tr>
<tr>
<td>
<p>11:05~12:00</p>
</td>
<td>
<p>Pentaho VS. Apache Hop</p>
<p>ETL 圖形化開發工具的新戰場</p>
</td>
<td>
<p>歐立威科技</p>
<p>技術顧問&nbsp;Meso</p>
</td>
</tr>
</tbody>
</table>
</figure>
<p></p>
<p></p>
<p>本活動完全免費並在線上進行，歡迎對 Pentaho/Apache Hop/ETL&nbsp;有興趣的朋友參與。</p>
<p></p>
<p></p>
<p>因活動有人數限制，報名後須經審核，通過審核後會議連結會寄至報名信箱，請留意！</p>
<p></p>
<p></p>
<p>未通過者不另行通知，祈請見諒。</p>
<p></p>
<p></p>
<p style="font-size:18px"><strong><strong>?&nbsp;請以公司信箱報名以加速審核</strong></strong></p>
<p></p>
<p></p>
<p></p>
<p></p>
<div class="wp-block-button aligncenter is-style-fill"><a class="wp-block-button__link has-vivid-green-cyan-background-color has-background" href="https://lihi1.com/Ok7Ng/omnipost" target="_blank" rel="noreferrer noopener">立刻報名 <strong>&gt;&gt;</strong></a></div>
<p></p>
<p></p>
<p></p>							</div>
										</div>
				</div>
					</div>
		</div>
					</div></div>
		</section>
				</div>
		]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">17329</post-id>	</item>
		<item>
		<title>使用 Pentaho 簡化機器學習的協作流程</title>
		<link>https://www.omniwaresoft.com.tw/product-news/pentaho-news/pentaho-ml-orchestration/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Fri, 14 Jan 2022 09:28:39 +0000</pubDate>
				<category><![CDATA[Pentaho 產品資訊]]></category>
		<category><![CDATA[Machine Learning]]></category>
		<category><![CDATA[Pentaho]]></category>
		<guid isPermaLink="false">http://www.omniwaresoft.com.tw/?p=16903</guid>

					<description><![CDATA[透過 Hitachi Vantara 的 Pentaho 平台簡化整個機器學習工作流程，包含資料準備和特徵工程，定期更新模型，訓練、調整和測試模型，部署和操作模型。Pentaho 資料整合 (PDI) 及其分析功能在複雜的資料環境中部署機器學習模型，整合各種機器學習、深度學習語言、套裝軟體。]]></description>
										<content:encoded><![CDATA[		<div data-elementor-type="wp-post" data-elementor-id="16903" class="elementor elementor-16903" data-elementor-post-type="post">
						<section data-particle_enable="false" data-particle-mobile-disabled="false" class="elementor-section elementor-top-section elementor-element elementor-element-515bd0f0 elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="515bd0f0" data-element_type="section">
						<div class="elementor-container elementor-column-gap-thegem"><div class="elementor-row">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-760ba4f3" data-id="760ba4f3" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-3f0a32d5 flex-horizontal-align-default flex-horizontal-align-tablet-default flex-horizontal-align-mobile-default flex-vertical-align-default flex-vertical-align-tablet-default flex-vertical-align-mobile-default elementor-widget elementor-widget-text-editor" data-id="3f0a32d5" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
												<div class="elementor-text-editor elementor-clearfix">
						<p><span style="font-weight: 400;"><a href="https://www.omniwaresoft.com.tw/pentaho/">Hitachi Vantara Pentaho</a> 平台簡化了您整個機器學習的工作流程，並使資料科學家、工程師和分析師團隊能夠培訓、調整、測試和部署預測模型。</span></p>
<p><span style="font-weight: 400;"><a href="https://www.hitachivantara.com/en-us/resources.html#pstag=dma-pentaho-data-integration">Pentaho 資料整合</a>及其分析功能透過實現順暢的團隊協作，打破機器學習的僵局。Pentaho 極大化的利用有限的資料科學資源，讓預測模型更快地處理大數據，無論使用案例、行業或語言，以及模型是用 R、Python、Scala 還是 Weka 建構的（參見圖 1）。&nbsp;</span></p>
<p><span style="font-size: 18pt;"><b><img loading="lazy" data-recalc-dims="1" class="wp-image-16905 aligncenter" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2022/01/2022-01-14-%E4%B8%8B%E5%8D%885.13.51.png?resize=780%2C221&#038;ssl=1" alt="Pentaho addresses the four most important steps in the data science workflow." width="780" height="221"></b></span><span style="font-weight: 400;">圖 1. Pentaho 解決了資料科學工作流程中最重要的四個步驟</span></p>
<h2><span style="font-size: 18pt;"><b>簡化機器學習工作流程</b></span></h2>
<p><span style="font-weight: 400;">大多數企業很難將模型投入使用，因為資料專業人員經常獨立作業，並在資料準備到模型更新的工作流程中遇到瓶頸。 Pentaho 平台在四個關鍵領域實現協作並解決瓶頸：</span></p>
<h3><span style="font-size: 14pt;"><strong>1. 資料準備和特徵工程</strong></span></h3>
<p><span style="font-weight: 400;">Pentaho 可以輕鬆準備和混合傳統資源（企業資源規劃 (ERM) 和客戶資源管理 (CRM) ）與大數據源（感應器和社交媒體）。 Pentaho 還加速了眾所周知的困難和昂貴的特徵工程，在一個易於使用的拖放環境中自動化數據載入、資料轉換和資料驗證。</span></p>
<h3><span style="font-size: 14pt;"><strong>2. 訓練、調整和測試模型</strong></span></h3>
<p><span style="font-weight: 400;">資料科學家經常透過反覆試驗來在模型的複雜性、性能和準確性之間取得適當的平衡。透過與 R 和 Python 等語言，以及 Spark Llib、Weka、Tensorflow 和 Keras 等機器學習和深度學習庫整合，Pentaho 讓資料科學家流暢的訓練、調整、建構和測試模型。此外，與整合開發環境 (IDE) 如 Jupyter Notebooks 的整合使該過程變得十分流暢（參見圖 2）。</span></p>
<p><strong><img loading="lazy" data-recalc-dims="1" class="wp-image-16906 aligncenter" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2022/01/2022-01-14-%E4%B8%8B%E5%8D%885.14.35.png?resize=714%2C281&#038;ssl=1" alt="Integrate various machine learning and deep learning languages and packages." width="714" height="281"></strong><strong><span style="font-weight: 400;">圖 2. 整合各種機器學習、深度學習語言、套裝軟體</span></strong></p>
<h3><span style="font-size: 14pt;"><strong>3. 部署和操作模型</strong></span></h3>
<p><span style="font-weight: 400;">Pentaho 允許資料專業人員輕鬆地將資料科學家開發的模型，作為嵌入工作流程的執行步驟。他們可以利用現有的資料和特徵工程工作，有效縮短部署時間。透過嵌入式 API，企業也可以在現有應用程式中囊括 Pentaho 的全部功能。</span></p>
<h3><span style="font-size: 14pt;"><strong>4. 定期更新模型</strong></span></h3>
<p><span style="font-weight: 400;">Ventana Research 發現，不到三分之一 (31%) 的企業使用自動化流程來更新其模型。借助 Pentaho，資料工程師和科學家可以使用新資料集重新訓練現有模型，或使用 R、Python、Spark MLlib 和 Weka 的自定義執行步驟進行功能更新。預建的工作流程可以自動更新模型並將現有模型歸檔。</span></p>
<h2><span style="font-size: 18pt;"><b>端對端架構</b></span></h2>
<p><span style="font-weight: 400;">Pentaho 可以輕鬆地將各種資料源加入您的資料管理環境（參見圖 3）。使用我們的拖放式用戶界面，您可以快速混合、清理和標準化資料。您的資料科學家可以設計新功能，並依照需求擷取這些準備好的資料，以訓練、調整和測試機器學習模型。然後，您的資料工程師可以將這些模型部署到生產環境中，進行業務轉型。最後，為了更新模型，您的資料科學家可以定期使用新的訓練資料以及 Pentaho 中已經建構的轉換。</span></p>
<p><span style="font-weight: 400;"><img loading="lazy" data-recalc-dims="1" class="wp-image-16904 aligncenter" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2022/01/2022-01-14-%E4%B8%8B%E5%8D%885.14.15.png?resize=674%2C346&#038;ssl=1" alt="Deploy machine learning models using Pentaho in a complex data environment." width="674" height="346"></span></p>
<p><span style="font-weight: 400;">圖 3. 在複雜的資料環境中使用 Pentaho 部署機器學習模型</span></p>
<p style="text-align: center;"><span style="font-weight: 400;">「Pentaho 使進階和預測分析的資料整合過程可操作化。我們已經嵌入 Pentaho 超過七年，為海上船隊和船舶提供即時遠程分析，並擁有多年使用 Pentaho 資料整合的經驗。透過 Weka 和 R 的整合，我們現在正在幫助客戶全方位融合所有設備資料源，以便及早預測潛在的機械故障。」</span></p>
<p style="text-align: center;"><span style="font-weight: 400;">&nbsp;–&nbsp; Ken Krooner, President, CAT Marine Asset Intelligence</span></p>
<hr>
<p>查看更多關於 <a href="https://www.hitachivantara.com/en-us/products/big-data-integration-analytics/pentaho-data-integration.html?icid=as_us_en_2019002">Pentaho Data Integration</a> 和 <a href="https://www.hitachivantara.com/en-us/products/big-data-integration-analytics/pentaho-business-analytics.html?icid=as_us_en_2019003">Pentaho Business Analytics</a> 的資訊</p>							</div>
										</div>
				</div>
					</div>
		</div>
					</div></div>
		</section>
				</div>
		]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">16903</post-id>	</item>
		<item>
		<title>Pentaho 企業與社群版本的開源優勢</title>
		<link>https://www.omniwaresoft.com.tw/product-news/pentaho-news/pentaho-ee-ec-edition/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Wed, 05 Jan 2022 08:17:33 +0000</pubDate>
				<category><![CDATA[Pentaho 產品資訊]]></category>
		<category><![CDATA[產品資訊]]></category>
		<category><![CDATA[Pentaho]]></category>
		<category><![CDATA[Pentaho Community Edition]]></category>
		<category><![CDATA[Pentaho Enterprise Edition]]></category>
		<guid isPermaLink="false">http://www.omniwaresoft.com.tw/?p=16855</guid>

					<description><![CDATA[透過 Hitachi Vantara 的兩種 Pentaho 版本：支援商業關鍵性任務的 Pentaho Enterprise Edition 和對開源社群貢獻的 Pentaho Community Edition 提供大數據絕佳策略和長期全套的資安支援，維持敏捷與彈性面對未來資訊管道需求。]]></description>
										<content:encoded><![CDATA[		<div data-elementor-type="wp-post" data-elementor-id="16855" class="elementor elementor-16855" data-elementor-post-type="post">
						<section data-particle_enable="false" data-particle-mobile-disabled="false" class="elementor-section elementor-top-section elementor-element elementor-element-290f2eff elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="290f2eff" data-element_type="section">
						<div class="elementor-container elementor-column-gap-thegem"><div class="elementor-row">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-43f4be28" data-id="43f4be28" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-36199b75 flex-horizontal-align-default flex-horizontal-align-tablet-default flex-horizontal-align-mobile-default flex-vertical-align-default flex-vertical-align-tablet-default flex-vertical-align-mobile-default elementor-widget elementor-widget-text-editor" data-id="36199b75" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
												<div class="elementor-text-editor elementor-clearfix">
						<p><span style="font-weight: 400;">選擇 <a href="https://www.omniwaresoft.com.tw/pentaho/">Hitachi Vantara Pentaho 軟體</a>的正確版本並不難，但如果您不了解您的使用情境、商業目標和組織的成熟度，就無法成功。閱讀以下文章便可</span><span style="font-weight: 400;">以了解 Pentaho Enterprise Edition 如何讓組織能夠在現代資料架構中交付關鍵任務資料集。</span></p>
<h2><b></b><span style="font-size: 18pt;"><b>為您的大數據策略選擇最適合的 Pentaho 版本</b></span></h2>
<p><span style="font-weight: 400;">為了推動大數據創新，Hitachi Vantara 提供了兩種 Pentaho 版本：支援商業 Pentaho Enterprise Edition 和對開源社群貢獻的 Pentaho Community Edition。這兩種產品都建立在同一個核心平台上。但是，兩者之間存在重大差異，這會影響如何最好地將 Pentaho 運用到您的大數據策略中，包含功能、套裝軟體和支援服務。&nbsp;</span></p>
<h3><span style="font-size: 14pt;"><strong>Pentaho 企業版</strong></span></h3>
<p><span style="font-weight: 400;">Pentaho 企業版從社群版中獲取經驗，在多種環境中進行嚴格測試，並為大數據的成功提供長期支援。這就是為什麼成千上萬的組織選擇 Pentaho 來解決緊迫的期限、提供對敏感資料的安全訪問、交付內部服務水平協議 (SLA) 並超出高階主管的期望。</span></p>
<h3><span style="font-size: 14pt;"><strong>Pentaho 社群版</strong></span></h3>
<p style="text-align: left;"><span style="font-weight: 400;">這款免費的開源軟體在平台（Kettle、Mondrian）中帶有核心引擎，可讓您體驗精簡的特性和功能。使用 Pentaho 的報表設計器工具擷取、轉換和載入 (ETL) 有限的資料集並建立視覺化報表。它可以輕鬆地自己下載原始碼，或者您可以依賴大版本更新，通常一年兩次。</span></p>
<p style="text-align: center;"><span style="font-weight: 400;"><br>
</span><span style="font-weight: 400;">「我們沒有找到任何其他產品像 Pentaho 一樣提供強大的技術可能性。很明顯地，我們不想放棄開源的優勢。借助 Pentaho，我們獲得了一個 100% 開放的系統，可以立即使用並輕鬆適應我們的需求和預算。」</span></p>
<p style="text-align: center;"><span style="font-weight: 400;">邁克爾·貝克爾</span></p>
<p style="text-align: center;"><span style="font-weight: 400;">IT Novum 成功案例中，德國聯邦警察局 (Bundespolizei) </span><span style="font-weight: 400;"><br>
</span><span style="font-weight: 400;">Pentaho 項目的首席檢查員和技術總監</span></p>
<h2><b></b><span style="font-size: 18pt;">採取最佳方法為大數據提供長期支援</span></h2>
<p><span style="font-weight: 400;">Pentaho企業版利用開源項目（如 Pentaho Community Edition）的優勢包括上市時間、價格和開發敏捷性，同時解決典型的開源軟體問題。許多組織還使用企業版來確保自動進行更新和修補程式，並追蹤其漏洞並提供修復。</span></p>
<h3><span style="font-size: 14pt;"><b>IP 風險：瀏覽開源軟體許可證</b></span></h3>
<p><span style="font-weight: 400;">不會讓您的程式處於危險之中。違反開源許可可能會侵害知識財產權，並被法院發布您的原始碼。</span><br>
<span style="font-weight: 400;">企業版確保您建構在 Pentaho 上的智慧財產權受到保護，免於訴訟。同時您也可以與開源相輔相成的創新社群、輕鬆整合和靈活運用工具集。</span></p>
<h3><span style="font-size: 14pt;"><b>維持商業發展</b></span></h3>
<p><span style="font-weight: 400;">Pentaho 屢獲殊榮的 24/7/365 技術支援為關鍵問題提供解決方案，最大限度地減少停機時間和企業成本。</span></p>
<h3><span style="font-size: 14pt;"><b>使用最新的安全軟體</b></span></h3>
<p><span style="font-weight: 400;">軟體難免會有一些bug。為了讓您隨時掌握任何潛在問題，Pentaho 的企業版每月會自動發送更新和修補，並追蹤漏洞、修復和更新。</span><br>
<span style="font-weight: 400;">Pentaho 的社群版用戶必須追蹤漏洞並依賴社群進行更新。而使用企業版時，工程師只需專注於他們最擅長的事情。</span></p>
<h3><span style="font-size: 14pt;"><b>與社群用戶互動</b></span></h3>
<p><span style="font-weight: 400;">Pentaho 的企業版和社群版用戶都可以在聚會中與其不斷增長的社群用戶互動。例如：參與社群交流故事、互相採用最佳作法，並分享建構在 Pentaho 開源平台上的插件。</span></p>
<h3><span style="font-size: 14pt;"><b>確保大數據的成功</b></span></h3>
<p><span style="font-weight: 400;">與 Pentaho 的專業服務團隊合作。憑藉超過 1,500 個完整項目和 95% 的客戶滿意度，他們的專業知識可以幫助您在最複雜的使用案例中取得成功。</span></p>
<p style="text-align: center;"><span style="font-weight: 400;">「企業在開源軟體方面面臨的最大問題之一是誰負責用於建構和支持應用程式的開源元件的維護和安全」</span></p>
<p style="text-align: center;"><span style="font-weight: 400;">Jay Lyman Principal Analyst</span></p>
<p style="text-align: center;"><span style="font-weight: 400;">451 Research, part of S&amp;P Global Market Intelligence</span></p>
<h2><span style="font-size: 18pt;"><strong>透過 Pentaho 企業版獲得全套技術支援和獨家功能</strong></span></h2>
<p><span style="font-weight: 400;">以 Hitachi Vantara 的可靠性為後盾，Pentaho Enterprise Edition 提供了一組強大的資料科學功能、主要版本中的新功能以及每月服務包。其中包括錯誤修復、增強、適當的客戶端需求和安全改進。其他僅限企業版的功能包括：</span></p>
<h3><span style="font-size: 14pt;"><b>維持敏捷與彈性面對未來資訊管道需求</b></span></h3>
<p><span style="font-weight: 400;">使用我們的原生 Kettle 引擎進行轉換，並無縫切換到更強大的引擎 (Spark)，而無需重寫資料管道。</span><br>
<span style="font-weight: 400;">Hitachi 將確保 Pentaho 對最新引擎的持續支援，以便開發人員無需重寫應用程式。</span></p>
<h3><span style="font-size: 14pt;"><b>強大的大數據資安強化</b></span></h3>
<p><span style="font-weight: 400;">透過 AES 密碼支援、Kerberos 支援和 Sentry 支援、Hadoop 高可用性支援、Hortonworks 資料平台的 Ranger 支援和 Knox 安全防護，保護您重要的開源應用程式。</span><br>
<span style="font-weight: 400;">在 Pentaho 廣泛的安全性和支援下拓展業務。</span></p>
<h3><span style="font-size: 14pt;"><b>隨時隨地分析任何資料集</b></span></h3>
<p><span style="font-weight: 400;">透過雲端批量載入工具和專屬連接器提高邊緣</span><span style="font-weight: 400;">到多朵雲環境中資料工程師的工作效率，並</span><span style="font-weight: 400;">在日益分散的資料架構中維護 SLA。</span></p>
<h3><span style="font-size: 14pt;"><b>資料科學工具箱</b></span></h3>
<p><span style="font-weight: 400;">將 Python 執行步驟嵌入到您的資料管道中，以將資料科學功能添加到您的資料轉換中。訪問 Sci-Kit、TensorFlow、Keras、深度學習框架和其他資料科學功能，這些功能在您的管道中與 CPU 和 GPU 無關。並且</span><span style="font-weight: 400;">改善資料準備和模型管理之間的一致性。</span></p>
<h3><span style="font-size: 14pt;"><b>EnterpriseTechnologies 的專屬連接器</b></span></h3>
<p><span style="font-weight: 400;">為 Splunk、SAP 或 Salesforce 等企業應用程式部署預先建構的連接器。將資料從常見的大型主機格式 Cobol Copybooks 轉換為可操作的洞見。</span><br>
<span style="font-weight: 400;">透過訪問關鍵企業資料集，獲得更好的全面性洞察和機器學習性能，從而提高資料回報。</span></p>
<h3><span style="font-size: 14pt;"><b>為什麼要升級至 Pentaho 企業版</b></span></h3>
<p><span style="font-weight: 400;">德國聯邦警察（Bundespolizei）最初選擇 Pentaho Community Edition 是因為它的開源架構、豐富的綜合功能以及易於與警察資料集和資料倉儲需求的輕鬆整合。在參加幾次社群活動後，Bundespolizei 發覺 Pentaho Enterprise Edition 的價值並與 IT Novum 合作，後者提供培訓、支援、諮詢和許可。透過這種方式，他們節省了國家資金，並減少了約 50% 的人工流程。</span></p>
<h2><span style="font-size: 18pt;"><b>Pentaho Enterprise Edition 優點</b></span></h2>
<p><span style="font-weight: 400;">Pentaho 社群版本在許多情況下提供了絕佳的解決方案。 但是，將其部署在生產、關鍵型任務的環境中可能不是最佳選擇。 在關鍵任務環境中，Pentaho Enterprise Edition 是您更好的選擇：</span></p>
<ol>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">平台的全面支持</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">每月會自動發送更新和修補</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">獨有的特性和功能</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">所有工具的整合平台</span></li>
</ol>
<p><span style="font-weight: 400;">對於現代資料整合、編排和商業分析，請選擇 Pentaho 平台的最佳版本：企業版或社群版。 使用這款綜合軟體訪問、準備、混合和分析來自任何來源的任何資料，同時將成本和風險降到最低。</span></p>
<hr>
<p>查看更多關於 <a href="https://www.hitachivantara.com/en-us/products/big-data-integration-analytics/pentaho-data-integration.html?icid=as_us_en_2019002">Pentaho Data Integration</a> 和 <a href="https://www.hitachivantara.com/en-us/products/big-data-integration-analytics/pentaho-business-analytics.html?icid=as_us_en_2019003">Pentaho Business Analytics</a> 的資訊</p>							</div>
										</div>
				</div>
					</div>
		</div>
					</div></div>
		</section>
				</div>
		]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">16855</post-id>	</item>
		<item>
		<title>（最新更新至3/14) Pentaho &#8211; Apache Log4j 漏洞官方建議處置</title>
		<link>https://www.omniwaresoft.com.tw/product-news/pentaho-news/apache-log4j-pentaho/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Tue, 28 Dec 2021 15:43:31 +0000</pubDate>
				<category><![CDATA[Pentaho 產品資訊]]></category>
		<category><![CDATA[產品資訊]]></category>
		<category><![CDATA[Log4j]]></category>
		<category><![CDATA[Pentaho]]></category>
		<guid isPermaLink="false">http://www.omniwaresoft.com.tw/?p=16797</guid>

					<description><![CDATA[當前支援的 Pentaho 版本中不存在此漏洞，因為預設情況下沒有使用易受攻擊的類別(Classes)。但是為了響應最近發布的 CVE-2021-44228 漏洞，Hitachi Vantara 的資訊團隊對已發布的軟體 (包括 Pentaho) 進行了測試。]]></description>
										<content:encoded><![CDATA[		<div data-elementor-type="wp-post" data-elementor-id="16797" class="elementor elementor-16797" data-elementor-post-type="post">
						<section data-particle_enable="false" data-particle-mobile-disabled="false" class="elementor-section elementor-top-section elementor-element elementor-element-78598bfa elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="78598bfa" data-element_type="section">
						<div class="elementor-container elementor-column-gap-thegem"><div class="elementor-row">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-176e04c2" data-id="176e04c2" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-3f10b613 flex-horizontal-align-default flex-horizontal-align-tablet-default flex-horizontal-align-mobile-default flex-vertical-align-default flex-vertical-align-tablet-default flex-vertical-align-mobile-default elementor-widget elementor-widget-text-editor" data-id="3f10b613" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
												<div class="elementor-text-editor elementor-clearfix">
						
<p><ul>
<li>歐立威科技整理 Pentaho 官方針對本次 Log4j 漏洞的影響與建議的處置，更多關於本次漏洞訊息及其他產品處置請參考 <a href="https://www.omniwaresoft.com.tw/product-news/apache_log4j_security_vulnerabilities/" target="_blank" rel="noreferrer noopener">Apache Log4j 漏洞事件說明與建議處置</a>。</li>
</ul></p>



<h2 class="wp-block-heading">【前情提要】</h2>



<p><p>2021年12月9日，Apache Log4j 被揭漏有重大風險漏洞 Log4Shell，漏洞編號 CVE-2021-44228。駭客可以利用該漏洞發動遠端程式碼執行攻擊，最嚴重可以接管整台系統，影響範圍擴及 Apache Log4j 2 中 logging library 的多個版本，資安專家稱為近 10 年來最嚴重漏洞，研究人員也發現已經有針對該漏洞的攻擊行動。</p></p>



<h2 class="wp-block-heading"><p><strong style="color: rgb(60, 57, 80); font-size: 30px; letter-spacing: 0.05em; text-transform: uppercase;">Pentaho</strong></p></h2>



<p><p><span style="font-weight: 400;">截至 2022 年 2 月 28 日，本文中提到的漏洞已在 Pentaho Service Pack 8.3.0.26 和 9.2.0.3 中得到解決。這些服務包將升級 Pentaho 升級到使用Log4j版本2.17.1來記錄。本文中的手動步驟是提供給使用 Service Pack 版本之前的 Pentaho 版本的客戶。如果您無法升級到 Pentaho 8.3.0.26 或 9.2.0.3，那麼您可能需要遵循以下手動緩解步驟。</span></p></p>



<h2 class="wp-block-heading" id="h_01FPZ4R2T8QCBVWA80BK2KFDQH"><strong>CVE-2021-4104 </strong>處置</h2>



<p>當前支援的 Pentaho 版本中不存在此漏洞，因為預設情況下沒有使用易受攻擊的類別(Classes)。&nbsp;</p>



<p>但是為了響應最近發布的 CVE-2021-44228 漏洞，Hitachi Vantara 的資訊團隊對已發布的軟體 (包括 Pentaho) 進行了測試。  (註：本文章僅摘錄 Pentaho 相關之內容，其他 Hitachi Vantara 軟體處置請見<a data-type="URL" data-id="https://support.pentaho.com/hc/en-us/articles/4416229254541-log4j-2-zero-day-vulnerability-CVE-2021-44228-#h_01FPZ5TK8F36N9E1N12Y3XECEN" href="https://support.pentaho.com/hc/en-us/articles/4416229254541-log4j-2-zero-day-vulnerability-CVE-2021-44228-#h_01FPZ5TK8F36N9E1N12Y3XECEN" target="_blank" rel="noreferrer noopener">官方原文</a>)</p>



<p></p>



<p>針對 Pentaho 用例，該漏洞僅在以下情況下才會出現： &nbsp;</p>



<ul class="wp-block-list"><li>使用 Java 8u120 或更早的版本。&nbsp;<br><strong>注意：Pentaho 從 v8.3 開始支援 Java 8u251</strong><br>&nbsp;</li><li>已將以下 java 系統屬性設置為 true&nbsp;<br>com.sun.jndi.rmi.object.trustURLCodebase&nbsp;<br>com.sun.jndi.cosnaming.object.trustURLCodebase<br><strong>注意</strong>：&nbsp;<strong>這些屬性在 Java 8u121 及更新的版本中預設為 false</strong>&nbsp;<br>&nbsp;</li><li>正在使用 JmsAppender <br><strong>注意：Pentaho 沒有使用 JMSAppender，但仍有可能將它添加到 log4j 屬性 (<strong>properties</strong>) 並啟用它</strong></li></ul>



<p>在上述場景中，可以通過更改設置或自定義使用 JMSAppender 來啟用這些項目。&nbsp;&nbsp;</p>



<p>為了確保易受攻擊的類別 (class) 不會被利用，您可以對包含 JMSAppender 類的 jar 文件執行以下指令。&nbsp;</p>



<ol class="wp-block-list"><li>activemq-all-5.15.11.jar (預設位置\pentaho-server\pentaho-solutions\system\kettle\plugins\pdi-jms-plugin\lib)&nbsp;</li><li>&nbsp;log4j jar 文件位於以下位置：&nbsp;</li></ol>



<ul class="wp-block-list"><li>\client-tools\aggregation-designer\lib\log4j-1.2.17.jar&nbsp;</li><li>\client-tools\data-integration\lib\log4j-1.2.17.jar&nbsp;</li><li>\client-tools\data-integration\jdbc-distribution\lib\log4j-1.2.17.jar&nbsp;</li><li>\client-tools\metadata-editor\libext\pentaho\log4j-1.2.17.jar&nbsp;</li><li>\client-tools\report-designer\lib\log4j-1.2.17.jar&nbsp;</li><li>\client-tools\report-designer\jdbc-distribution\lib\log4j-1.2.17.jar&nbsp;</li><li>\jdbc-distribution\lib\log4j-1.2.17.jar&nbsp;</li><li>\license-installer\lib\log4j-1.2.17.jar&nbsp;</li><li>\pentaho-server\tomcat\webapps\pentaho\WEB-INF\lib\log4j-1.2.17.jar&nbsp;</li></ul>



<p>zip -q -d activemq-all-5.* &#8220;org/apache/log4j/net/JMSAppender.class&#8221;&nbsp;<br>zip -q -d log4j-1.2.* &#8220;org/apache/log4j/net/JMSAppender.class&#8221;&nbsp;<br><strong>注意：需要在 log4j jar 文件所在的所有位置執行上述指令&nbsp;</strong><br>&nbsp;</p>



<p>如果使用 7-zip 命令：&nbsp;<br>7z d activemq-all-5.15.11.jar &#8220;org/apache/log4j/net/JMSAppender.class&#8221;&nbsp;&nbsp;<br>7z d log4j-1.2.17.jar &#8220;org/apache/log4j/net/JMSAppender.class&#8221;<br><strong>注意：以上命令需要在 log4j jar 文件存在的所有位置執行。</strong>&nbsp;<br>&nbsp;<br>要驗證 JMSAppender.class 是否不存在，請使用任何 zip 程式打開上述指令中的 jar 文件並到 \org\apache\log4j\net\ 檢查 JMSAPENDER.class 是否存在。如果它不存在，則該命令成功並且無法再調用 JMSAppender 類別。&nbsp;</p>



<h2 class="wp-block-heading" id="h_01FPZ5TK8F36N9E1N12Y3XECEN"><strong>CVE-2021-44228 </strong>處置</h2>



<p>log4j 1.2 版中沒有易受攻擊的類別，但是，其中一個插件存在該類別，即使它並沒有被使用。這個類別在 8.3 及之前的版本並不存在。</p>



<p><p>為了確保該易受攻擊的類別不會被利用，您可以對包含 JndiLookup 類的 jar 文件執行以下指令。</p>
<p><strong>注意：第二個位址會要求先解壓縮 pentaho-mapreduce-libraries.zip 主檔 (<strong>parent archive</strong>)，並使用修改後的 pax-logging-log4j2 重新創建它。&nbsp;</strong>&nbsp;</p></p>



<ol class="wp-block-list"><li>pentaho-server\pentaho-solutions\system\karaf\system\org\ops4j\pax\logging\pax-logging-log4j2\1.10.2\pax-logging-log4j2-1.10.2.jar&nbsp;&nbsp;</li><li>pentaho-server\pentaho-solutions\system\kettle\plugins\pentaho-big-data-plugin\pentaho-mapreduce-libraries.zip\system\karaf\system\org\ops4j\pax\logging\pax-logging-log4j2\ 1.10.2\pax-logging-log4j2-1.10.2.jar&nbsp;&nbsp;</li></ol>



<p><ul>
<li>zip -d -q pax-logging-log4j2-1.10.2.jar &#8220;org/apache/logging/log4j/core/lookup/JndiLookup.class&#8221;&nbsp;</li>
</ul>
<p>如果使用 7zip 指令：&nbsp;<br>&nbsp;7z d pax-logging-log4j2-1.10 .2.jar &#8220;org/apache/logging/log4j/core/lookup/JndiLookup.class&#8221;&nbsp;&nbsp;</p></p>



<p>要驗證 JndiLookup 不存在，請使用任何 zip 程式打開上述指令中的 jar 文件，並到 \org\apache\logging\log4j\core\lookup\ 檢查 JndiLookup.class 是否仍然存在。如果它不存在，則該命令成功並且無法再調用 JndiLookup 類別。&nbsp;</p>



<h2 class="wp-block-heading" id="h_01FPZ5VX9X0PN2V9HPW7794W3Q"><strong>CVE-2021-45056</strong> 處置</h2>



<p><p>此漏洞的處置步驟與 <a href="https://support.pentaho.com/hc/en-us/articles/4416229254541-log4j-2-zero-day-vulnerability-CVE-2021-44228-#h_01FPZ5TK8F36N9E1N12Y3XECEN">CVE-2021-44228</a> 相同。如果您已應用這些步驟，則此漏洞不存在。</p> <h2 id="h_01FPZ5VX9X0PN2V9HPW7794W3Q"><strong>CVE-2021-45105</strong> 處置</h2> <p><span style="font-weight: 400;">這個問題不會影響 Pentaho，因為我們不使用 log4jv2。此問題僅影響 Apache Log4j2 版本 2.0-alpha1 到 2.16.0</span></p> <h2 id="h_01FPZ5VX9X0PN2V9HPW7794W3Q"><strong>CVE-2021-44832</strong> 處置</h2> <p><span style="font-weight: 400;">這個問題不會影響 Pentaho，因為我們默認不使用這些類。上述 CVE 緩解步驟將完全刪除該類。</span></p> <h2 id="h_01FPZ5VX9X0PN2V9HPW7794W3Q"><strong>CVE-2021-42392</strong> 處置</h2> <p><span style="font-weight: 400;">此問題僅影響默認情況下不應在生產中使用的樣本資料連接。您可以刪除 H2 驅動程式並禁用 SampleData 資料庫以立即解決該漏洞。</span></p> <p><span style="font-weight: 400;"><strong>注意：</strong>請注意，僅當您在生產環境中<strong>不使用任何 H2 連接</strong>時才建議這樣做。</span></p> <ol> <li><span style="font-weight: 400;">從 Pentaho 中刪除樣本資料：</span></li> </ol><ul> <li><span style="font-weight: 400;">Pentaho 9.2：https://help.hitachivantara.com/Documentation/Pentaho/9.2/Setup/Manage_the_Pentaho_Server#Remove_sample_data_from_the_Pentaho_Server</span></li> <li><span style="font-weight: 400;">Pentaho 8.3：https://help.hitachivantara.com/Documentation/Pentaho/8.3/Setup/Manage_the_Pentaho_Server#Remove_sample_data_from_the_Pentaho_Server</span></li> </ul> <p><span style="font-weight: 400;">      2. 從以下位置刪除 H2 驅動程序：</span></p> <ul> <li><span style="font-weight: 400;">/server/pentaho-server/tomcat/lib/h2-1.x.xxx.jar</span></li> <li><span style="font-weight: 400;">/server/pentaho-server/tomcat/webapps/pentaho/WEB-INF/lib/h2-1.x.xxx.jar</span></li> <li><span style="font-weight: 400;">/client-tools/data-integration/lib/h2-1.x.xxx.jar</span></li> <li><span style="font-weight: 400;">/client-tools/metadata-editor/libext/JDBC/h2-1.x.xxx.jar</span></li> <li><span style="font-weight: 400;">/client-tools/report-designer/lib/jdbc/h2-1.x.xxx.jar</span></li> </ul> </p>



<h2 class="wp-block-heading"><strong style="color: rgb(60, 57, 80); font-size: 30px; letter-spacing: 0.05em; text-transform: uppercase;">CVE-2022-23302</strong><span style="color: rgb(60, 57, 80); font-size: 30px; font-weight: 700; letter-spacing: 0.05em; text-transform: uppercase;"> 處置</span> </h2>



<p><p><span style="font-weight: 400;">默認情況下，Pentaho 不使用 JMSSink 類。為確保不使用易受攻擊的類，您可以對包含 JMSSink 類的 jar 文件執行以下命令：</span></p> <p><span style="font-weight: 400;">刪除 big-data-plugin 下的 log4j jar。 jar 可以在以下文件夾中找到：</span></p> <ul> <li><span style="font-weight: 400;">design-tools\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\emr511\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\metadata-editor\plugins\pentaho-big-data-plugin\hadoop-configurations\emr511\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\metadata-editor\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\report-designer\plugins\pentaho-big-data-plugin\hadoop-configurations\emr511\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\report-designer\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client\log4j-1.2.17.jar</span></li> </ul> <p><span style="font-weight: 400;">刪除 pax-logging-service 捆綁包（pax-logging-service bundle） 。它可能位於以下位置：</span></p> <ul> <li><span style="font-weight: 400;">\pentaho-server\pentaho-solutions\system\karaf\system\org\ops4j\pax\logging\pax-logging-service</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\system\karaf\system\org\ops4j\pax\logging\pax-logging-service</span></li> <li><span style="font-weight: 400;">\design-tools\metadata-editor\system\karaf\system\org\ops4j\pax\logging\pax-logging-service</span></li> </ul> <p><span style="font-weight: 400;">刪除 activemq-all-5.15.11 組件。 activemq-all-5.15.11.jar 位於以下位置：</span></p> <ul> <li><span style="font-weight: 400;">\pentaho-server\pentaho-solutions\system\kettle\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> <li><span style="font-weight: 400;">\design-tools\metadata-editor\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> <li><span style="font-weight: 400;">\design-tools\report-designer\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> </ul> <p><span style="font-weight: 400;">刪除 log4j jar。該文件位於以下位置：</span></p> <ul> <li><span style="font-weight: 400;">\design-tools\aggregation-designer\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\jdbc-distribution\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\metadata-editor\libext\pentaho\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\report-designer\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\report-designer\jdbc-distribution\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\jdbc-distribution\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\license-installer\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\pentaho-server\tomcat\webapps\pentaho\WEB-INF\lib\log4j-1.2.xx.jar</span></li> </ul> <p><span style="font-weight: 400;"><strong>請注意：</strong>根據您的 Pentaho 版本，上述文件可能會出現在其他目錄中。</span></p> </p>



<h2 class="wp-block-heading"><strong style="color: rgb(60, 57, 80); font-size: 30px; letter-spacing: 0.05em; text-transform: uppercase;">CVE-2022-</strong><span style="color: rgb(60, 57, 80); font-size: 30px; font-weight: 700; letter-spacing: 0.05em; text-transform: uppercase;"> 23305 處置</span> </h2>



<p><p><span style="font-weight: 400;">默認情況下，Pentaho 不使用 JDBCAppender 類。為確保不使用易受攻擊的類，您可以對包含 JDBCAppender 類的 jar 文件執行以下命令：</span></p> <p><span style="font-weight: 400;">刪除 activemq-all-5.15.11 組件。 activemq-all-5.15.11.jar 位於以下位置：</span></p> <ul> <li><span style="font-weight: 400;">\pentaho-server\pentaho-solutions\system\kettle\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> <li><span style="font-weight: 400;">\design-tools\metadata-editor\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> <li><span style="font-weight: 400;">\design-tools\report-designer\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> </ul> <p><span style="font-weight: 400;">刪除 log4j jar。該文件位於以下位置：</span></p> <ul> <li><span style="font-weight: 400;">\design-tools\aggregation-designer\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\jdbc-distribution\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\metadata-editor\libext\pentaho\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\report-designer\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\report-designer\jdbc-distribution\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\jdbc-distribution\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\license-installer\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\pentaho-server\tomcat\webapps\pentaho\WEB-INF\lib\log4j-1.2.xx.jar</span></li> </ul> <p><span style="font-weight: 400;"><strong>請注意：</strong>根據您的 Pentaho 版本，上述文件可能會出現在其他目錄中。</span></p> <ul> <li><span style="font-weight: 400;">zip -q -d activemq-all-5.* &#8220;org/apache/log4j/jdbc/JDBCAppender.class&#8221;</span></li> <li><span style="font-weight: 400;">zip -q -d log4j-1.2.* &#8220;org/apache/log4j/jdbc/JDBCAppender.class&#8221;</span></li> </ul> <p><span style="font-weight: 400;"><strong>注意：</strong>上述命令需要在 log4j jar 文件存在的所有位置上執行。</span></p> <p><span style="font-weight: 400;">如果使用 7-zip，命令將是：</span></p> <ul> <li><span style="font-weight: 400;">7z d activemq-all-5.* &#8220;org/apache/log4j/jdbc/JDBCAppender.class&#8221;</span></li> <li><span style="font-weight: 400;">7z d log4j-1.2.* org/apache/log4j/jdbc/JDBCAppender.class&#8221;</span></li> </ul> <p><span style="font-weight: 400;"><strong>注意：</strong>上述命令需要在 log4j jar 文件存在的所有位置上執行。</span></p> <p><span style="font-weight: 400;">要驗證 JDBCAppender 組件是否存在，請用任何壓縮工具打開上述命令中的 jar 文件，並鑽到\org\apache\log4j\jdbc\，檢查 JDBCAppender.class 是否仍然存在。如果它不存在，則命令成功並且無法再調用 JDBCAppender.class。</span></p> </p>



<h2 class="wp-block-heading"><strong style="color: rgb(60, 57, 80); font-size: 30px; letter-spacing: 0.05em; text-transform: uppercase;">CVE-2022-</strong><span style="color: rgb(60, 57, 80); font-size: 30px; font-weight: 700; letter-spacing: 0.05em; text-transform: uppercase;"> 23307 處置</span> </h2>



<p><p><span style="font-weight: 400;">默認情況下，Pentaho 不使用任何鏈鋸類別（chainsaw classes）。為確保不使用易受攻擊的類，您可以對包含鏈鋸組件（chainsaw component）的 jar 文件執行以下命令。</span></p> <p><span style="font-weight: 400;">刪除 big-data-plugin 下的 log4j jar。 jar 可以在以下文件夾中找到：</span></p> <ul> <li><span style="font-weight: 400;">design-tools\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\emr511\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\metadata-editor\plugins\pentaho-big-data-plugin\hadoop-configurations\emr511\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\metadata-editor\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\report-designer\plugins\pentaho-big-data-plugin\hadoop-configurations\emr511\lib\client\log4j-1.2.17.jar</span></li> <li><span style="font-weight: 400;">design-tools\report-designer\plugins\pentaho-big-data-plugin\hadoop-configurations\hdp30\lib\client\log4j-1.2.17.jar</span></li> </ul> <p><span style="font-weight: 400;">刪除 pax-logging-service 捆綁包。它可能位於以下位置：</span></p> <ul> <li><span style="font-weight: 400;">\pentaho-server\pentaho-solutions\system\karaf\system\org\ops4j\pax\logging\pax-logging-service</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\system\karaf\system\org\ops4j\pax\logging\pax-logging-service</span></li> <li><span style="font-weight: 400;">\design-tools\metadata-editor\system\karaf\system\org\ops4j\pax\logging\pax-logging-service</span></li> </ul> <p><span style="font-weight: 400;">刪除 activemq-all-5.15.11 組件。 activemq-all-5.15.11.jar 位於以下位置：</span></p> <ul> <li><span style="font-weight: 400;">\pentaho-server\pentaho-solutions\system\kettle\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> <li><span style="font-weight: 400;">\design-tools\metadata-editor\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> <li><span style="font-weight: 400;">\design-tools\report-designer\plugins\pdi-jms-plugin\lib\activemq-all-5.15.11.jar</span></li> </ul> <p><span style="font-weight: 400;">刪除 log4j jar。該文件位於以下位置：</span></p> <ul> <li><span style="font-weight: 400;">\design-tools\aggregation-designer\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\data-integration\jdbc-distribution\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\metadata-editor\libext\pentaho\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\report-designer\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\design-tools\report-designer\jdbc-distribution\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\jdbc-distribution\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\license-installer\lib\log4j-1.2.xx.jar</span></li> <li><span style="font-weight: 400;">\pentaho-server\tomcat\webapps\pentaho\WEB-INF\lib\log4j-1.2.xx.jar</span></li> </ul> <p><span style="font-weight: 400;"><strong>請注意：</strong>根據您的 Pentaho 版本，上述文件可能會出現在其他目錄中。</span></p> <ul> <li><span style="font-weight: 400;">zip -q -d activemq-all-5.* org/apache/log4j/chainsaw/*</span></li> <li><span style="font-weight: 400;">zip -q -d log4j-1.2.* org/apache/log4j/chainsaw/*</span></li> </ul> <p><span style="font-weight: 400;">注意：上述命令需要在 log4j jar 文件存在的所有位置上執行。</span></p> <p><span style="font-weight: 400;">如果使用 7-zip，命令將是：</span></p> <ul> <li><span style="font-weight: 400;">7z d activemq-all-5.* org/apache/log4j/chainsaw/*</span></li> <li><span style="font-weight: 400;">7z d log4j-1.2.* org/apache/log4j/chainsaw/*</span></li> </ul> <p><span style="font-weight: 400;">注意：上述命令需要在 log4j jar 文件存在的所有位置上執行。</span></p> <p><span style="font-weight: 400;">要驗證鏈鋸組件是否存在，請用任何壓縮工具打開上述命令中的 jar 文件並鑽取到 \org\apache\log4j\chainsaw\ 並檢查鏈鋸是否仍然存在。如果它不存在，則命令成功並且無法再調用鏈鋸組件。</span></p></p>



<hr class="wp-block-separator has-css-opacity"/>



<p>本文章為歐立威科技整理原廠官方文件與網路資源，並非即時更新，僅供使用者參考，使用者應自行審慎評估自身環境及官方最新建議以採取最佳行動，若需要任何技術支援歡迎聯絡我們。</p>



<div class="wp-block-buttons is-horizontal is-content-justification-center is-layout-flex wp-container-core-buttons-is-layout-2 wp-block-buttons-is-layout-flex">
<div class="wp-block-button"><a class="wp-block-button__link" href="https://www.omniwaresoft.com.tw/contactus/" target="_blank" rel="noreferrer noopener">聯絡我們</a></div>
</div>



<p>參考資料：</p>



<ul class="wp-block-list"><li><a href="https://support.pentaho.com/hc/en-us/articles/4416229254541-log4j-2-zero-day-vulnerability-CVE-2021-44228-#h_01FPZ5TK8F36N9E1N12Y3XECEN" target="_blank" rel="noreferrer noopener">log4j 1 and log4j 2 vulnerabilities found in CVE-2021-4104, CVE-2021-44228, and CVE-2021-45046</a></li></ul>



<p>&nbsp;</p>






							</div>
										</div>
				</div>
					</div>
		</div>
					</div></div>
		</section>
				</div>
		]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">16797</post-id>	</item>
		<item>
		<title>公共部門利用 PENTAHO 處理資料解決低營運效率和犯罪問題</title>
		<link>https://www.omniwaresoft.com.tw/usecase/pentaho-usecase/pentaho_public_sector_data/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Wed, 24 Nov 2021 07:52:55 +0000</pubDate>
				<category><![CDATA[Pentaho 成功案例]]></category>
		<category><![CDATA[成功案例]]></category>
		<category><![CDATA[Pentaho]]></category>
		<guid isPermaLink="false">http://www.omniwaresoft.com.tw/?p=16586</guid>

					<description><![CDATA[政府機構與多數組織藉由 Pentaho 商業分析與資料整合平台，利用公部門資料來提高效率、極大化感測器資料值並支援關鍵計劃，有效整合、管理、分析以運用至各層面，例如提高營運效率、透過物聯網（IoT）提供主動智能、運用大數據對抗安全威脅等。]]></description>
										<content:encoded><![CDATA[		<div data-elementor-type="wp-post" data-elementor-id="16586" class="elementor elementor-16586" data-elementor-post-type="post">
						<section data-particle_enable="false" data-particle-mobile-disabled="false" class="elementor-section elementor-top-section elementor-element elementor-element-7bf20272 elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="7bf20272" data-element_type="section">
						<div class="elementor-container elementor-column-gap-thegem"><div class="elementor-row">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-27c5db80" data-id="27c5db80" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-44ae9c94 flex-horizontal-align-default flex-horizontal-align-tablet-default flex-horizontal-align-mobile-default flex-vertical-align-default flex-vertical-align-tablet-default flex-vertical-align-mobile-default elementor-widget elementor-widget-text-editor" data-id="44ae9c94" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
												<div class="elementor-text-editor elementor-clearfix">
						<p></p>
<p>Hitachi Vantara 的&nbsp;<a href="https://www.hitachivantara.com/en-us/products/data-management-analytics/pentaho.html">Pentaho</a>&nbsp;Data Integration (PDI) 提供商業分析平台，利用公部門資料來提高效率、極大化感測器資料並支援關鍵計劃。&nbsp;</p>
<p></p>
<p></p>
<h2 class="wp-block-heading"><strong style="color: rgb(60, 57, 80); font-size: 30px; letter-spacing: 0.05em; text-transform: uppercase;">公司介紹</strong> </h2>
<p></p>
<p></p>
<p>政府以建立和維護大數據而聞名——從醫療健保記錄到衛星圖像。根據統計，僅美國聯邦機構目前就平均儲存了 3PB 的資料。隨著越來越多的設備上線，政府機構發現自己擁有的資料超出了它們的處理能力。與此同時，與其他組織相比，它們面臨著更大的壓力，無論是偵測詐欺、改善公民生活、執行作戰任務，都需要使用這些資料在各個方面做出立即性回應和提高效率。</p>
<p></p>
<p></p>
<p></p>
<p></p>
<p>隨著機構迅速的採用雲端技術，互操作性是支持這些機構所需的高速資料分析的基礎。因此，保持跨資料集的全面性觀點不僅至關重要，而且是必需的。</p>
<p></p>
<p></p>
<p></p>
<p></p>
<p>當所有資料都儲存在一個中央的安全位置時，就可以使整個政府組織的官員訪問正確的資料，從而減少政府內部的錯誤和低效率，並確保使用正確的訊息。這將使政府官員能夠獲得有關其公民的最新訊息。完成這項工作的基本面是透過消除手動編碼或降低複雜性來無縫整合所有資料源。透過引入這種易於使用的架構，政府組織可以更快地擴展其營運規模並提高效率和生產力，同時降低成本。 Hitachi Vantara 的 Pentaho 平台，包括 Pentaho Data Integration 和 Pentaho Business Analytics，與手動編碼技術相比，已被證明可將大數據分析的設計和部署速度提高多達 15 倍。</p>
<p></p>
<p></p>
<p></p>
<p></p>
<p>繼續閱讀以了解政府機構如何更好地利用現代數據工具來提高效率、極大化感測器資料值的價值並推動關鍵計劃，例如網路安全等。</p>
<p></p>
<p></p>
<h2 class="wp-block-heading">使用產品</h2>
<p></p>
<p></p>
<p><span style="font-size: 12pt;"><a href="https://www.omniwaresoft.com.tw/pentaho/">Pentaho</a></span></p>
<p></p>
<p></p>
<h2 class="wp-block-heading">挑戰</h2>
<p></p>
<p></p>
<p>根據報導，現今每天產生 2.5 千億位元組的資料，而當今世界上 90% 的資料僅是在過去兩年中產生的。這些資料來自各個地方，通常跨足多個應用程序和資料集。如今，結構化儲存資料與來自雲端、社群媒體和資料儲存的資料整合，以便提供多元應用程式的使用案例。對於政府而言，相同的資料通常同時應用於多個應用程式。例如，一個機構可能正在運行一份財務報告來評估採購效率，而另一個辦公室可能會使用相同的資料進行預算編制。使用案例各不相同，但都需要相同的資料。</p>
<p></p>
<p></p>
<p></p>
<p></p>
<p>然而，在管理這些資料時，政府機構面臨著與當今大多數組織相同的長期問題：如何有效地管理和處理大量結構化和非結構化資料。根據報導，公部門資料分析師幾乎將一半的時間花在收集和整理資料，但只有不到三分之一的時間花在從中收集可操作的洞察上。</p>
<p></p>
<p></p>
<h2 class="wp-block-heading">
<p><strong style="color: rgb(60, 57, 80); font-size: 30px; letter-spacing: 0.05em; text-transform: uppercase;">解決方案與成果</strong></p>
</h2>
<p></p>
<p></p>
<h3 class="wp-block-heading">1. 提高營運效率</h3>
<p></p>
<p></p>
<p>83% 的聯邦 IT 官員表示，大數據可以從聯邦預算中為每個美國人節省約 1,200 美元，大約 3,800 億美元。儘管資料管理面臨諸多挑戰，但在最近與 iGov 的一項研究中，76% 的受訪者認為大數據可以使它們的組織受益，其中 88% 的受訪者認為，其中一個核心利益是更深入地了解它們的公民。</p>
<p></p>
<p></p>
<p></p>
<p></p>
<p>由於各機構依靠公資金來運作，因此降低成本是很重要的。蒐集和分析大數據為政府提供了一個方法。例如，政府可以利用大數據來追蹤財政和審計支出，以識別需要減少或改進的部分。</p>
<p></p>
<p></p>
<p></p>
<p></p>
<ul class="wp-block-list">
<li>世界上最大的財務和會計業務之一的組織：它們負責監督和分配現役和退役美國軍人的款項和其他福利。在發放款項和分配給該機構的其他職責（銷售軍事裝備、發放旅行券等）之間，該機構每天處理數以萬計的交易，而每年向 600 萬不同的帳戶處理價值超過 1 億美元的支付交易。該機構希望樹立一個建立組織效率的標竿，並希望通過賦予其外地辦事處建立和運行自己的商業智能報告，而無需 IT 部門的幫助，從而推動持續改進。透過 Pentaho，無需建構自己的 ETL（提取、轉換、加載）解決方案，該組織能夠節省數年的開發工作和數百萬納稅錢。<br></li>
<li>英國稅務海關總署 (HMRC) ：致力於一項多年計畫，以改進其資料管理方式。它正在轉向開源架構，以適應未來的環境並消除供應商鎖定。該機構已發展到 70,000 名全職員工，並擁有獨立、離散的事業線，依靠不同的資料集來完成它們的工作並滿足任意的關鍵績效指標 (KPI)。 HMRC 求助於 Pentaho 以集中其資料架構，消除對第三方諮詢服務的需求，並讓客服中心經理更快地訪問營運報告。實施 Pentaho 後，該機構通過自助分析每天節省了大約 900 個工時。<br></li>
<li>政府醫療保健機構：每天高達 1TB 處理醫療索賠資料。雖然每天的資料量並不大，但處理時間卻很長。處理一天的資料需要 27 小時。該機構依靠手動編碼將各種資料源混合在一起，但分析是不完整的，並容易出現人為錯誤。該組織不完整的資料只會使該機構的問題更加複雜，因為它難以為大眾提出的簡單問題提供答案。該機構的分析師團隊很快意識到它們需要訪問基礎數據來修改查詢、資料集和過濾器，並了解和解決資料集中的異常情況。</li>
</ul>
<p></p>
<p></p>
<p></p>
<p></p>
<p>通過整合和混合組織的不同資料源並直接向商業用戶提供自助分析，該機構能夠提高生產力並提供全面性的構件。借助 Pentaho 的自動化、無編碼環境，與手動編碼相比，該機構能夠將其開發時間縮短 15 倍。此外，該機構能夠將其處理時間從 27 小時縮短到 45 分鐘以內，從而改變了該機構的商業流程並提高了實際效率。該機構不僅可以即時向其組織提供報告，而且也能夠信任推動這些報告的基礎資料。該機構現在可以專注於其真正的任務：改善病人照護。</p>
<p></p>
<p></p>
<h3 class="wp-block-heading">2. 透過物聯網（IoT）提供主動智能</h3>
<p></p>
<p></p>
<p>物聯網被視為當今市場上最大的顛覆性技術之一。如今，有超過 300 億的連接物品，物聯網設備的爆炸式增長正在產生大量的數據，而組織需要這些資料進行有效整合、管理和分析，以提供商業價值。</p>
<p></p>
<p></p>
<p></p>
<p></p>
<ul class="wp-block-list">
<li>Marquis Software 為國家矯正機構提供囚犯全面的解決方案。自 1990 年代初以來，Marquis 一直為國家部門提供軟體。然而，該公司最近才將其產品擴展到提供地理空間情報。有了這個解決方案，監獄現在可以實際追踪囚犯和獄警的位置，以確保安全問題是否得到適當和快速的解決。<br><br>透過追踪囚犯的動向，獄警可以在衝突發生之前預測衝突可能發生的地點和時間。這些訊息與囚犯統計數據相結合，例如種族、幫派從屬關係和醫療殘疾，因此儘管監獄人滿為患，人員有限，國家矯正機構仍可以保持對囚犯全面性的監控。<br></li>
<li>Caterpillar Marine 透過利用感測器資料幫助其客戶（包括政府機構）提高營運效率。 Caterpillar Marine 的一位客戶每兩年花費 35,000 美元來清潔其用於運輸車輛的可行駛船舶的船體。一項分析很快的發現，骯髒的船體每艘船每兩年損失 130 萬美元的燃油效率，或者說，八艘船隊損失超過 1,000 萬美元。</li>
</ul>
<p></p>
<p></p>
<ul class="wp-block-list">
<li>政府單位可以混合來自犯罪活動、土地使用、服務請求、情報感測器和許多其他事物的資料，以推動更好的決策。例如，海軍可以使用武器系統的網路感測器，以便導彈、無人機和艦載武器系統可以在地平線以外的距離定位和摧毀接近的目標。有了所有資料，政府機構就可以建立其操作的單一視圖，從士兵、水手、飛行員、海軍陸戰隊或海岸警衛隊到納稅人、囚犯或病人。</li>
</ul>
<p></p>
<p></p>
<h3 class="wp-block-heading">3. 使用大數據對抗安全威脅</h3>
<p></p>
<p></p>
<ul class="wp-block-list">
<li>傳統上，安全威脅與更嚴格的執法同義，就像德國聯邦警察 Bundespolizei 的情況一樣。為了更全面地了解其武裝部隊以進行任務規劃，Bundespolizei 需要將 20 多個傳入的資料源整合。這些來源包括邊境入境人數、庇護案件數量和刑事犯罪等資料。然而，當今的安全威脅比以往都更複雜。它不僅僅是保護邊界，還包括網路威脅。處理網路安全的傳統方法需要自訂腳本和整合多個資料源，這可能非常緩慢且耗時。<br><br>由於要處理的資料量巨大且種類繁多，因此分析師平均需要 205 天的時間來檢測攻擊。這不僅僅是簡單的大數據，而是來自各種來源的各種雜亂資料，包括應用程式、網路、防火牆、Web 資料存取、人力資源管理（HCM）和客戶關係管理（CRM），這些都是難以整合的。清理和整合資料需要時間，關鍵決策（例如威脅檢測）不能在傳統系統和流程中等待。威脅檢測需要擴展到政府單位，監控其境內所發生的事情並監控可能導致網路威脅的潛在惡意活動。政府可以收集、處理和分析來自政府網路的資料以及公用資料，以保護其國家免受攻擊並識別內部威脅。<br></li>
<li>大型能源組織：組織面臨著剖析和分析來自不同來源和位置的大量日誌的挑戰。由於資料格式眾多，因此需要數週時間來整合資料，以檢測特定模式和活動。透過轉向 Pentaho，該組織利用自然語言處理功能和 R 語言在 Hadoop 上大規模部署。因此，它們更快地檢測到網路攻擊，並將開發時間縮短了 10 倍，以便立即處理和分析資料。<br></li>
<li>大型電信業者：業者無法檢測到可疑的網路活動，但發現來自具有敏感資料的系統的離埠連接意外激增。在利用 Pentaho 協作“黑名單”和“白名單”分析背後的資料轉換以進行異常檢測後，該組織能夠及時分析潛在威脅。而該組織已經發現用於異常檢測的 IT 資源和時間大幅減少。</li>
</ul>
<p></p>
<p></p>
<p>更多關於&nbsp;<a href="https://www.omniwaresoft.com.tw/usecase/pentaho-usecase/">Pentaho 成功案例</a></p>
<p></p>
<p></p>
<p></p>							</div>
										</div>
				</div>
					</div>
		</div>
					</div></div>
		</section>
				</div>
		]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">16586</post-id>	</item>
		<item>
		<title>PentahoㄧRio Negro 稅務局藉由 「Pentaho 資料視覺化」分析關鍵趨勢，完成債務催收</title>
		<link>https://www.omniwaresoft.com.tw/usecase/pentaho-usecase/pentaho_rio-negro_services/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Wed, 03 Nov 2021 05:59:54 +0000</pubDate>
				<category><![CDATA[Pentaho 成功案例]]></category>
		<category><![CDATA[成功案例]]></category>
		<category><![CDATA[Pentaho]]></category>
		<guid isPermaLink="false">http://www.omniwaresoft.com.tw/?p=16487</guid>

					<description><![CDATA[由於 Río Negro 稅務局對於分析所需的資訊延遲和總時間不斷增加，因此它們藉由 Pentaho 資料視覺化分析與 Pentaho Data Integration 下載、更新和協作，使用將其資料視覺化，並分析企業行為和動向的關鍵趨勢。解決方案易於維護且快速，簡化維護並降低成本，提供了更快的整合解決方案。]]></description>
										<content:encoded><![CDATA[		<div data-elementor-type="wp-post" data-elementor-id="16487" class="elementor elementor-16487" data-elementor-post-type="post">
						<section data-particle_enable="false" data-particle-mobile-disabled="false" class="elementor-section elementor-top-section elementor-element elementor-element-1a5feed4 elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="1a5feed4" data-element_type="section">
						<div class="elementor-container elementor-column-gap-thegem"><div class="elementor-row">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-7bbdd4aa" data-id="7bbdd4aa" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-3a662dbc flex-horizontal-align-default flex-horizontal-align-tablet-default flex-horizontal-align-mobile-default flex-vertical-align-default flex-vertical-align-tablet-default flex-vertical-align-mobile-default elementor-widget elementor-widget-text-editor" data-id="3a662dbc" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
												<div class="elementor-text-editor elementor-clearfix">
						<p></p>
<p>透過此案例研究，了解<a href="https://www.hitachivantara.com/en-us/products/data-management-analytics/pentaho.html"> Pentaho 工具</a>如何幫助 Río Negro 稅務局 (ARTRN) 從數據中提取見解並及時做出決策。</p>
<p></p>
<p></p>
<p>使用 Pentaho 工具，企業用戶可以輕鬆地統整報吿資訊，納稅人可以獲得財產稅和汽車稅的預付款。</p>
<p></p>
<p></p>
<p>Pentaho 實施的解決方案有助於收回 8,100 萬阿根廷批索的未償債務。&nbsp;</p>
<p></p>
<p></p>
<p></p><h2><strong>公司介紹</strong> </h2>
<p><span style="font-weight: 400;">Río Negro 稅務局（ARTRN）因協助阿根廷政府尋找高效和對消費者友好的徵稅方式不斷創新而備受認可。里奧內格羅省的稅收管理以高效的方式進行，鼓勵自願遵守，並對違規者實施適當的制裁，以確保公共服務能夠獲得必要的資金。透過 Pentaho Data Integration 下載、更新和協作建立新資料庫和 Pentaho 業務分析，使用戶輕鬆視覺化它們的資料並分析關鍵趨勢，ARTRN 能夠完全取代 Oracle Warehouse Builder 並建立一個未來的解決方案。</span></p>
<p></p>
<p></p>
<p></p>
<h2 class="wp-block-heading">使用產品</h2>
<p></p>
<p></p>
<p><span style="font-size: 12pt;"><a href="https://www.omniwaresoft.com.tw/pentaho/">Pentaho</a></span></p>
<p></p>
<p></p>
<h2 class="wp-block-heading">挑戰</h2>
<p></p>
<p></p>
<p></p><p><span style="font-weight: 400;">由於獲取進行各種分析所需的資訊延遲和總時間不斷增加，ARTRN 的第一個挑戰是建立一組靈活、友好、易於解釋且可供用戶實時訪問的管理報告。 ARTRN 需要一個簡化的視覺化工具，以降低技術障礙（例如：限制 IT 干預）並支持終端用戶自助服務。同樣，ARTRN 需要為用戶提供資訊的特定分析，以及提供靜態報告。第二個挑戰是為了遷移原先在 Oracle Warehouse Builder 開發資訊程式整合的問題。</span></p>
<p></p>
<p></p>
<p></p>
<h2 class="wp-block-heading">
<p><strong style="color: rgb(60, 57, 80); font-size: 30px; letter-spacing: 0.05em; text-transform: uppercase;">解決方案</strong></p>
</h2>
<p></p>
<p></p>
<ul>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">Pentaho 資料整合用於資料庫的加載、更新和編排，完全替代 Oracle Warehouse Builder。</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">Pentaho 業務分析允許用戶輕鬆地將其資料視覺化，並分析企業行為和動向的關鍵趨勢。&nbsp;</span></li>
</ul>
<p></p>
<p></p>
<h3 class="wp-block-heading">
</h3><h3><span style="font-weight: 400; font-size: 12pt;">技術規格</span></h3>

<p></p>
<p></p>
<ul>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400; font-size: 12pt;">Pentaho 業務分析 5.1</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400; font-size: 12pt;">Pentaho Analysis/Mondrian 用於建模和建構各種 OLAP 多維資料集</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400; font-size: 12pt;">資料庫: Oracle</span></li>
</ul>
<p></p>
<p></p>
<h2 class="wp-block-heading"> <span style="color: rgb(60, 57, 80); font-size: 30px; font-weight: 700; letter-spacing: 0.05em; text-transform: uppercase;">成果</span> </h2>
<p></p>
<p></p>
<p></p><p><span style="font-weight: 400;">Pentaho 業務分析完整的解決方案有助於透過單一平台滿足 ARTRN 的資訊需求。 擁有一個完整且全面的工具帶來了額外的益處，例如：</span><span style="font-size: revert;"> </span></p>
<ul>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">易於維護：在整合和視覺化使用相同的技術，簡化維護並降低成本。</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">速度和響應性：有了一個完整的解決方案來滿足初始部署的需求，隨著後續變化和新數據的產生，提供了更快的整合解決方案。</span></li>
</ul>
<p><span style="font-weight: 400;">2014 年，ARTRN 收回了 8,100 萬阿根廷披索的未繳稅款和債務。 ARTRN 將這項大規模收復歸功於 Pentaho 的新分析和資料搜尋功能。 ARTRN 能夠以敏捷的方式建立報告，並快速分析多個搜尋條件和準則，以檢測未能繳納稅款的納稅人群體。</span></p>
<p><span style="font-weight: 400;">由 Datalytics 協助開發 ARTRN 的解決方案讓用戶能夠專注於資料分析，不會因資料提取或整合相關問題感到窒礙難行。此外，將任何資料源與 Pentaho 資料整合的可擴展性、功能性和技術為 ARTRN 增強分析能力，而不是迫使 IT 人員專注於支援商業用戶。</span></p>
<p><span style="font-weight: 400;">最後，擁有 Pentaho 業務分析平台使 ARTRN 能以簡單的方式發現未納稅人群體，並持續進行新的發現。 ARTRN 認為，它們在 2014 年的發現僅是概念驗證，並期待未來的額外累積資產能夠更好地支持所有政府計劃。</span></p>
<p></p>
<p></p>
<p></p>
<h2 class="wp-block-heading">
</h2><h2>回饋</h2>

<p></p>
<p></p>
<p></p><p><span style="font-weight: 400;">『我們需要一種工具來從我們的數據中提取洞察並及時做出決策。 Pentaho 同時實現了數個目標。首先，我們使業務用戶（執行董事和經理）能夠輕鬆快速的報告和整合資訊。第二，Pentaho 是一個用戶友好的工具，它很快被整個組織採用以獲取作業資訊。任何人都可以使用的這些大量數據，但不再受資料規模或類型的限制。現在每個人都可以存取資訊、使用標準報告並自定輸出。』</span></p>
<p><span style="font-size: 12pt;"><span style="font-weight: 400;">── 奧古斯丁·多明哥<br>執行董事，ARTRN</span></span></p>
<p></p>
<p><span style="font-size: 12pt;">更多關於 <a href="https://www.omniwaresoft.com.tw/usecase/pentaho-usecase/">Pentaho 成功案例</a></span></p>
<p></p>
<p></p>							</div>
										</div>
				</div>
					</div>
		</div>
					</div></div>
		</section>
				</div>
		]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">16487</post-id>	</item>
		<item>
		<title>Pentaho 成功案例：金融服務機構選擇 Hitachi Vantara’s Pentaho 平台</title>
		<link>https://www.omniwaresoft.com.tw/usecase/pentaho-usecase/pentaho_financial_services/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Wed, 20 Oct 2021 02:55:15 +0000</pubDate>
				<category><![CDATA[Pentaho 成功案例]]></category>
		<category><![CDATA[成功案例]]></category>
		<category><![CDATA[Pentaho]]></category>
		<guid isPermaLink="false">http://www.omniwaresoft.com.tw/?p=16331</guid>

					<description><![CDATA[金融服務機構為關鍵業務計劃導入Hitachi Vantara 的 Pentaho 平台。在面臨多重挑戰下，透過自動化資料編排過程，提供企業更精細的數據。其客戶包括，ABN AMRO Clearing，Pentaho 爲其提供自助分析服務並優化資本利用率。NASDAQ 借助 Pentaho 快速獲得準確的資料並洞察客戶行為。Edo Interactive 以 Pentaho 強大的數據處理時間，並且使用情緒分析增強了原數據。]]></description>
										<content:encoded><![CDATA[		<div data-elementor-type="wp-post" data-elementor-id="16331" class="elementor elementor-16331" data-elementor-post-type="post">
						<section data-particle_enable="false" data-particle-mobile-disabled="false" class="elementor-section elementor-top-section elementor-element elementor-element-13c891bc elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="13c891bc" data-element_type="section">
						<div class="elementor-container elementor-column-gap-thegem"><div class="elementor-row">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-cd1eb51" data-id="cd1eb51" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-61a2035b flex-horizontal-align-default flex-horizontal-align-tablet-default flex-horizontal-align-mobile-default flex-vertical-align-default flex-vertical-align-tablet-default flex-vertical-align-mobile-default elementor-widget elementor-widget-text-editor" data-id="61a2035b" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
												<div class="elementor-text-editor elementor-clearfix">
						<p></p>
<h2 class="wp-block-heading">
</h2>
<h2><strong>大數據圖譜</strong> </h2>
<p></p>
<p></p>
<p></p>
<p><span style="font-weight: 400;">金融和銀行組織是大數據（包含 Hadoop ）的早期採用者，因為它對成本控制和大數據集處理時間具有明顯的優勢。然而，Hadoop 本身也面臨著許多挑戰。例如，大規模資料擷取和即時訪問數據時會面臨困難，並且透過理解數據以推動策略是具有挑戰性的。</span></p>
<p><span style="font-weight: 400;">一家總部位於英國的大型投資銀行大約在四年前開始了其大數據策略，並面臨類似的挑戰。由於需要將 300 多個關鍵數據源輸入到 Hadoop，該銀行努力跟上數據需求的步伐。不同數據源的數量使得擷取過程非常複雜和緩慢。由於擷取資料需要六到九個月的時間，因此無法即時理解這些數據。 顯然，這對企業來說是無法接受的。</span></p>
<p><span style="font-weight: 400;">該銀行最初透過購買更多的軟體和工具來解決這項挑戰。 不幸的是，這種方法不僅未能緩解還加劇了挑戰，因此銀行被迫為不適用的工具支付更多的金錢。</span></p>
<p><span style="font-weight: 400;">因此，銀行轉向使用 <a href="https://www.hitachivantara.com/en-us/products/data-management-analytics/pentaho.html">Hitachi Vantara 的 Pentaho 平台</a>。</span></p>
<p><span style="font-weight: 400;">Pentaho 的模型驅動 （model-driven）資料擷取功能使銀行能夠在數周而不是數月內將新數據源加載到 Hadoop 內。在初始加載之後，Pentaho 自動化功能允使這些來源能持續擷取。 如今，藉由使用 Pentaho 商業分析，該銀行現在可以建立可操作的資料視圖，以推動該組織的一些關鍵業務計劃，例如：降低每筆交易的成本、檢測風險過高或欺詐交易。</span></p>
<p><span style="font-weight: 400;">另一個歐洲客戶（ Hadoop 的早期使用者）有 6,000 多個數據源需要載入 Hadoop。 傳統的提取、轉換、加載（ETL）流程每個數據源需要 5 到 10 天，且顧問每天收費約 1,000 美元，銀行使用這些數據源的最終成本高達數百萬，因此它們轉而使用 Pentaho。 透過使用 Pentaho 的模型驅動資料擷取功能，銀行將這 6,000 個數據源的加載時間從幾週縮短至幾天。&nbsp;</span></p>
<p></p>
<p></p>
<p></p>
<h2 class="wp-block-heading">使用產品</h2>
<p></p>
<p></p>
<p><a href="https://www.omniwaresoft.com.tw/pentaho/">Pentaho</a></p>
<p></p>
<p></p>
<h2 class="wp-block-heading">挑戰</h2>
<p></p>
<p></p>
<p></p>
<p><span style="font-weight: 400;">多年來，金融服務業一直在應對越來越多的監管要求，包括巴塞爾協議 III 的改革。 這讓許多已在努力提高應對監管審查能力、提供準確的風險破口報告和自動化合規流程的金融服務機構面臨挑戰。</span></p>
<p><span style="font-weight: 400;">由於 2007-2008 年金融危機的影響，金融服務業引入流動性比率作為改革的一部分，流動覆蓋率為其中之一，以避免再次出現信貸崩潰。流動性覆蓋率為銀行保持充足的高品質資產存量，這些資產可以快速變現以滿足短時間內的現金流需求。然而，決定日利率是十分困難和耗時的。</span></p>
<p><span style="font-weight: 400;">一家大型金融機構運行著 34,000 個任務，這些任務處理了來自 34 個國家的 400 個應用程式的數據。使用手工編碼（hand coding）來建立這些任務是有問題的，原因有兩個：</span></p>
<p> <span style="font-size: revert;"> </span></p>
<ul>
<li><p><span style="font-weight: 400;"><span style="text-transform: initial;">每次處理</span><span style="text-transform: initial;">數據</span>需要耗費 24 小時以上</span><span style="text-transform: initial;">。</span></p></li>
</ul>
<p></p>
<p></p>
<ul>
<li>  數據呈指數級增長，引起人們對長期有效管理數據的擔憂。 </li>
</ul>
<p><span style="font-weight: 400;">所以此金融機構轉向了 Pentaho。 透過自動化資料編排過程，簡化了冗餘資料饋送的數量，以更快的速度提供企業更精細的數據。 事實上，Pentaho 處理數據的速度提高了 15 倍。 隨著這些訊息的提前交付，金融機構能夠在當天早上決定其流動性比率，以推動更好的資產配置策略以增加收入。</span><span style="font-size: revert;"> </span></p>
<p></p>
<p></p>
<p></p>
<figure><img loading="lazy" data-recalc-dims="1" src="https://i0.wp.com/www.omniwaresoft.com.tw/wp-content/uploads/2022/07/ABN-AMRO-Clearing_NASDAQ_Edo_Pentaho_clients.png?resize=540%2C489&#038;ssl=1" alt="ABN．AMRO Image" width="540" height="489"></figure>
<p></p>
<p></p>
<h2 class="wp-block-heading">
<p><strong style="color: rgb(60, 57, 80); font-size: 30px; letter-spacing: 0.05em; text-transform: uppercase; background-color: rgb(255, 255, 255);">消費者導向</strong></p>
</h2>
<p></p>
<p></p>
<p></p>
<p>為了在消費者賦權的經濟中競爭，銀行和證券經紀商必須利用其資訊資產來全<span style="font-weight: 400;">面了解市場、客戶、產品、競爭和其他渠道。</span></p>
<p></p>
<p></p>
<p></p>
<h3 class="wp-block-heading"><strong style="color: rgb(60, 57, 80); font-size: 25px; letter-spacing: 0.05em; text-transform: uppercase;"><span style="font-size: 12pt;">ABN AMRO Clearing</span></strong> </h3>
<p></p>
<p></p>
<p></p>
<p><span style="font-weight: 400;">ABN AMRO Clearing 是歐洲、美洲和亞太地區集中清算服務的供應商，每天在全球 85 個交易所處理超過 1,600 萬筆交易。其客戶關係經理以原始數據和表格的形式發送日終交易對賬。但是，這個方法並未為其客戶提供有效運營業務所需的洞察力和能見度。ABN AMRO Clearing 借助 Pentaho 為其客戶提供自助分析服務，以即時查看他們的持股情況，以便做出更好的交易決策並優化資本利用率。同時，ABN AMRO Clearing 預測運行和維護這些數據的成本每年將減少 60%。</span></p>
<p></p>
<p></p>
<p></p>
<h3 class="wp-block-heading">
<p><strong style="color: rgb(60, 57, 80); font-size: 25px; letter-spacing: 0.05em; text-transform: uppercase;"><span style="font-size: 12pt;">NASDAQ</span></strong></p>
</h3>
<p></p>
<p></p>
<p></p>
<p>NASDAQ 為 50 多個國家的 70 多個市場提供支援，每天管理超過 100 億筆財務資料，相當於 1,500 萬筆交易和 10 億條訊息。為了制定 NASDAQ 的月度定價模型，需要這些數據來洞察客戶行為，因此 NASDAQ&nbsp;轉向了 Pentaho。『 有了 Pentaho，一個開發團隊就取代了先前由開發、系統、資料庫管理員共同完成的工作，有助於降低總體成本。』獲得準確資料的速度是 NASDAQ 能夠影響客戶行為以推動其業務收入的方式。</p>
<p></p>
<p></p>
<p></p>
<h3 class="wp-block-heading">
<p><strong style="color: rgb(60, 57, 80); font-size: 25px; letter-spacing: 0.05em; text-transform: uppercase;"><span style="font-size: 12pt;">Edo Interactive</span></strong></p>
</h3>
<p></p>
<p></p>
<p></p>
<p><span style="font-weight: 400;">Edo Interactive（現在是 Auego 的一部分），它針對信用卡持有人提供個人化的促銷優惠。而它需要 30 個小時處理超過 5TB 的數據（或每天超過 1.5 億筆數據），這影響了它在適當的時間點向目標受眾提供更完善的產品服務的能力。</span><span style="font-size: revert;"> </span><span style="font-weight: 400;">因此，該公司轉向了 Pentaho。 Pentaho 不僅將數據處理時間縮短了 70%，並且使用情緒分析增強了原數據。Edo Interactive 憑藉著全面了解顧客角度，能夠更好地定位其客戶，以保留現有客戶的同時專注於開發新客戶。</span></p>
<p></p>
<p></p>							</div>
										</div>
				</div>
					</div>
		</div>
					</div></div>
		</section>
				</div>
		]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">16331</post-id>	</item>
		<item>
		<title>PentahoㄧUIDAI 利用 Pentaho 解決印度政府龐大的人口資料集</title>
		<link>https://www.omniwaresoft.com.tw/usecase/pentaho-usecase/pentaho-uidai/</link>
		
		<dc:creator><![CDATA[Omni]]></dc:creator>
		<pubDate>Fri, 08 Oct 2021 02:56:39 +0000</pubDate>
				<category><![CDATA[Pentaho 成功案例]]></category>
		<category><![CDATA[成功案例]]></category>
		<category><![CDATA[Pentaho]]></category>
		<guid isPermaLink="false">http://www.omniwaresoft.com.tw/?p=16240</guid>

					<description><![CDATA[印度身分識別管理局（UIDAI）導入 Hitachi Vantara 的 Pentaho 作為解決方案，創建適合各種數據源和數據類型的大數據架構，並利用大量數據進行多重驗證，以支持政府數據集。UIDAI 藉由 HCL Infosystems Ltd. 的分銷和 IT 服務與 GrayMatter Software Services Pvt. 從數據的應用和訊息流中執行關鍵的驗證和分析。]]></description>
										<content:encoded><![CDATA[		<div data-elementor-type="wp-post" data-elementor-id="16240" class="elementor elementor-16240" data-elementor-post-type="post">
						<section data-particle_enable="false" data-particle-mobile-disabled="false" class="elementor-section elementor-top-section elementor-element elementor-element-23937289 elementor-section-boxed elementor-section-height-default elementor-section-height-default" data-id="23937289" data-element_type="section">
						<div class="elementor-container elementor-column-gap-thegem"><div class="elementor-row">
					<div class="elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-4f077340" data-id="4f077340" data-element_type="column">
			<div class="elementor-widget-wrap elementor-element-populated">
						<div class="elementor-element elementor-element-337df8b5 flex-horizontal-align-default flex-horizontal-align-tablet-default flex-horizontal-align-mobile-default flex-vertical-align-default flex-vertical-align-tablet-default flex-vertical-align-mobile-default elementor-widget elementor-widget-text-editor" data-id="337df8b5" data-element_type="widget" data-widget_type="text-editor.default">
				<div class="elementor-widget-container">
												<div class="elementor-text-editor elementor-clearfix">
						<p></p>
<h2 class="wp-block-heading">公司介紹</h2>
<p></p>
<p></p>
<p></p><p><span style="font-weight: 400;">印度身分識別管理局（UIDAI）藉由 Hitachi Vantara 的 </span><a href="https://www.omniwaresoft.com.tw/pentaho/"><span style="font-weight: 400;">Pentaho</span></a> <span style="font-weight: 400;">提供強大的大數據分析平台，以支持超過 10 億公民的政府數據集。</span></p>
<p><span style="font-weight: 400;">印度唯一身分識別計畫</span><span style="font-weight: 400;">在為全國每個居民提供身份識別，主要用於提供社會福利之服務，並有效監督政府各種計劃。經印度首相批准後，</span><span style="font-weight: 400;">印度的電子與資訊科技部門發行了 </span><span style="font-weight: 400;">Aadhaar，一組由印度身份識別局代表印度政府頒發的十二位數個人識別碼。這個號碼將作為在印度身份和地址的證明。並且，藉由印度郵政所收到的 Aadhaar 信件和從 UIDAI 網站下載的 e-Aadhaar 信件同樣有效。</span></p>
<p><span style="font-weight: 400;">HCL Infosystems Ltd. 是印度首屈一指的分銷和 IT 服務公司，並擁有印度最大的銷售和分銷網路。HCL Infosystems Ltd. 且獲得了 UIDAI 的內聯網和知識管理門戶的設計、開發、維護的合約。此外，UIDAI 藉由 HCL Infosystems Ltd. 的分銷和 IT 服務與 GrayMatter Software Services Pvt. 成功執行了該計劃。</span></p>
<hr>
<p><span style="font-weight: 400;">『 </span><span style="font-weight: 400;">GrayMatter 專業的大數據分析技術與知識，能夠根據 UIDAI 的嚴格要求在 Pentaho 平台上進行分析。HCL 團隊與 GrayMatter 的合作對於第一階段的成功至關重要。</span><span style="font-weight: 400;">』── </span><span style="font-weight: 400;">UIDAI 執行團隊成員</span><span style="font-weight: 400;">說道&nbsp;</span></p>
<p></p>
<p></p>
<p></p>
<h2 class="wp-block-heading">使用產品</h2>
<p></p>
<p></p>
<p><a href="https://www.hitachivantara.com/en-us/products/data-management-analytics/pentaho.html">Pentaho</a></p>
<p></p>
<p></p>
<h2 class="wp-block-heading">挑戰</h2>
<p></p>
<p></p>
<p></p><p><span style="font-weight: 400;">計劃簡介:創建適合各種數據源和數據類型的大數據架構，並利用大量數據進行多重驗證。計劃的另一個關鍵是根據 UIDAI 的需求創建商務邏輯，以對具有國家意義的海量數據進行多重分析。</span></p>
<p><span style="font-weight: 400;">挑戰如下:</span></p>
<ol>
<li><span style="font-weight: 400;">沒有符合數據類型和適當規模的理想儲存平台<br>&#8211; 13 億筆資料<br></span>&#8211; 每月超過 37 TB 的數據<br>&#8211; 非結構化數據類型，如生物識別、虹膜辨識<br>&#8211; 多個機構的交易數據</li>
<li><span style="font-weight: 400;">缺少資料庫來執行預期的商務邏輯</span></li>
<li><span style="font-weight: 400;">沒有可用的工具來執行大數據聚合並進一步分析</span></li>
<li><span style="font-weight: 400;">即時和非即時分析的能力十分重要</span></li>
</ol>
<p></p>
<p></p>
<h2 class="wp-block-heading">
</h2><h2>解決方案成果</h2>

<p></p>
<p></p>
<p></p><p><span style="font-weight: 400;">GrayMatter 與 HCL 團隊共同提供了一個大數據解決方案，最終解決了上述問題和多項關鍵的商業挑戰，而大數據架構解決方案則是其成功關鍵。</span></p>
<p><span style="font-weight: 400;">以下是執行的關鍵解決方案點：</span></p>
<ul>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">在 150 個節點上使用 MapR distribution 和 Pentaho 的 PDI 在 Hadoop 中進行數據集成和數據處理</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">使用 Pentaho BI 平台產出商業智慧報表</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">將多種工具和技術與 Hadoop / 大數據互相結合</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">Pentaho PDI 是來源系統和大數據 / Hadoop 平台之間連接的關鍵</span></li>
<li style="font-weight: 400;" aria-level="1"><span style="font-weight: 400;">Pentaho 的大數據友好環境是在基於 Hadoop 商業規則上將數據轉換為資訊的關鍵</span></li>
</ul>
<p></p>
<p></p>
<h2 class="wp-block-heading">成果</h2>
<p></p>
<p></p>
<p>成功建立大數據平台的主因，是從數據的應用和訊息流中執行關鍵的驗證和分析。</p>
<p></p>
<p></p>
<ul class="wp-block-list">
<li>建立全面的大數據平台</li>
<li>完整的 BI 和分析平台可以創造多種分析，包括非即時商業分析</li>
<li>目前有 5,000 多家供應商機構無縫且成功地使用該平台</li>
<li>成功執行使用者資訊的身份驗證</li>
</ul>
<p></p>
<p></p>
<p></p><ul> </ul>
<p></p>
<p></p>							</div>
										</div>
				</div>
					</div>
		</div>
					</div></div>
		</section>
				</div>
		]]></content:encoded>
					
		
		
		<post-id xmlns="com-wordpress:feed-additions:1">16240</post-id>	</item>
	</channel>
</rss>
