Cloudera 最近舉辦了「現實世界中的串流分析 — 重要行業使用案例」線上活動，展示了快速資料和串流分析如何革新行業的實際案例應用。Cloudera 首席行銷官 Mick Hollison 主持了這次活動，同時是作家和未來學家的 Bernard Marr 與他一起發表了關於由即時數據和分析，是個令人興奮和創新用例的主題演講。與會者還了解了一些關鍵的行業使用案例、Cloudera 的串流、客戶小組的見解、八個特定行業的會議以及技術深度研究。

Marr 的演講主題提出了第四次工業革命是 「智能革命 」的觀點，因為公司可以使用資料來個人化和改善業務流程。COVID-19 加速了企業、商業模式和客戶行為的根本變化，這表示我們正進入這場革命的第二階段。這不僅僅是擁有資料的問題，而是在對的時間、對的背景下擁有正確無誤的資料。

Bernard 特別指出了一些令人信服的使用案例，並強調了這個事實：在大流行病的作用下，在 2020 年 1 月相關的資料集在 8 月時就完全沒用了。Marr 說：「數據的保質期正在減少」。例如，像 Walmart 等公司只使用最近 90 天的交易數據，因為世界變化如此之快。

這種變化的速度對企業產生巨大的影響。現在的成功依賴於從近乎即時的串流資料中獲得的洞察力。雖然傳統分析可以顯示「過去」發生了什麼，但即時分析方法讓你洞察「正在」發生的事情；在某些情況下，還可以了解「接下來」會發生什麼，靜態的歷史資料已經不夠用了。

在此處收聽完整的主題演講，了解更多 Marr 的見解和真實示例。

本次活動還展示 8 個不同的產業創新案例，各主要垂直行業的客戶、產品和行業領導者重點介紹了即時行業案例、客戶實例以及從快速或串流資料中推動業務成果的成功故事。

查看關鍵的產業創新和垂直使用案例

那些採用串流分析的組織的成功有目共睹。在 Cloudera 行業解決方案副總裁 Cindy Maike 的主持下，這次線上活動強調了 Cloudera 的主要客戶，包括 Severstal 的 Boris Voskresenskii、Discovery 集團的 Vladi Belev 和美國航空公司的 Jason Bolden，重點介紹串流分析如何改變他們的業務。

Severstal 是俄羅斯領先的鋼鐵製造商之一，透過串流分析實現了營運改進，生產率達到了創紀錄水準。美國航空公司正在利用即時數據和分析的力量進行網路安全威脅檢測和事件響應。Discovery 團隊使用 Cloudera 的串流平台來改善客戶在保險和遠程信息處理方面的體驗。根據 Belev 的說法「未來完全基於串流和即時分析」。

在這裡觀看更多他們的對話。

根據 Cloudera 產品行銷總監 Dinesh Chandrasekhar 的說法，資料衰減（或惡化）使本已很複雜的生態系統變得更複雜，該生態系統由來自物聯網等串流源的資料呈指數級增長定義。隨著資料儲存在不同的地方，從本地到雲端再到邊緣，存取速度是一個重要因素。資料進入企業的速度加上來源的多樣性，會使處理資料和即時產生有意義的見解變得困難。

以製造工廠中生產故障產品的機器為例。從故障開始到採集該資料（數據延遲），然後是資料分析（分析延遲），最終提供洞察力以採取行動（決策延遲）之間所花費的時間可能意味著一個故障產品或數百個，甚至數千個之間的區別。

同樣，使用傳統的歷史分析，零售商可能會失去吸引顧客的機會，因為資料無法在客戶進入和離開商店時採取行動。隨著時間的流逝，訊息正在失去價值。串流分析以節省成本、增強客戶體驗和提高營運效率的方式縮短了資料價值流失的時間。

如今，只有不到 40% 的企業採用串流分析。這意味著 60% 的企業仍然依靠歷史分析法來發現發生了什麼 — 卻忘記現在正在發生的事情，或者未來會發生的事情。「那是沒有幫助的。你今天錯過了機會窗口」Chandrasekhar 說， Cloudera 之類的串流分析平台就可以提供幫助。

Chandrasekhar 詳細解釋了 Cloudera 如何幫助利用串流分析的機會。

由快速數據驅動的智能革命已經在進行中，每家公司現在需要問的問題是他們是否準備好參與其中。

本文翻譯自：Streaming Analytics in the Real World

參考更多 Cloudera 相關資訊：https://www.omniwaresoft.com.tw/cloudera

電信業正處於基礎再造和轉型之中。面對一系列新出現的壓力 — 包括整合、不斷變化的競爭布局和傳統服務的商品化。通信服務提供商（CSP）正在尋求新的收入來源和新的商業方法。

現今領先的 CSP 已經開始重新定位自己，不僅僅是作為通信的協調員，而是逐漸成為數位服務體驗的中心，負責為客戶連接、收集、管理和加強服務。為了保持競爭力，他們正在尋求增強端到端的客戶體驗，提供個人化的服務和建議，優化網路性能和投資，減少詐欺和網路威脅的風險，並資本化新業務和數位服務機會。

數據和分析的作用

CSP 是地球上最大的數據聚合器之一，可以存取空前數量的數據源，包括客戶資料：設備、網路和位置數據；客戶使用模式：下載的應用程式、內容偏好、點擊串流和傳感器數據。每分鐘都有很多的數據產生，並且隨著 5G 等技術的出現，數據源和數據量繼續逐步增長。

由於產生許多數據，CSP 必須了解如何利用這些數據寶庫，並將它們轉化為有意義的東西，以提供更具吸引力和個人化的客戶體驗、優化他們的網路、減少客戶流失或幫助推動新的收入來源。

對於許多 CSP 來說，駕輕就熟、合理的使用這些數據，是在這個全新的環境中差異化關鍵業務的因素。隨著 CSP 擁抱數位服務供應商的新興角色，他們可以利用數據的力量來克服一些最緊迫的挑戰。

如今，CSP 如何使用數據和分析？

競爭激烈的 CSP 透過嶄新的方法，從任何地方、任何類型的數據中提取、處理、儲存、分析和驅動可操作的洞察力，從而迎接這個新興時代。

轉型的機會有很多種可能，利用尖端的分析技術、機器學習和人工智能，CSP 可以分析大量即時數據進而影響重大業務。

數據和分析可以用於客戶流失分析、精準行銷、識別詐欺、優化網路、從 5G 獲利，以及推出引人注目的新收入機會，如互聯汽車、互聯工廠、智能城市等，它們都有可能從根本上重新定義電信領域。

那些高瞻遠矚 CSP 利用數據和分析自我改造的主要方式包括：

1. 顧客體驗分析：CSP 利用分析技術建立一個跨所有渠道和業務線的客戶旅程 360 度視圖。他們建立客戶流失預測模型，以識別並主動聯繫有風險的客戶，同時建立並針對不同的消費者分眾，提供個人化的服務和建議。
2. 網路優化：CSP 使用先進的分析和機器學習來有效地監測和管理網路容量、建立容量預測模型、識別瓶頸，以及規劃和排程網路擴展決策。利用先進的分析，CSP 也使用網路和資料流量來預測和動態配置網路容量。
3. 營運分析：對於尋求確保最高營運績效的供應商，關鍵的日常營運數據為收入保證、詐欺、網路安全、財務預測和設備維護提供了洞察力。
4. 物聯網和數位服務： CSP 可以不只是提供連線而已，而是透過為特定行業領域提供分析和垂直化解決方案，成為整個物聯網（IoT）生態系統的一部分。
5. 互聯生態系統：CSP 作為互聯技術的關鍵推動者，可以有效地串聯 互聯汽車、家庭和智能城市。

對於希望實現產品多樣化和擁抱新商機的 CSP 而言，物聯網代表了一個獨特的機會領域。物聯網生態系統預計到 2025 年將達到 250 億台連接設備，支援超過 14 億的 5G 連接。

CSP 非常適合提供端到端的物聯網解決方案：他們可以收集串流數據，同時處理、儲存、分析和提供這些數據以及由此產生的情報，並將產生的情報反饋給客戶，以豐富的位置和地理元素協助垂直企業。

有遠見的 CSP 已經在朝這個方向發展。在全球範圍內，領先的 CSP 利用 Cloudera 的數據管理平台來獲得客戶的 360 度視圖、減少客戶流失、提高網路性能、最大限度地減少詐欺，並部署新的物聯網和連接串流用例。

Cloudera 數據平台（CDP）透過業界首個企業數據雲為 CSP 提供支援，在混合和多雲環境中提供強大的自助式分析，以及精密、細粒度的安全性和治理策略。 CDP 提供資料庫和機器學習服務、用於建構定制業務應用程式的數據中心服務，以及管理基礎設施、數據和分析工作負載的統一控制平面 — 而這些都建立在開源基礎上。

要了解更多資訊，請下載《互聯製造》電子書：5 大數據和分析使用案例 

了解更多關於 Cloudera在電信業的應用

本文翻譯自：Beyond Connectivity – Top 5 Ways Data and Analytics Drive Transformation in Telecom

參考更多 Cloudera 相關資訊：https://www.omniwaresoft.com.tw/cloudera

毫無疑問，數據是重塑商業布局的主要驅動力。例如，The Mckinsey Global Institute 表示，由數據驅動的組織獲得客戶的可能性高出 23 倍。

製造商非常了解數據的價值：IDC 預測，截至 2021 年，全球 70% 以上的製造商將使用數據來加強自動化和營運。正如數據已經成為各行各業的驅動力一樣，製造業的下一步發展將依靠數據和分析來提高營運效率。藉由新數據源並以創新的方式利用這些訊息，製造商將實現改進和更有效的產品開發、供應鏈和生產能力。

重塑製造業

製造業已經開始接受串流和即時數據流。當下搜集的數據用於即時調整並根據需要（有時甚至是自主）響應設備維護、工作流程路由、波動的需求、供應鏈中斷以及其他各種推動生產力的變量，從而降低維護成本和優化供應鏈。但為了充分利用這些即時數據，製造商必須重新思考他們的數據管理方法，才能更有效地利用數據。

有些人把這種新興方法稱為「互聯製造」。這種由數據和分析驅動的製造業願景正在重塑這個傳統行業，邁向更高效、更有效率的營運模式，為企業、股東和客戶創造價值。

有些製造商利用即時流程監控（real-time process monitoring）來優化生產過程和管理物流；有些製造商利用數據來推動預測性維護，而不是死板地按照表定時間進行維護；還有製造商利用先進的分析工具 – 例如電腦視覺，它使用視圖和影片訊號改善品質管制。

5 個數據和分析案例

透過利用數據和應用現代分析技術，製造商可以實現一系列厲害的案例。以下是我們所知的製造商以數據和分析為核心實現的一些主要案例的摘要：

即時處理監控

即時處理監控提供了運作狀況的連續即時視圖。這些數據提供了對關鍵傳感器參數和 KPI 的洞察，並測量生產目標，如周期時間、生產率和缺陷率。

預測性維護

數據可以幫助製造商改善關鍵資產和生產設備的維修維護過程。製造商可以根據感測器的數據，根據設備的實際狀況來預測維修需求，不再依賴被動的維修，從而降低成本並提高效率。

當這些營運科技數據（感測器數據）與資訊科技數據（MES、ERP等）相結合時，透過優化停機時間安排、人力分配和降低物流成本實現了強大的效果。

用電腦視覺確保產品品質

利用電腦視覺，製造商可以利用電腦以無人能比的速度和細節自動化視覺檢查，使電腦能夠有效管理產品品質，同時降低品質控制的成本，並防止整個製造過程中的缺陷。

產量優化

製造商必須不斷改善和優化各個工廠和生產單位的產量。數據、分析和機器學習發揮了關鍵作用，它們透過動態識別來消除製造瓶頸，進而提高生產率、減少庫存和提高資產利用率。

優化供應鏈

即時數據和高性能分析的湧入使供應鏈性能達到了新高度——從庫存量可視性等簡單用例，到即時庫存的優化和轉換相關的其他更複雜的用例。

所有這些現代的、數據驅動的強化功能正在使製造業變得更好，優化產量並簡化履行。

製造業的新數據模式

為了充分利用這些資料驅動的創新，製造商需要採用一種新的、更複雜的數據管理方法。他們希望能夠擷取、處理、儲存、分析、建模任何類型的數據（結構化、非結構化或半結構化數據），不管它在哪裡——在邊緣端、在工廠車間、在數據中心、或在任何公共、私人或混合雲端。

為了從數據中產生有意義的洞察力，今天的製造商需要轉向一個整合的多功能平台，提供經過實證且開放的數據管理工具和分析引擎。

Cloudera 數據平台

Cloudera 數據平台（CDP）是業界首個企業資料雲，具有從邊緣端到 AI 的分析能力。它提供了強大的自助分析服務，包含混合和多雲環境，並包括複雜和細粒度的安全和治理政策。

透過 Cloudera，製造商可以從各種來源擷取數據，包括串流和企業數據源，在混合基礎架構中儲存和處理數據，並對所有數據進行分析或應用機器學習算法，同時在所有環境中保持嚴格控管企業的數據安全及治理。

作為一個 100% 的開源平台，CDP 對製造業而言相當容易使用。一次性設置數據安全、治理和控制政策，並持續執行這些政策的能力，有助於降低營運成本和業務風險，同時給予 IT 部門完整的基礎架構選擇和靈活性。

要了解更多資訊，請下載《互聯製造》電子書：5 大數據和分析使用案例 

了解更多關於 Cloudera 在製造業的應用

本文翻譯自：Connected Manufacturing – How data and analytics are reshaping manufacturing

參考更多 Cloudera 相關資訊：https://www.omniwaresoft.com.tw/cloudera/

Hadoop – 這隻黃色小象究竟是什麼？

「一個便當吃不飽，可以吃兩個啊！還不夠的話，可以再吃好幾個！」

當企業儲存的資料越來越多，若只是要增加幾 TB 可以加裝硬碟進行擴容就好，但若要增加幾百 TB 的資料，顯然不是一台電腦主機就可以搞定的。

那麼要怎樣把資料放到多台主機，又能同時使用與管理裡的資料呢？

Hadoop 就此應運而生！既然一台電腦裝不下，那麼可以放到兩台，甚至更多台主機裡面！

Hadoop 目前是 Apache 的開源專案，能夠儲存並管理巨量資料，更可以儲存容量超大的檔案，並同時儲存、處理、分析這些檔案，因此許多組織採用它作為儲存巨量資料的雲端平台。

除此之外，Hadoop 完全免費、有活躍的社群，還有各式各樣的開源應用程式，儼然是個豐富的生態系。 

Hadoop 可以做什麼？

Hadoop File System，簡稱 HDFS，是一種分散式檔案系統，可以整合多台主機的儲存空間來存放資料。

HDFS 在存放檔案有自己獨特的邏輯，它會將一整個的檔案切成小塊（block）做上記號，然後製作副本（Data replication），散佈到不同的主機上。這麼做有幾個好處：

• • 當要讀取或寫入時，因為檔案被切分成小塊，壓力分散到多台主機，妥善運用資源，避免一台主機存放一個超大檔案，造成 I/O 擠在一台電腦上陷入瓶頸，其他主機卻閒得發慌。

• • 每個小塊都有自己的副本，雖然會花費更多儲存空間，但是當中一個主機意外故障時，存在其他地方的副本，馬上可以提供資料，HDFS 也會自動把缺少的副本補齊。

Hadoop 藉由 YARN 監控與分配資源，YARN （Yet Another Resource Negotiator） 是一種分散式運算系統，用於資源管理。它可以統籌多台主機的運算資源來進行計算，傳統上使用 MapReduce 運算框架，可以處理存放在 HDFS 中的大量資料。

有了基礎的檔案與運算系統，開始有許多的應用依附著 Hadoop，常見的有：

• • Apache Hive 主要用於資料倉儲，適合巨量資料的批量處理

• • Apache HBase 作為 No-SQL 的資料庫，提供更即時的搜尋

• • Apache Kafka 流式資料訊息傳遞中介，為資料流解耦

• • Apache Spark 資料分析工具，提供資料探勘與機器學習的 API

還有更多應用，族繁不及備載。

Hadoop 與資料庫有什麼不同？爲何 Hive 查資料那麼慢？

Hadoop 是將資料存放在分散式檔案系統，所以可以存放各種檔案。

Apache Hive 則是提供類似傳統關連式資料庫的介面，讓使用者可以使用近似 SQL 的指令 HiveQL，將大量的結構化資料存入 HDFS 中進行「資料倉儲」。

由於使用 Hive 的主要目的是存放大量資料，必要時才使用 YARN 進行存取與運算，傳統上Hive 使用 MapReduce 運算框架，運算過程中大量使用硬碟 I/O，避開因為昂貴的記憶體而導致的 OOM 問題，因此更多時候是用於巨量資料的批次處理。因此，相較用在 OLTP 追求速度而大量使用記憶體的資料庫，速度會慢上許多！

若是要更即時的互動式查詢，可以使用 Apache Impala 來訪問 Hive 中的資料，Impala 繞過 YARN 與 MapReduce，有著更快的反應速度。

推薦閲讀：大數據分析查詢引擎大車拼！Hadoop Hive VS. Impala 是競爭還是相輔相成？

什麼是 CDP Private Cloud Base？

Apache Hadoop 生態豐富，要合宜地將各個服務部署到叢集中，程序就變得相當複雜。不同的應用彼此相互依賴，其中各個參數互相影響，也需要第三方軟體來監視每個服務的狀態。

Cloudera 的 CDP Private Cloud Base 正是為解決上述挑戰而生，整合 Hadoop 生態系中常用的應用服務。

透過 Cloudera Manager 提供的 Web UI，管理者可輕鬆完成部署與集中管理，包括服務啟停、設定參數調校及安全策略套用。此一設計大幅降低手動操作與撰寫腳本的負擔，讓企業能更快速地展開資料分析，真正發揮大數據的商業價值！

想了解更多資訊，歡迎聯絡我們，或是 加入歐立威 Line 好友！