MongoDB 技術專欄彙整 - 歐立威科技

運用 Kafka 實現 CDC 資料同步 – 以 MongoDB 為例

Omni — Thu, 27 Oct 2022 08:09:08 +0000

前言

關於 CDC 技術的簡介及 Kafka 如何用在 CDC，可以參考文章「淺談 Change Data Capture (CDC) 及重要性，它如何實現資料同步？」的介紹。

我們會以透過 MongoDB Kafka Connector 實現 MongoDB 集群間的資料同步為例，開源的 Kafka Connect 外掛程式有 Debezium MongoDB Connector 和 MongoDB Kafka Connector 等，下表作簡單比較：

工具	Debezium MongoDB Connector	MongoDB Kafka Connector
支援性	僅提供來源端連接器驅動程式	提供來源端及目的端連接器驅動程式
同步機制	Oplog Mode (~v1.9) Change Streams Mode (v1.8+)	Change Streams Mode
接收端 CDC 資料處理	需搭配 MongoDB Kafka Connector 提供的 Debezium CDC Handler	MongoDB CDC Handler
作用 MongoDB 節點	僅支援單一節點 Replica Set/Sharded Cluster	支援多節點 Replica Set/Sharded Cluster

本文旨在提供讀者自行架設簡易測試環境的步驟作為參考，並用以驗證資料庫間的資料串流功能。以下內容將著重在說明如何建置 Kafka 服務及設定資料同步的工作。

你需要準備

- 一台已安裝 Linux 穩定發行版本的 VM 或實體機器，本文使用 CentOS 7。建議配置：
  - - vCPUs: 4 以上
  - - RAM: 8 GB 以上
  - - Disk: 500 GB 以上

- Linux 基本操作知識

- 來源端及目的端 MongoDB 集群（含連線資訊、具 ChangeStreams 讀取及相關表格讀寫等權限可供 Connector 工作使用的連線帳密）
  - - 需為 Replica Set 或是 Sharded Cluster

- 來源端 MongoDB 表格（含資料），本文假設為 mydb database 下的 mycoll 表格

- MongoDB 集群的連線工具，如 MongoDB Compass 或 terminal

環境架構

Kafka 架構示意圖

我們在同一台機器上安裝單節點 Kafka 及 Kafka Connect，並在 Kafka Connect 中加入 MongoDB Kafka Connector 外掛程式。

MongoDB 的 CDC 機制 (Change Streams)

MongoDB 的 Change Streams 功能就像資料庫的實時脈搏，它可以捕捉資料庫中發生的任何變化，並將這些變化傳遞給其他系統。

Change Streams 如何運作？

Change Streams 會監控 MongoDB 的操作日誌 (oplog)，並將資料的異動 (例如新增、修改、刪除) 轉換成異動事件 (Change Event)。

當 MongoDB 資料庫發生變化時，Change Streams 會捕捉這些變化，並將其傳遞給 Kafka。

更具體地說，整個流程如下：

資料庫異動： 當來源端的 MongoDB 資料表格發生異動時，例如新增、修改或刪除文件，MongoDB 會產生新的異動事件，並記錄在 oplog 中。
捕捉異動事件： Source Connector 會持續監控 oplog，捕捉這些異動事件，並將其集結成批次。
發送至 Kafka： Source Connector 會將批次的異動事件發送到 Kafka Broker，並寫入指定的 Kafka Topic。
同步至目標系統： Sink Connector 會從 Kafka Broker 讀取指定 Topic 中的資料，並根據異動事件的內容，將新的文件寫入目的端 MongoDB 的指定表格，或執行其他同步操作。

Kafka 服務相關元件和名詞介紹

在 Kafka 的訊息旅程中，許多幕後推手扮演著重要的角色，確保訊息能順利地從生產者傳遞到消費者。以下介紹 Kafka 服務中幾個關鍵的元件和名詞：

協調者：

ZooKeeper： 如同一位經驗豐富的指揮家，ZooKeeper 負責協調 Kafka 各服務節點的狀態管理和工作分配，確保整個系統的穩定運行。在 Kafka 2.8.0 以後的版本，Kafka 引入了 KRaft 模式，可以脫離 ZooKeeper 運作，更加輕量化和高效。

訊息的歸宿：

Broker： Kafka 的節點，如同一個個郵局，負責處理對 Topic 寫入或讀取資料的請求。
Topic： 存放資料的容器，如同郵局中的郵箱，用於存放不同類型的訊息。
Partition： Topic 的分割，如同將郵箱分成多個隔層，讓 Consumer 可以同時拉取不同 Partition 中的資料，提升處理效率。

訊息的生產者和消費者：

Producer： 將資料送往 Kafka Broker 寫入的資料製造者，如同寄件人，將訊息投遞到郵箱。
Consumer / Consumer Groups： Topic 訊息的消費者，如同收件人，從郵箱中取出訊息。同一個 Topic 可能有很多個消費者，因此以群組形式存在，確保每個訊息都能被消費。

訊息旅程的可靠保障：

Leader / Followers： Kafka 通常以多節點集群的形式運作，集群中會有一個主要節點作為主節點 (Leader)，其他節點則為副節點 (Followers)，從主節點同步狀態及資料，確保訊息的可靠性和容錯能力。

資料同步的橋樑：

Kafka Connect： 負責 Connector 的管理，如同一位聯絡員，負責協調資料的同步工作。
plugin： 供 Kafka Connect 使用的外掛驅動程式，如同不同的轉接頭，讓 Kafka Connect 可以連接到不同的資料庫或系統。
Connector： 與外部資料環境及 Kafka 對接，用來進行指定讀/寫資料工作的單位，如同一位搬運工，負責將資料從來源系統搬運到 Kafka，或從 Kafka 搬運到目標系統。
Worker / Worker Task： 一個 Sink Connector 下依據 Topic partition 數目可以有一或多個 process 平行執行 Connector 設定中定義的工作，如同多位搬運工同時工作，提升資料同步的效率。

操作步驟

一、下載 Apache Kafka

curl  -zvf kafka_2.13-3.3.1.tgzcd kafka_2.13-3.3.1

二、啟動 Kafka 服務

./bin/kafka-server-start.sh

Kafka 預設使用 port 9092。

三、啟動 Kafka Connect 服務

Kafka Connect 分有 standalone (預設使用 ./config/connect-standalone.properties 中的設定) 及 distributed (預設使用 ./config/connect-distributed.properties 中的設定)。差異在於 distributed 版本支援分散儲存 topic 中的資料，一般建議使用 distributed 版本

在啟動 Kafka Connect 之前，我們需要先安裝 MongoDB Kafka Connector 外掛，在啟動 Kafka Connect 服務時才會讀取到該外掛程式的存在。

開啟 connect-distributed.properties，往下滾動至最底部，找到 plugin.path 一行，修改為您要放置外掛檔案的路徑位置。

vi ./config/connect-distributed.properties

下載外掛程式並移至 .properties 中指定 plugin.path 即可，這邊假設為 kafka_2.13-3.3.1/plugins。

curl  -p pluginscp mongo-kafka-connect-1.8.0-all.jar plugins

再來啟動 Kafka Connect，預設使用 port 8083

./bin/connect-distributed.sh

可以透過以下指令查看已安裝的 Kafka connector plugins，此時應該要看得到 MongoSourceConnector 及 MongoSinkConnector。

curl

四、新增 Source Connector

Kafka Connect 提供 REST API 管理執行中的 connector 工作，包含新增 connector、查看 connector 設定內容、變更 connector 設定內容、刪除 connector 等。

在新增 connector 時透過 API 傳入的設定為 json 格式，為方便可以將設定存為檔案再由指令呼叫設定檔內容。

以下提供 source connector 範例及常用設定表列說明。

mongo-src-connector.json
{   
"name": "mongo-src-connector",    
"config": {        
"connector.class": "com.mongodb.kafka.connect.MongoSourceConnector",
"connection.uri": "mongodb://admin:password@mymongosrc1:27017,mymongosrc2:27017,mymongosrc3:27017", 
"database": "mydb", 
"collection": "mycoll",        
"topic.prefix": "src",        
"copy.existing": true,       
"key.converter": "org.apache.kafka.connect.json.JsonConverter",        "key.converter.schemas.enable": "false",       
"value.converter": "org.apache.kafka.connect.json.JsonConverter",        "value.converter.schemas.enable": "false",        
"tasks.max": "1"    }
}

設定參數	說明
name	用以辨別此 Connector 工作的名稱
connector.class	Kafka connector plugin 的 class 名稱
connection.uri	MongoDB 集群連線字串密碼若包含特殊符號如@，需要轉換為 URL Encoding
database	指定監聽異動的 database 名稱未指定 database 及 collection 時監聽範圍為整個集群
collection	指定監聽異動的 collection 名稱，此參數只支援單一 collection未指定 collection 時監聽範圍為整個指定 database
topic.prefix	指定目標 kafka topic 的前綴字串
topic.suffix	指定目標 kafka topic 的後綴字串
copy.existing	設定是否複製 collection 內既有資料，預設為 false
task.max	此 Connector 可以使用的 Worker Task 上限，預設為 1

我們需要先建立 Kafka Topic，才能讓 Connector 透過 Broker 寫入

./bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic src.mydb.mycoll --replication-factor 3 --partition 1

｜replication-factor: 一共會有幾份相同的 topic，建議 production 設定為 3

確認剛才建立的 topic 資訊

./bin/kafka-topics.sh --bootstrap-server localhost:9092 --describe --topic src.mydb.mycoll

之後便可透過以下指令啟動 Source Connector

curl -X POST  -H "Accept:application/json" -H "Content-Type:application/json" -d @mongo-src-connector.json

五、觀察 Kafka Topic 內容

我們先來確認 Source Connector 有正常啟動（無錯誤訊息且狀態為 RUNNING），以及表格資料是否如預期寫入 Kafka topic。

六、檢查 Connector 狀態

curl

七、列出所有 Kafka topics

./bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

八、查看 Kafka topic 內資料

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic src.mydb.mycoll

九、新增 Sink Connector

mongo-sink-connector.json
{   
"name": "mongo-sink-connector",   
"config": {        
"connector.class": "com.mongodb.kafka.connect.MongoSinkConnector",        
"connection.uri": "mongodb://admin:password@mymongosink1:27017,mymongosink2:27017,mymongosink3:27017",
"topics": "src.mydb.mycoll",        
"database": "sinkdb",        
"collection": "sinkcoll",        
"key.converter": "org.apache.kafka.connect.json.JsonConverter",        "key.converter.schemas.enable": "false",        
"value.converter": "org.apache.kafka.connect.json.JsonConverter",        "value.converter.schemas.enable": "false",        
"change.data.capture.handler": "com.mongodb.kafka.connect.sink.cdc.mongodb.ChangeStreamHandler",        
"tasks.max": "1"    }
}

接著便可透過以下指令啟動 Sink Connector

curl -X POST  -H "Accept:application/json" -H "Content-Type:application/json" -d @mongo-sink-connector.json

十、觀察結果

在確認 Sink Connector 正常啟動後，同步工作至此已經架設完成。您可以參考以下指令，在先前建立的 connector 工作持續運作的狀態下，連線到來源端 MongoDB 進行操作。透過另一個連線，在目的端 MongoDB 表格結果是否與來源端一致。

- 連線至 MongoDB

mongosh mongodb://admin:password@mymongosink1:27017,mymongosink2:27017,mymongosink3:27017

- 自來源端表格新增一筆資料

use mydb
db.mycoll.insertOne({ name: "TestField" });

Output:

{ acknowledged: true,
  insertedId: ObjectId("63686963a37df5cdbf7fec9d") }

在目標資料庫的表格 sinkdb.sinkcoll 會看到新增了一筆連 ObjectId 都與來源端一模一樣的資料

- 自來源端表格更新一筆資料

db.mycoll.updateOne({name: "TestField"}, {$set:{newField: true}});

Output:

{ acknowledged: true,
  insertedId: null,
  matchedCount: 1,
  modifiedCount: 1,
  upsertedCount: 0 }

在目標資料庫的表格會看到這筆資料多了一個欄位 newField

- 自來源端表格刪除一筆資料

db.mycoll.deleteOne({name: "TestField", newField: true})

Output:

{ acknowledged: true, deletedCount: 1 }

在目標資料庫的表格會看到這筆資料也跟著被刪除

收尾

如果要結束測試，一樣可以透過 curl 呼叫 API 來停止 connector 工作。

curl -X DELETE 
curl -X DELETE

結語

本文中我們示範了如何自行架設 Kafka 環境，以及簡單驗證資料庫間利用 CDC 機制同步資料的功能。透過開源的 CDC 同步方案，我們可以更有效地進行巨量資料庫間資料的複製與轉移，並確保資料的一致性。

參考資料：MongoDB Kafka Connector 官方文件

有興趣歡迎聯繫我們，或加入歐立威 LINE 好友，了解更多產品資訊！

MongoDB CRUD基本觀念

Omni — Mon, 05 Oct 2020 02:33:38 +0000

MongoDB Create

新增或插入操作將新文檔添加到collection之中。如果collection當前不存在，則會插入操作將新增collection。

db.collection.insert()

單筆文檔：將單個文檔插入collection中

新增一個新文檔

nInserted: 新增多少筆文檔

WriteResult({ "nInserted" : 1 })

多筆文檔：將多筆文檔插入collection中

新增多個文檔

回傳一個BulkWriteResult物件

db.collection.insertOne()

將單個文檔插入collection中

新增一個新文檔

回傳一個BulkWriteResult物件

db.collection.insertMany()

將多個文檔插入collection中

新增多筆文檔

回傳一個BulkWriteResult物件

MongoDB Read

從collection中讀取操作文檔，在collection中查詢文檔

空查詢過濾器文檔({})選擇collection中的所有文檔。

db.collection.find({})

將查詢過濾器文檔省略到db.collection.find()等同於指定空查詢文檔。

db.collection.find()

查詢單一個符合條件的第一個文檔，並且會以pretty()的方法呈現。

db.collection.findOne()

查詢方式

MongoDB提供db.collection.find()方法來從collection中讀取文檔。該方法將游標返回到匹配的文檔。

db.collection.find(, )

：查詢過濾器，用於指定要返回的文檔。

：一個查詢投影，用於指定要返回的匹配文檔中的哪個字段。

指定查詢過濾條件

指定相等條件

{ : , ... }

範例：

db.employees.find( { name : "SMITH" } )

使用查詢運算符指定條件

{ : { : , ... }

範例：

db.emplyees.find( { name : { $in : [ "SMITH" , "ALLEN" ] } } )

指定AND條件

db.employees.find( { empno : 7499 , name : "ALLEN" } )

指定OR條件

db.employees.find( { $or : [ { deptno : 30 } , { sal : { $lt : 1000 } } ] } )

指定AND以及OR條件

db.employees.find( { deptno : 30 , $or : [ { deptno : 30 } , { sal : { $lt : 1000 } } ] } )

投影文檔

投影文檔限制所有匹配文檔的返回字段，他可以指定字段的包含/排除。

{ field1 : , field2 : ... }

可以是以下任何一種：

1或true為包括該字段

0或false為排除該字段

查詢Null或缺少字段

平等過濾器

db.emplyees.find( { name : "SMITH" , sex : null } )

類型檢查(BSON Type)

db.emplyees.find( { name : "SMITH" , sex : { $type : 10 } } )

存在檢查

db.emplyees.find( { sex : { $exists : false } } )

在mongo shell中迭代一個游標

手動迭代游標

與forEach()相同

var mCur = db.emplyees.find( { deptno : 30 } )mCur.forEach( printjson );

迭代索引：toArray()迭代方法並以陣列形式傳回文檔

var mCUR = db.employees.find( { deptno : 30 } );
var docAry = mCur.toArray();
var mDoc = docAry[3];
printjson( mDoc )

MongoDB Update

更新操作可修改collection中的現有文檔
- db.collection.update()
- db.collection.updateOne()
- db.collection.updateMany()
- db.collection.replaceOne()

要更新文檔中的字段，MongoDB提供更新運算符，例如$set來修改值

如果字段不存在，某些更新運算符(如$set)將新增該字段。

db.collection.update()

更新單個紀錄(比如：db.collection.updateOne())

更新多個紀錄(比如：db.collection.updateMany())

替換文檔

db.collection.replaceOne()

將與過濾器名稱匹配的第一個文檔替換為與新文檔相同的”SMITH”：

db.collection.update()

MongoDB Delete

刪除操作從collection中刪除文檔
- db.collection.remove()
- db.collection.deleteOne()
- db.collection.deleteMany()

刪除所有文檔

要從collection中刪除所有文檔，請將空過濾器文檔{}傳遞給db.collection.remove()或db.collection.deleteMany()。

但如果要從collection中刪除所有文檔，使用db.collection.drop()方法刪除整個collection(包括索引)會更有效。

僅刪除一個與條件匹配的文檔

刪除指定過濾器匹配的單個文檔，即使匹配到多個文檔

刪除所有指定過濾器匹配的文檔

批量寫入操作

MongoDB提供用戶能多批量執行寫入操作。

批量寫入操作可以是有序列的，也可以是無序列的。
- 有序列的：

串列操作：如果發生錯誤，將回傳而不處理任何剩餘的操作。

{ordered:true}

無序列的：

並行操作：但行為無法保證，如果發生錯誤，將繼續處理剩餘程序。

{ordered:false}

SQL轉至MongoDB對映表—新增與更改

SQL轉至MongoDB對映表—查詢

SQL轉至MongoDB對映表—更新與刪除

MongoDB ㄧ Replica Set 建立方法

Omni — Thu, 01 Feb 2018 08:49:05 +0000

高可用的必要性

NoSQL 大都有一項蠻特別的特性，被稱為「高可用 High Availability 」。

何謂高可用？簡單來說，就是一種讓服務（幾乎）永遠不會下線的能力。

文字討論是很簡單，但讓一個服務永不下線，背後存在許多問題。舉例來説：

伺服器會壞，壞了怎麼辦？
機房意外停電怎麼辦？
硬碟用久會損毀。就算有備份，也需要復原時間。
機器會需要定時更新換代，以便追上新一代電腦的規格。比方說硬碟空間可能不足，需要換成更大顆的。
軟體需要升級。

總之，不管原因為何，我們幾乎總是會碰到停機，這怎樣也避不開。

高可用的解方

為了一勞永逸地解決所有問題，各家提出的終極方案，大都集中在線上備份之上。

首先搞來多台機器，讓他們插電上線
所有資料都複製成數份副本，分散在不同的機器裡，並且隨時保持備份被更新到最新狀態
這些機器全都同時開機，掛在線上
如果一台機器掛了，就向其他機器討要備份

之所以說是「終極方案」的原因，除了它確實能解決問題之外，還因為它很貴。

顯然，為了滿足隨時最少有一份副本可用的高可用性，用戶必須要準備至少 2n 台甚至更多的機器，而且還得讓他們隨時上線燒電，佔用數以倍計的硬碟空間。

MongoDB 的 Replica Set

MongoDB 是 NoSQL 的一種，它也有提供這種高可用性架構。這在 MongoDB 的術語中被稱為 “Replica Set”。

老實說在更早期，MongoDB 還有一種叫作 Master Slave 的架構，不過那種作法已經過時。讀文件時讀到可以不用理它。
以下講講如何在 Linux 機器上起 Replica Set。

因為是測試用途，所以以下直接起在單台機器上。實際上 Replica Set 的多個服務，當然應該要起在不同的系統上面。

起服務 x3

mkdir rs01 -p
mongod –replSet “rs0” –dbpath “rs01” –port 27021 –smallfiles –fork –logpath rs01/log.txt
mkdir rs02 -p
mongod –replSet “rs0” –dbpath “rs02” –port 27022 –smallfiles –fork –logpath rs01/log.txt
mkdir rs03 -p
mongod –replSet “rs0” –dbpath “rs03” –port 27023 –smallfiles –fork –logpath rs01/log.txt

注意關鍵參數是 –replSet，想要納入同一個 Replica Set 的服務，這個參數必須保持一致。

其他參數與 Replica Set 無關，隨意就好。

登入
接下來隨意登入一台服務。
mongo localhost:27021

在 Mongo Shell 中進行初始化
然後在 Mongo Shell 中輸入以下指令，進行 Replica Set 的初始化：
rs.initiate()

其實這一步可以直接輸入參數，一次到位，不過參數長長一大串怎樣都背不起來，所以不輸入讓它自行產生，之後再修改。小規模佈署時這樣比較方便。

▲ 初始化前沒有任何訊息。

▲ 初始化後的狀況，目前有一個節點。當然那就是自己。

注意上圖中 name 的地方，這也是 Replica Set 彼此的連線網路位置。

然後使用 rs.add() 加入其他機器。
rs.add(“mongolab:27022”)
rs.add(“mongolab:27023”)

如此就佈署完成了。相當簡單。有興趣的話可以故意 kill 掉一個服務，看看系統的處理狀況。

特註：

上方指令中，我的機器名字叫 mongolab，您得改成您的機器名字。

用 localhost 或 127.0.0.1 是行不通的。因為 Replica Set 只有分散佈署在多台不同的機器上時才有實際意義，所以他會判斷，一名用戶如果寫了 localhost 或 127.0.0.1 就是搞錯了狀況，應該要禁止執行。

除此之外，所有機器當然也都要能存取彼此。網路要通 Replica Set 才能順利建立。如果是指定 hostname 而非 ip 的狀況，每台機器也得能解譯全部的 hostnames 才行。

▲ 企圖用 localhost 闖關是行不通的。

想了解更多資訊，歡迎聯絡我們，或是加入歐立威 Line 好友！

MongoDB 技術專欄 彙整 - 歐立威科技

運用 Kafka 實現 CDC 資料同步 – 以 MongoDB 為例

前言

你需要準備

環境架構

MongoDB 的 CDC 機制 (Change Streams)

Kafka 服務相關元件和名詞介紹

操作步驟

一、下載 Apache Kafka

二、啟動 Kafka 服務

三、啟動 Kafka Connect 服務

四、新增 Source Connector

五、觀察 Kafka Topic 內容

六、檢查 Connector 狀態

七、列出所有 Kafka topics

八、查看 Kafka topic 內資料

九、新增 Sink Connector

十、觀察結果

結語

MongoDB CRUD基本觀念

MongoDB Create

db.collection.insert()

單筆文檔：將單個文檔插入collection中

多筆文檔：將多筆文檔插入collection中

db.collection.insertOne()

將單個文檔插入collection中

db.collection.insertMany()

將多個文檔插入collection中

MongoDB Read

查詢Null或缺少字段

在mongo shell中迭代一個游標

MongoDB Update

更新操作可修改collection中的現有文檔

要更新文檔中的字段，MongoDB提供更新運算符，例如$set來修改值

替換文檔

MongoDB Delete

刪除操作從collection中刪除文檔

刪除所有文檔

僅刪除一個與條件匹配的文檔

批量寫入操作

MongoDB提供用戶能多批量執行寫入操作。

批量寫入操作可以是有序列的，也可以是無序列的。

SQL轉至MongoDB對映表—新增與更改

SQL轉至MongoDB對映表—查詢

SQL轉至MongoDB對映表—更新與刪除

MongoDB ㄧ Replica Set 建立方法

高可用的必要性

高可用的解方

MongoDB 的 Replica Set

起服務 x3

MongoDB 技術專欄彙整 - 歐立威科技