向量資料庫是一個快速發展的領域，正在改變資料管理和搜索的方式。與傳統資料庫不同，向量資料庫 將資料以向量形式存儲，使搜索更加精確，並且能夠利用機器學習進行檢索。

隨著資料量增長，向量資料庫在資料管理中的重要性日益凸顯，因為它能有效處理非結構化資料並提供相關結果。

然而，選擇合適的向量資料庫對應用程式而言至關重要，但這並不容易。

推薦閱讀： 什麼是向量資料庫？向量資料庫運作、應用、趨勢懶人包！

向量資料庫的不同之處

• 傳統資料庫

例如關聯式資料庫，資料以行列表格存儲，每行是一筆紀錄，每列代表欄位。對結構化資料效果良好，但處理非結構化資料時有限。

• 向量資料庫

將非結構化資料轉換為向量，利用機器學習表示複雜資訊，使資料處理與相似性搜尋更高效。

兩者之間差異如下：

向量資料庫的類型

向量資料庫有多種不同的類型，每一種都有其獨特的優勢、劣勢和使用案例。

基於圖形的向量資料庫

基於圖形的向量資料庫專門處理複雜的互聯數據，將資料表示為節點（實體）與邊（實體間關係），讓關聯分析更直觀、效率更高。

這類資料庫在分析數據點間的連結時表現優異，非常適合社交網絡分析、知識圖譜等重視關係的應用。

然而，對於簡單的相似性搜尋，它可能還不如專門的向量資料庫直觀，因為設計重點在於處理複雜關聯。

整合型 vs 專用向量資料庫

向量資料庫主要有兩種形式：

一、整合型

• 將向量資料功能與傳統資料庫結合於同一平台
• 可同時存儲、管理與查詢結構化業務資料與非結構化向量資料

二、專用解決方案

• 專注於向量資料的存儲、管理與相似性搜尋

推薦閱讀： 向量資料庫 vs. 圖形資料庫：不同資料庫之間的差異

向量資料庫的關鍵特徵

在選擇向量資料庫時，應評估它的功能，以及是否符合你的使用案例和需求。這些特徵會影響資料庫的性能、可用性和系統相容性：

• 向量維度：每個向量包含的數值元素數量，對於搜尋準確性與效率有直接影響
• 演算法：計算向量相似性的數學方法，用於衡量向量間的距離或關聯性
• 原生整合：能與現有資料庫和系統無縫結合，支援向量搜尋與傳統 SQL 操作
• 存儲與檢索：決定應用程式速度與用戶體驗
• 性能：影響搜尋、更新、刪除操作速度，高性能資料庫能處理大型數據集並提供快速結果
• 搜尋、排序與篩選：提供強大功能，快速找到相關資訊，常用於提示大型語言模型（LLM）
• 管理與維護：包含資料新增、更新，以及資料庫的安全性與可靠性管理

選擇向量資料庫時需考慮的因素

在選擇向量資料庫時，建議評估以下關鍵因素，確保符合特定需求和專案要求：

• 搜尋準確性：數據庫應提供準確的搜尋結果
• 文檔：需要有全面的文檔，以便在設置實施時有必要的指導
• 語言客戶端：應尋找直觀且高效的數據庫，以簡化整合過程
• 可擴展性：考慮資料庫處理增長的能力
• 性能：評估資料庫的速度和效率，包括數據存儲、檢索和搜尋操作的速度
• 數據類型支持：確保資料庫支持你將處理的數據類型
• 系統整合：考慮資料庫與現有系統的整合程度，無縫整合可以節省時間和資源
• 專案要求：考慮數據集的大小、數據的複雜性以及需要執行的具體任務等因素

使用 Elastic 向量資料庫

Elastic 創建了一個靈活的向量資料庫解決方案，開箱即用。對機器學習模型的支持提供了先進的分析和預測能力，能夠發掘有價值的洞察並做出數據驅動的決策。

最重要的特徵，是 層次可導航小世界（HNSW）存儲。基於圖形的演算法，使 Elastic 能夠處理大型數據集並提供快速、準確的向量搜尋結果。再加上強大的搜尋能力，包括篩選和排序，Elastic 讓你能夠輕鬆找到數據中的相關信息。

Elastic 還優先考慮安全性，提供先進的功能，如基於角色的訪問控制以及文檔和字段級別的安全性。這些功能確保你的數據保持安全，只有授權用戶才能訪問敏感信息。

總的來說，選擇 ELK 作為向量資料庫能夠提升數據處理效率，提供強大的安全性和靈活性，幫助你快速找到所需資訊，並支持未來擴展需求！

本文翻譯自： https://www.elastic.co/blog/how-to-choose-a-vector-database

想了解更多資訊，歡迎聯絡我們，或是加入歐立威 Line 好友！

這種追求先進分析的動力，推動了資料建模和儲存解決方案的創新，超越了傳統的關係型資料庫。

資料型態與分析需求不斷演進，向量資料庫與圖形資料庫成為近年備受關注的兩種資料庫技術。它們在資料建模方式與應用場景上有明顯差異，也適用於不同的問題類型。

什麽是向量資料庫？

向量資料庫是一種將資料轉換為高維向量，並以「相似性搜尋」為核心的資料庫，適合處理文字、圖像與非結構化資料。

與行列不同，向量資料庫將資料組織為巨大多維空間中的點。每個點代表一個資料項，位置反映了與其他資料項的特性相對關係。

這些向量捕捉了它們所代表資料的本質，這就是它們如何被編碼和組織在多維空間中。而在多維空間中，兩個點越接近，其底層資料就越相似。

向量資料以相似性為基礎，您可以快速找到與特定向量最相似的資料點。向量資料庫可以在以下場景發揮作用：

• 圖像和文檔檢索：根據內容，而不僅僅是關鍵字找到相似的圖像。
• 個性化推薦：推薦與用戶之前互動過的產品或內容相似的項目。
• 異常檢測：識別偏離常態的異常資料點，可能表示欺詐或系統錯誤。
• 機器學習：高效處理和分析高維度資料，用於文本分析、圖像分類和自然語言處理等任務。

推薦閱讀： 什麼是向量資料庫？向量資料庫運作、應用、趨勢懶人包！

什麼是圖形資料庫?

圖形資料庫是以圖結構存儲資料的資料庫，實體以節點表示，實體間的關係以邊表示，適合處理複雜的網路關聯資料。

它的資料組織方式完全不同於關係型或向量資料庫。就像一個思維導圖，每個節點是一個代表人、地方或事物的圓圈，連接它們的線（邊）則表示它們之間的連接。

這種結構的一個優點是能更自然地表示複雜的關係。與其他類型的資料庫相比，這使得解釋連接關係更加容易。

「圖形資料庫」的無模式結構意味著您可以在資料增長時輕鬆添加新的節點和邊，使其既靈活又可擴展。 圖形資料庫適合以下應用：

• 即時分析：使用圖形資料庫分析串流數據、預測結果，並即時優化動態系統。
• 主數據管理：建立實體統一視圖，解決模糊性問題，在單一互聯圖中追蹤實體的演變。
• 網絡發現：通過分析網絡中的關係，揭示隱藏的連結、識別異常，並預測連鎖故障。
• 知識圖譜構建：通過互聯的實體和概念構建智能知識庫，回答複雜問題，為智能應用提供支持。

比較向量資料庫與圖形資料庫

現在您應該已經了解向量資料庫與圖形資料庫各自的特性及資料結構。

但同樣重要的是要理解「向量資料庫」與「圖形資料庫」之間的細微差異，最簡單的方法是進行並排比較：

使用案例

為了更好理解向量數據庫和圖數據庫之間的差異，可以比較它們在同一領域中的應用方式。

這不僅能展示對比，還能說明它們如何協同使用以實現卓越的結果：

詐欺檢測

• 向量數據庫：通過分析交易模式和用戶信息來識別欺詐交易。基於學習的相似性模型，檢測消費習慣、購買地點或設備指紋中的異常情況。
• 圖數據庫：揭示可疑的個人或交易連結網絡。通過分析潛在欺詐行為中涉及的實體之間的關係來識別欺詐活動。

科學研究

• 向量數據庫：分析蛋白質序列、基因表達或化學化合物等複雜數據結構。基於多維特徵比較多樣化數據集，從而發現新的科學成果。
• 圖數據庫：建模生物通路或分子交互。探索實體之間的複雜關係並可視化複雜系統，從而更深入地理解生物過程。

電子商務

• 向量數據庫：分析產品屬性，如圖片、文字描述和技術規格。基於內容相似性推薦相似產品，從而提供更相關且吸引人的建議。
• 圖數據庫：捕捉用戶與產品的交互，如購買記錄、瀏覽歷史和願望清單。基於用戶與其他具有相似品味的用戶之間的相似性推薦產品，打造更個性化的購物體驗。

媒體與娛樂

• 向量數據庫：分析內容特徵，如音樂類型、文章主題或電影主題。基於內在內容相似性推薦相似的歌曲、電影或文章，以滿足個人偏好。
• 圖數據庫：探索用戶與內容之間的關係，如觀看歷史、閱讀清單或社交媒體分享。基於具有相似興趣的用戶之間的連結推薦內容，促進參與和發現。

如何選擇數據庫？

為了簡化這一過程，以下是一個框架，可幫助您做出最佳決策以實現目標：

步驟 1：了解數據

首先，第一步需要先分析數據複雜性。您的數據主要是結構化的還是非結構化的？它涉及複雜的關係還是獨立的實體？

您還需要考慮數據量以及預期的增長速度。接著，確定定義數據點的具體特徵或屬性——這些特徵是數值型還是分類型。

步驟 2：確定主要使用案例

簡單來說，您希望通過數據分析獲得哪些洞察？您是想基於內容找到相似的數據點，還是探索實體之間的複雜關聯？您將經常執行哪些類型的查詢？

步驟 3：性能與可擴展性需求

第三步是考慮速度和可擴展性對於實現目標的重要性。即時響應對您的應用程序有多關鍵？您的數據集有多大，預期的查詢有多複雜？

此外，還需要考慮您的預算限制和資源約束。

步驟 4：評估每種技術的優勢

每種類型的數據庫都有其自身的優勢和劣勢。

• 向量數據庫：適合相似性搜索，對高維數據處理高效，並能很好地處理大型數據集。
• 圖數據庫：擅長導航關係，對於複雜的網絡分析非常強大，並具有高度靈活的架構。

釋放數據的全部潛力

在大數據領域中航行需要強大的工具，而向量數據庫和圖數據庫作為創新者在這一信息領域中脫穎而出。

然而，選擇適合需求的模型可能是一項艱鉅的任務。仔細評估上述因素，並了解每種技術的獨特優勢。

最終，您將獲得一份影響決策的關鍵因素清單，幫助您選擇合適的數據庫模型，從而釋放數據的全部潛力。

接下來該怎麼做

當您準備好時，以下是我們可以幫助您為業務帶來更佳搜索體驗的四種方式：

1. 開始免費試用，了解 Elastic 如何助力您的業務。
2. 瀏覽我們的解決方案，了解 Elasticsearch 平台的運作方式以及我們的解決方案如何滿足您的需求。
3. 學習向量數據庫如何驅動 AI 搜索。
4. 將本文通過電子郵件、LinkedIn、Twitter 或 Facebook 分享給您認為會感興趣的人。

本文翻譯自：Vector database vs. graph database: Understanding the differences

想要了解更多「向量資料庫」資訊，歡迎聯絡我們！

什麼是向量資料庫？

向量資料庫（Vector Database，簡稱 Vector DB）是一種用向量來存儲資訊的資料庫。

「向量」其實就是數據對象的數字表示，也叫「向量嵌入（Vector Embedding）」。

它利用向量嵌入的強大功能，對大量的「 非結構化 」和「 半結構化數據 」，例如：圖片、文字或感測器數據，進行索引和搜尋。向量資料庫是專門為了管理這些向量嵌入而設計的，所以能為管理這類數據提供完整的解決方案。

向量資料庫不同於「 向量搜尋庫 」或「 向量索引 」：它是一種數據管理的解決方案，支持元數據的儲存和篩選，還可以擴展，允許動態更改數據，執行備份，並提供各種安全功能。

另外，向量資料庫透過高維向量來組織數據。高維向量可能包含數百個維度，每個維度對應到它所代表的數據對象的特定特徵或屬性。

什麼是向量嵌入？

向量嵌入 就是主題、單字、圖片或其他任何數據的數字表示。向量嵌入，也叫「嵌入」，是由 大型語言模型 和其他 AI 模型 生成的。

「向量資料庫」或「向量搜尋引擎」可以利用每個向量嵌入之間的距離來判斷它們的相似度。這個距離可以代表數據對象的幾個維度，讓 機器學習 和 AI 能夠理解模式、關係和底層結構。

向量資料庫如何運作？

向量資料庫的運作方式是使用算法對向量嵌入進行索引和查詢。這些算法透過哈希（Hash）、量化（Quantization）或基於圖的搜尋，以實現 近似最近鄰（ANN）搜尋。

為了檢索資訊，ANN 搜尋會找到查詢的最近鄰向量。與 kNN 搜尋（已知最近鄰，或真正的 k 最近鄰算法）相比，近似最近鄰搜尋的計算量較小，但準確性也較低。這方法特別適合用來高效且大規模地處理高維向量的大型數據集。

向量資料庫的運作流程類似於下圖所示：

索引

向量資料庫透過使用哈希、量化或基於圖的技術，將向量映射到特定的數據結構來為向量建立索引，這樣可以實現更快的搜尋速度。

哈希

哈希算法（例如：位置敏感哈希 (LSH) 算法）最適合近似最近鄰搜尋，因為可以快速得到結果並生成近似結果。LSH 使用哈希表（想像一下數獨謎題）來映射最近鄰。

查詢會被散列到一個表中，然後與同一表中的一組向量進行比較，以確定相似度。

量化

量化技術（例如：乘積量化 (PQ)）會將向量分解成較小的部分，並用代碼表示這些部分，然後將這些部分重新組合在一起。

結果是一個向量及其分量的代碼表示，這些代碼的集合稱為碼本。

在查詢時，使用量化的向量資料庫會將查詢分解為代碼，然後將其與碼本進行匹配，以找到最相似的代碼來生成結果。

基於圖的技術

圖算法（例如：分層可導航小世界（HNSW）算法）使用節點來表示向量。它會對節點進行聚類，並在相似節點之間繪製線或邊，從而創建分層圖。

例如，Elasticsearch 便是透過 HNSW 算法來實現極高性能的向量檢索，確保在大規模數據下仍能保持毫秒級的響應速度。

在啟動查詢後，這種算法會在圖的層次結構中導航，以找到包含與查詢向量最相似的向量的節點。

向量資料庫還會為數據對象的元數據建立索引，因此，向量資料庫將包含兩個索引：「向量索引」和「元數據索引」。

查詢

當向量資料庫接收到查詢時，它會將索引向量與查詢向量進行比較，以確定最近鄰向量。為了建立最近鄰，向量資料庫依賴於稱為相似度度量的數學方法。

目前有不同類型的 相似度度量 方法：

向量資料庫的優勢

向量資料庫之所以重要，是因為包含 向量嵌入，並且可以實現一系列功能，例如：索引、距離指標和 相似度搜尋。

換句話說，向量資料庫是專門為管理 非結構化數據 和 半結構化數據 而構建的。

因此，向量資料庫是 機器學習 和 AI 數字領域的重要工具。

向量資料庫的核心元素

向量資料庫可能具有以下核心組成部分：

性能和容錯

• 分片和複製的過程可確保向量資料庫具有「高性能」和「容錯性」。
• 分片 涉及在多個節點上對數據進行分區，而複製則涉及在不同節點上創建多個數據副本。這正是 Elasticsearch 的核心強項，透過成熟的分散式架構（Sharding & Replication），它能輕鬆應對海量向量數據的存儲需求，並保證系統的高可用性。
• 如果某個節點出現故障，這樣可以啟用容錯功能並確保性能持續穩定。

監測能力

• 為了確保性能和容錯性，向量資料庫需要監測資源使用情況、查詢性能和整體系統運行狀況。

存取控制功能

• 向量資料庫同樣需要 數據安全管理。
• 存取控制規定可確保 合規性、問責制和審計資料庫使用情況的能力。
• 這意味著數據受到保護：只有擁有權限的人才能訪問，並 保留用戶活動記錄。

可擴展性和可調整性

• 良好的存取控制功能會影響向量資料庫的「可擴展性」與「可調整性」。
• 隨著數據存儲量的增加，橫向擴展的能力變得尤為重要。
• 不同的「插入率」和「查詢率」以及底層硬體的差異都會影響應用程序的需求。

多用戶和數據隔離

• 在具備「可擴展性」和「存取控制功能」的同時，向量資料庫還應能夠為多用戶或多租戶提供支持。
• 此外，向量資料庫還應能實現數據隔離，這樣的情況下，除非另有要求，否則任何用戶的活動（如插入、刪除或查詢）對其他用戶而言都是私密的。

備份

• 向量資料庫會定期創建數據備份。
• 在系統發生故障時，備份是向量資料庫的一個關鍵組成部分。
• 在數據丟失或數據損壞的情況下，備份可以幫助將資料庫恢復到以前的狀態，從而最大限度地減少中斷時間。

 API 和 SDK

• 向量資料庫使用 API 來實現用戶友好的介面，API 是一種應用程序編程接口，允許應用程序通過請求和響應相互「對話」。
• API 層簡化了向量搜尋體驗，SDK（軟體開發工具包）通常會封裝多個 API，是資料庫用於通信和管理的編程語言。
• SDK 有助於開發人員方便地使用向量資料庫，因為他們在開發特定用例（語義搜尋、推薦系統等）時不必擔心底層結構。
  

「向量資料庫」和「傳統資料庫」的區別

傳統資料庫會把資訊存成表格，給每個數據點分配一個值來建立索引。當使用者進行查詢時，傳統資料庫會返回完全匹配的結果。

而 向量資料庫 則是以嵌入的形式來存儲數據，專門支持 向量搜尋。它根據相似度來返回查詢結果，而不要求完全匹配。向量資料庫在某些方面比傳統資料庫更強大，因為它的設計就是為了處理向量嵌入。

面對 AI、機器學習與相似性搜尋，向量資料庫是比傳統資料庫更好的選擇。它專為高維度搜尋而生，不僅支援客製化索引，還兼具高效能與高擴充性。

不過，現在更熱門的趨勢，是走向像 Elasticsearch 這種「搜尋 AI 平台」。它能把傳統的關鍵字過濾與現代的向量相似度搜尋結合在一起，這種「混合搜尋」模式，往往能交出比單一向量資料庫更精準的答案。

向量資料庫的應用

向量資料庫可以用在許多地方，包括 AI、機器學習 (ML)、自然語言處理 （NLP） 和圖像識別等應用。

AI/ML 應用：向量資料庫能提升 AI 在語義信息檢索和長期記憶方面的能力。

NLP 應用：向量相似度搜尋 是向量資料庫的一大亮點，對於自然語言處理來說非常重要，它能處理文本嵌入，讓計算機能夠「理解」人類的語言。

圖像識別和檢索：向量資料庫將圖像轉換為圖像嵌入，透過相似度搜尋，可以找到相似的圖像或識別匹配的圖像。

此外，向量資料庫還可以用於異常檢測和人臉檢測等應用。

向量資料庫的未來趨勢

向量資料庫的未來與人工智慧和機器學習的發展息息相關，還有研究在用深度學習生成更強大的嵌入來處理結構化和非結構化數據。

隨著創建更佳嵌入的能力提升，向量資料庫也會需要新的技術和算法來更高效地處理和管理這些嵌入。

另外，還有一些研究致力於開發混合資料庫，這些資料庫旨在結合傳統關係資料庫和向量資料庫的功能，以滿足對高效和可擴展資料庫日益增長的需求。

推薦閲讀：從零開始：挑選向量資料庫的完整指南

適用於 Elasticsearch 的向量資料庫

Elasticsearch 包含一個用於 向量搜尋 的 向量資料庫。

透過 Elastic，開發人員可以使用 Elasticsearch Relevance Engine（ESRE） 來建立自己的向量搜尋引擎。

使用 Elasticsearch 工具，你可以構建一個向量搜尋引擎，用於搜尋非結構化和結構化數據，應用篩選和分面搜尋，對文本和向量數據進行混合搜尋，並在本地、雲端或混合環境中運行，同時確保文檔和字段級的安全性。

Elasticsearch 的向量資料庫和 Search AI 平台為開發人員提供了全面的混合搜尋功能，並能接入頂級 LLM 供應商的創新成果。

借助 Elastic 的低代碼 Playground，開發人員可以在幾分鐘內使用自己的私有數據快速測試 LLM。

探索更多向量資料庫資源

想了解更多？加入歐立威 LINE 好友，獲取最新向量資料庫資訊、實用技巧和專家見解，幫助你更有效地運用數據，提升工作效率！

本文翻譯自：What is a vector database?