什麼是 AI 中的 Embedding（向量嵌入）？

Embedding（向量嵌入） 是一種將文本、圖片或其他資料轉換為高維向量表示的方法，使 AI 模型能夠透過數學運算理解不同內容之間的語義關係。它是 Transformer 和大型語言模型處理資訊的重要基礎，也是現代 AI 推理流程的第一步。

電腦無法像人類一樣直接理解自然語言，只能處理數字。如果只是單純替每個單字分配一個編號，模型無法判斷不同詞語之間是否具有相似含義。Embedding 的作用就是將離散資料映射到連續的向量空間，使語義相近的內容在向量空間中的距離更近，語義差異大的內容距離則更遠。

在現代 AI 系統中，AI Token、Transformer、Attention、Context Window、RAG 以及 向量資料庫（Vector Database） 等技術，皆建立在 Embedding 的基礎之上。雖然使用者通常不會直接接觸 Embedding，但幾乎所有大型語言模型都會在模型推理開始前完成這一流程。

什麼是 Embedding，它解決了什麼問題？

當使用者輸入一句自然語言時，模型首先需要將文本轉換為可計算的資料形式。如果僅僅將每個單字轉換成一個數字編號，例如 “Apple=125”、”Orange=389”，這些數字本身並沒有任何語義意義。對模型而言，125 和 389 只是兩個不同的數字，並不能說明它們都是水果，也無法判斷 “Apple” 是否與 “iPhone” 有聯繫。

Embedding 正是為了解決這個問題而設計。它會把每一個 Token 映射為一個由數百甚至數千個數字組成的向量，這些數字共同表現該 Token 的語義特徵。模型不再依賴單一編號，而是利用向量之間的距離來判斷不同詞語之間的關係。

舉例來說，在 Embedding 空間中，”Apple”、”iPhone”、”MacBook” 等詞語通常會分布得較近，因為它們具有強烈的語義關聯；而 “Banana”、”Orange” 則會形成另一組語義相近的向量。這種表示方式讓模型能夠理解概念之間的聯繫，而不僅僅是辨識文字本身。

除了單一詞語之外，Embedding 還能表示片語、句子甚至整篇文件。因此，現代 AI 不僅能理解單字之間的關係，還能分析更複雜的上下文語義，為後續的 Attention 計算提供基礎。

Embedding 是如何運作的？

在整個 Transformer 推理流程中，Embedding 位於 Tokenization 之後、Attention 之前。模型首先需完成文本切分，再將每一個 Token 轉換為對應的向量表示，接著才能進入 Transformer 進行上下文計算。

整個流程通常從使用者輸入 Prompt 開始。模型首先利用 Tokenization 將文本拆分為多個 Token，並為每個 Token 分配唯一的 Token ID。接著，模型會根據這些 Token ID 查詢 Embedding Matrix（嵌入矩陣），取得對應的向量表示。

取得 Embedding 後，模型還會加入 Position Encoding（位置編碼），協助 Transformer 區分不同 Token 的順序。因為 Embedding 本身只表示語義，並不包含位置信息，而自然語言中詞語的順序同樣會影響句子的意義。

完成上述步驟後，這些向量才會輸入 Transformer，由 Self-Attention 建立上下文關係，並逐層更新每個 Token 的語義表示，最終生成模型輸出。

整個流程可簡化表示如下：

User Prompt
      │
      ▼
Tokenization
      │
      ▼
Token IDs
      │
      ▼
Embedding Matrix
      │
      ▼
Dense Vectors
      │
      ▼
Position Encoding
      │
      ▼
Transformer Layers

可以看到，Embedding 並不負責理解上下文，也不決定模型生成什麼內容，它的主要職責是將現實世界的資料轉換為模型可處理的向量表示，為後續計算提供輸入。

Embedding 與 Token 有什麼不同？

Token 和 Embedding 經常一起出現，因此許多初學者會誤以為它們是同一概念。實際上，它們分別屬於大型語言模型推理流程中的兩個不同階段，承擔著完全不同的職責。

Token 是模型處理文本時使用的最小計算單位。模型首先會透過 Tokenization 將使用者輸入拆分為多個 Token，每個 Token 再對應一個唯一的 Token ID。這個過程只是完成文本切分，並沒有包含任何語義資訊。

Embedding 則發生在 Tokenization 之後。模型會根據 Token ID 查詢 Embedding Matrix，將每個 Token 轉換為高維向量，使模型能夠利用數學運算分析不同 Token 之間的語義關係。換句話說，Token 著重於「文本如何拆分」，而 Embedding 著重於「文本如何表示」。

可以將兩者比喻為圖書館目錄。Token ID 就像每本書的編號，而 Embedding 更像是根據書籍內容提取出的標籤與特徵，使模型能判斷哪些書屬於同一主題、哪些內容具有相似意義。因此，Token 是模型讀取文本的入口，而 Embedding 則是模型理解文本的開始。

對比項	Token	Embedding
本質	文本切分後的最小單位	Token 對應的向量表示
資料形式	Token ID	高維數值向量
是否包含語義	否	是
所處階段	Tokenization	Embedding Layer
主要作用	將文本拆分為 Token	表示 Token 的語義特徵
是否進入 Transformer	不能直接進入	可作為模型輸入

雖然兩者職責不同，但缺一不可。沒有 Token，模型無法讀取文本；沒有 Embedding，模型無法理解文本，兩者共同構成 Transformer 推理流程的基礎。

Embedding 與 Attention 有什麼關係？

Embedding 和 Attention 都是 Transformer 的核心組成部分，但負責的任務完全不同。Embedding 負責生成輸入表示，Attention 則負責分析這些表示之間的關係，兩者依固定順序協同運作。

當使用者輸入 Prompt 後，模型首先完成 Tokenization，接著生成對應的 Embedding 向量，並加入 Position Encoding。這些包含語義與位置信息的向量隨後進入 Transformer，由 Self-Attention 開始建立上下文關係。若沒有 Embedding，Attention 就沒有可計算的輸入；若沒有 Attention，Embedding 也無法理解不同 Token 之間的聯繫。

可將 Embedding 視為「替每個 Token 建立身分資訊」，而 Attention 則是在閱讀整句話時不斷比較這些身分資訊，判斷哪些 Token 應該重點關注。Embedding 決定模型「看見什麼」，Attention 決定模型「關注什麼」，兩者共同完成語言理解。

整個計算流程可簡化表示如下：

Input Text
      │
      ▼
Tokenization
      │
      ▼
Embedding
      │
      ▼
Position Encoding
      │
      ▼
Self-Attention
      │
      ▼
Feed Forward Network
      │
      ▼
Output Representation

需要注意的是，Embedding 本身不會學習上下文關係。同一個 Token 在進入 Transformer 前，其 Embedding 通常保持不變；真正讓 Token 含義隨上下文改變的，是後續多層 Self-Attention 的計算過程。因此，Embedding 提供的是初始語義表示，而 Attention 不斷對這些表示進行更新與優化。

Embedding 通常用於哪些 AI 應用場景？

Embedding 最早廣泛應用於自然語言處理，如今已成為幾乎所有現代 AI 系統的基礎能力。只要模型需要理解內容之間的相似性或語義關係，通常都會使用 Embedding。

在大型語言模型中，Embedding 用於將使用者輸入轉換為模型可處理的向量表示。在 RAG（檢索增強生成） 系統中，文件與使用者查詢都會先轉換為向量，再利用向量相似度檢索最相關的知識內容，協助模型生成更準確的回答。

除了文本處理之外，Embedding 也廣泛應用於推薦系統、語義搜尋、圖片檢索、多模態模型以及向量資料庫等場景。例如，電商平台可以利用商品 Embedding 推薦相似商品，搜尋引擎可以利用文本 Embedding 提高搜尋結果的相關性，而多模態模型則能將圖片與文字映射到統一的向量空間，實現跨模態理解。

隨著 AI Agent、知識庫問答與企業級 AI 應用不斷發展，Embedding 已成為連接模型與外部知識的重要橋梁。愈來愈多的 AI 系統並非直接處理原始資料，而是先生成 Embedding，再完成檢索、匹配、分類或推理等後續任務。

AI 應用場景	Embedding 的作用
大型語言模型（LLM）	將 Token 轉換為向量表示
RAG	檢索與查詢最相關的知識
Semantic Search	根據語義進行內容搜尋
Recommendation	匹配使用者興趣與相似內容
Vector Database	儲存與檢索向量資料
Multimodal AI	建立文本、圖片等統一表示

Embedding 有哪些限制？

雖然 Embedding 能有效表現語義資訊，但並不代表模型真正「理解」了文本。Embedding 本質上仍是一種數學表示方法，它透過訓練資料學習不同內容之間的統計關係，而非建立類似人類的知識體系。

Embedding 的品質很大程度取決於模型與訓練資料。如果訓練資料存在偏差，或模型規模較小，生成的向量表示也可能出現語義誤差。因此，不同模型生成的 Embedding 往往不能直接混用，即使輸入相同文本，也可能得到完全不同的向量表示。

另一方面，Embedding 通常屬於靜態輸入表示，而真正的上下文理解是在 Transformer 內部完成。隨著文本進入多層 Self-Attention，模型會不斷更新每個 Token 的表示，使其含義根據上下文改變。因此，Embedding 提供的是模型理解語言的起點，而不是最終結果。

此外，在企業級 AI 應用中，Embedding 模型的選擇同樣非常重要。不同 Embedding 模型在向量維度、訓練目標及適用場景上皆有差異。例如，有些模型較適合語義搜尋，有些模型較適合知識檢索，還有一些則專為多模態任務優化。因此，在建構 RAG 或 向量資料庫 時，通常需根據具體業務場景選擇合適的 Embedding 模型，而不是單純追求向量維度越高越好。

總結

Embedding（向量嵌入）是現代 AI 模型理解文本的重要基礎，它負責將文本、圖片等資料轉換為可進行數學運算的向量表示，使模型能夠學習不同內容之間的語義關係。

在整個 Transformer 推理流程中，Embedding 位於 Tokenization 之後、Self-Attention 之前。模型首先完成文本切分，再利用 Embedding 將 Token 轉換為高維向量，接著透過 Attention 建立上下文關係，並逐步完成語言理解與文本生成。

隨著大型語言模型、RAG、向量資料庫、語義搜尋 和 多模態 AI 的快速發展，Embedding 已成為現代 AI 技術體系的重要組成部分。理解 Embedding，不僅有助於理解 Transformer 如何處理資訊，也能協助開發者進一步掌握現代 AI 系統的整體運作流程。

FAQ

什麼是 Embedding（向量嵌入）？

Embedding（向量嵌入）是一種將文本、圖片或其他資料轉換為高維向量表示的方法，使 AI 模型能夠利用數學運算分析不同內容之間的語義關係。

Embedding 和 Token 有什麼不同？

Token 是文本切分後的最小計算單位，而 Embedding 是 Token 對應的向量表示。Token 負責拆分文本，Embedding 負責表現語義，兩者屬於模型推理流程中的不同階段。

為什麼 Transformer 需要 Embedding？

Transformer 只能處理數值向量，無法直接處理自然語言。因此，所有輸入資料都需先經過 Embedding 轉換為向量表示，才能進入模型進行上下文計算。

Embedding 與 Attention 有什麼關係？

Embedding 為模型提供包含語義資訊的初始向量表示，Self-Attention 則負責分析這些向量之間的關係，並根據上下文不斷更新每個 Token 的表示，兩者共同構成 Transformer 的核心計算流程。

RAG 為什麼需要 Embedding？

RAG 會先將文件與使用者查詢轉換為 Embedding，再利用向量相似度檢索最相關的知識內容，協助大型語言模型生成更準確、更符合上下文的回答。

Embedding 是否會隨上下文改變？

初始 Embedding 通常不會因上下文而改變，它主要表現 Token 的基礎語義。真正能根據上下文動態更新 Token 表示的是 Transformer 內部的 Self-Attention 與後續網路層，因此模型最終使用的是經過多層計算後的上下文表示，而非最初的 Embedding。