什么是 AI 中的 Embedding（向量嵌入）？
Embedding（向量嵌入） 是一种将文本、图片或其他数据转换为高维向量表示的方法，使 AI 模型能够通过数学计算理解不同内容之间的语义关系。它是 Transformer 和大语言模型处理信息的重要基础，也是现代 AI 推理流程中的第一步。
计算机无法像人类一样直接理解自然语言，而是只能处理数字。如果只是简单地为每个单词分配一个编号，模型无法知道不同词语之间是否具有相似含义。Embedding 的作用就是将离散的数据映射到连续的向量空间，使语义相近的内容在向量空间中距离更近，语义差异较大的内容距离更远。
在现代 AI 系统中，AI Token、Transformer、Attention、Context Window、RAG 以及 向量数据库（Vector Database） 等技术，都建立在 Embedding 的基础之上。虽然用户通常不会直接接触 Embedding，但几乎所有大语言模型都会在模型推理开始之前完成这一过程。
什么是 Embedding，它解决了什么问题？
当用户输入一句自然语言时，模型首先需要将文本转换为可以计算的数据形式。如果仅仅把每个单词转换成一个数字编号，例如 “Apple=125”、”Orange=389”，这些数字本身并没有任何语义含义。对于模型而言，125 与 389 只是两个不同的数字，并不能说明它们都是水果，也无法判断 “Apple” 是否与 “iPhone” 存在联系。
Embedding 正是为了解决这一问题而设计。它会把每一个 Token 映射为一个由数百甚至数千个数字组成的向量，这些数字共同表示该 Token 的语义特征。模型不再依赖单一编号，而是利用向量之间的距离来判断不同词语之间的关系。
例如，在 Embedding 空间中，”Apple”、”iPhone”、”MacBook” 等词语通常会分布得比较接近，因为它们具有较强的语义关联；而 “Banana”、”Orange” 则会形成另一组语义相近的向量。这种表示方式使模型能够理解概念之间的联系，而不仅仅是识别文字本身。
除了单个词语之外，Embedding 还能够表示短语、句子甚至整篇文档。因此，现代 AI 不仅能够理解单词之间的关系，还能够分析更复杂的上下文语义，为后续的 Attention 计算提供基础。
Embedding 是如何工作的？
在整个 Transformer 推理流程中，Embedding 位于 Tokenization 之后、Attention 之前。模型首先需要完成文本切分，再将每一个 Token 转换为对应的向量表示，随后才能进入 Transformer 进行上下文计算。
整个过程通常从用户输入 Prompt 开始。模型首先利用 Tokenization 将文本拆分为多个 Token，并为每个 Token 分配唯一的 Token ID。随后，模型会根据这些 Token ID 查询 Embedding Matrix（嵌入矩阵），得到对应的向量表示。
得到 Embedding 后，模型还会加入 Position Encoding（位置编码），帮助 Transformer 区分不同 Token 的顺序。因为 Embedding 本身只表示语义，并不包含位置信息，而自然语言中词语的顺序同样会影响句子的含义。
完成上述步骤之后，这些向量才会输入 Transformer，由 Self-Attention 建立上下文关系，并逐层更新每个 Token 的语义表示，最终生成模型输出。
整个流程可以简化表示为：
User Prompt│▼Tokenization│▼Token IDs│▼Embedding Matrix│▼Dense Vectors│▼Position Encoding│▼Transformer Layers
可以看到，Embedding 并不会负责理解上下文，也不会决定模型生成什么内容，它的主要职责是将现实世界的数据转换为模型能够处理的向量表示，为后续计算提供输入。
Embedding 与 Token 有什么区别？
Token 和 Embedding 经常一起出现，因此很多初学者会误以为它们是同一个概念。实际上，它们分别属于大语言模型推理流程中的两个不同阶段，承担着完全不同的职责。
Token 是模型处理文本时使用的最小计算单位。模型首先会通过 Tokenization 将用户输入拆分为多个 Token，每个 Token 再对应一个唯一的 Token ID。这一过程只是完成文本切分，并没有包含任何语义信息。
Embedding 则发生在 Tokenization 之后。模型会根据 Token ID 查询 Embedding Matrix，将每个 Token 转换为高维向量，使模型能够利用数学运算分析不同 Token 之间的语义关系。也就是说，Token 更关注”文本如何拆分”，而 Embedding 更关注”文本如何表示”。
可以将两者理解为一本图书馆目录。Token ID 就像每本书对应的编号，而 Embedding 更像是根据书籍内容提取出的标签和特征，使模型能够判断哪些书属于同一主题、哪些内容具有相似含义。因此，Token 是模型读取文本的入口，而 Embedding 则是模型理解文本的开始。
| 对比项 | Token | Embedding |
|---|---|---|
| 本质 | 文本切分后的最小单位 | Token 对应的向量表示 |
| 数据形式 | Token ID | 高维数值向量 |
| 是否包含语义 | 否 | 是 |
| 所处阶段 | Tokenization | Embedding Layer |
| 主要作用 | 将文本拆分为 Token | 表示 Token 的语义特征 |
| 是否进入 Transformer | 不能直接进入 | 可以作为模型输入 |
虽然两者职责不同，但它们缺一不可。没有 Token，模型无法读取文本；没有 Embedding，模型无法理解文本，两者共同构成了 Transformer 推理流程的基础。
Embedding 与 Attention 有什么关系？
Embedding 和 Attention 都属于 Transformer 的核心组成部分，但它们负责的任务完全不同。Embedding 负责生成输入表示，而 Attention 负责分析这些表示之间的关系，两者按照固定顺序协同工作。
当用户输入 Prompt 后，模型首先完成 Tokenization，随后生成对应的 Embedding 向量，并加入 Position Encoding。这些包含语义和位置信息的向量随后进入 Transformer，由 Self-Attention 开始建立上下文关系。如果没有 Embedding，Attention 就没有可以计算的输入；如果没有 Attention，Embedding 也无法理解不同 Token 之间的联系。
可以把 Embedding 看作”给每个 Token 建立身份信息”，而 Attention 则是在阅读整句话时不断比较这些身份信息，判断哪些 Token 应该重点关注。Embedding 决定模型”看见什么”，Attention 决定模型”关注什么”，两者共同完成语言理解。
整个计算流程可以简化表示为：
Input Text│▼Tokenization│▼Embedding│▼Position Encoding│▼Self-Attention│▼Feed Forward Network│▼Output Representation
需要注意的是，Embedding 本身不会学习上下文关系。同一个 Token 在进入 Transformer 前，其 Embedding 通常保持不变；真正使 Token 含义随着上下文发生变化的，是后续多层 Self-Attention 的计算过程。因此，Embedding 提供的是初始语义表示，而 Attention 不断对这些表示进行更新和优化。
Embedding 通常用于哪些 AI 场景？
Embedding 最早广泛应用于自然语言处理，如今已经成为几乎所有现代 AI 系统的基础能力。只要模型需要理解内容之间的相似性或语义关系，通常都会使用 Embedding。
在大语言模型中，Embedding 用于将用户输入转换为模型能够处理的向量表示。在 RAG（检索增强生成） 系统中，文档和用户查询都会先转换为向量，再利用向量相似度检索最相关的知识内容，从而帮助模型生成更加准确的回答。
除了文本处理之外，Embedding 还广泛应用于推荐系统、语义搜索、图像检索、多模态模型以及向量数据库等场景。例如，电商平台可以利用商品 Embedding 推荐相似商品，搜索引擎可以利用文本 Embedding 提高搜索结果相关性，而多模态模型则能够将图片和文字映射到统一的向量空间，实现跨模态理解。
随着 AI Agent、知识库问答和企业级 AI 应用不断发展，Embedding 已成为连接模型与外部知识的重要桥梁。越来越多的 AI 系统并不是直接处理原始数据，而是首先生成 Embedding，再完成检索、匹配、分类或推理等后续任务。
| AI 场景 | Embedding 的作用 |
|---|---|
| 大语言模型（LLM） | 将 Token 转换为向量表示 |
| RAG | 检索与查询最相关的知识 |
| Semantic Search | 根据语义进行内容搜索 |
| Recommendation | 匹配用户兴趣与相似内容 |
| Vector Database | 存储和检索向量数据 |
| Multimodal AI | 建立文本、图片等统一表示 |
Embedding 有哪些局限？
虽然 Embedding 能够有效表示语义信息，但它并不意味着模型真正”理解”了文本。Embedding 本质上仍然是一种数学表示方法，它通过训练数据学习不同内容之间的统计关系，而不是建立类似人类的知识体系。
Embedding 的质量很大程度上取决于模型和训练数据。如果训练数据存在偏差，或者模型规模较小，生成的向量表示也可能存在语义误差。因此，不同模型生成的 Embedding 往往不能直接混用，即使输入相同文本，也可能得到完全不同的向量表示。
另一方面，Embedding 通常属于静态输入表示，而真正的上下文理解是在 Transformer 内部完成的。随着文本进入多层 Self-Attention，模型会不断更新每个 Token 的表示，使其含义根据上下文发生变化。因此，Embedding 提供的是模型理解语言的起点，而不是最终结果。
此外，在企业级 AI 应用中，Embedding 模型的选择同样十分重要。不同 Embedding 模型在向量维度、训练目标以及适用场景方面存在差异。例如，有些模型更适合语义搜索，有些模型更适合知识检索，还有一些则专门针对多模态任务进行优化。因此，在构建 RAG 或 向量数据库 时，通常需要根据具体业务场景选择合适的 Embedding 模型，而不是简单追求向量维度越高越好。
总结
Embedding（向量嵌入）是现代 AI 模型理解文本的重要基础，它负责将文本、图片等数据转换为能够进行数学计算的向量表示，使模型能够学习不同内容之间的语义关系。
在整个 Transformer 推理流程中，Embedding 位于 Tokenization 之后、Self-Attention 之前。模型首先完成文本切分，再利用 Embedding 将 Token 转换为高维向量，随后通过 Attention 建立上下文关系，并逐步完成语言理解和文本生成。
随着大语言模型、RAG、向量数据库、语义搜索 和 多模态 AI 的快速发展，Embedding 已成为现代 AI 技术体系的重要组成部分。理解 Embedding，不仅有助于理解 Transformer 如何处理信息，也能够帮助开发者进一步掌握现代 AI 系统的整体工作流程。
FAQ
什么是 Embedding（向量嵌入）？
Embedding（向量嵌入）是一种将文本、图片或其他数据转换为高维向量表示的方法，使 AI 模型能够利用数学计算分析不同内容之间的语义关系。
Embedding 和 Token 有什么区别？
Token 是文本切分后的最小计算单位，而 Embedding 是 Token 对应的向量表示。Token 负责拆分文本，Embedding 负责表示语义，两者属于模型推理流程中的不同阶段。
为什么 Transformer 需要 Embedding？
Transformer 只能处理数值向量，不能直接处理自然语言。因此，所有输入数据都需要先经过 Embedding 转换为向量表示，才能进入模型进行上下文计算。
Embedding 与 Attention 有什么关系？
Embedding 为模型提供包含语义信息的初始向量表示，Self-Attention 则负责分析这些向量之间的关系，并根据上下文不断更新每个 Token 的表示，两者共同构成 Transformer 的核心计算流程。
RAG 为什么需要 Embedding？
RAG 会先将文档和用户查询转换为 Embedding，再利用向量相似度检索最相关的知识内容，从而帮助大语言模型生成更加准确、更加符合上下文的回答。
Embedding 是否会随着上下文发生变化？
初始 Embedding 通常不会因为上下文而改变，它主要表示 Token 的基础语义。真正能够根据上下文动态更新 Token 表示的是 Transformer 内部的 Self-Attention 和后续网络层，因此模型最终使用的是经过多层计算后的上下文表示，而不是最初的 Embedding。
