SO明白 - 2023年1月
type: channel
link: https://www.somingbai.com/2023/01/
description: 技术 · 思考 · 生活
items: Transformer模型中的Embedding和位置向量为什么是相加的关系

Transformer模型中的Embedding和位置向量为什么是相加的关系
type: item
date: 2023-01-09T16:12:00+00:00
description: Transformer位置编码之谜：为什么Embedding和位置向量是相加而非拼接？在Transformer的架构图中，有一个看似简单却深藏玄机的操作：X = Embedding + Positional Encoding不是拼接，不是乘法，而是直接相加。这个设计让无数初学者困惑：两个完全不同来源的向量，语义信息和位置信息，直接加在一起，不会混吗？不会"1+1=1"吗？为什么不是拼接 [Embedding; Position]？今天，我们用几何直觉、注意力机制和信息流的视角，彻底讲清楚这个设计的智慧。一、问题的本质：如何在张量空间中编码位置？首先，理解Transformer的核心困境：自注意力机制是排列不变的（Permutation Invariant）如果你把输入序列的顺序打乱，Attention计算的softmax权重完全不变——它只是计算所有词之间的相似度，根本不知道谁是第一个，谁是最后一个。所以，Transformer必须显式地注入位置信息。但问题是：怎么注入？二、为什么不是拼接？最直观的想法是拼接：X' = [Embedding; Position]这样做的好处：✅ 信息完全分离，互不干扰✅ 直观易懂但问题也很致命：1. 参数爆炸假设Embedding维度是512，拼接后变成1024。下游的所有层都要处理1024维度的向量：Q、K、V投影矩阵：从 512×512 → 1024×1024（4倍参数）Feed-Forward网络：同样膨胀计算量：矩阵乘法复杂度从 O(n²d) → O(n²·2d)对于一个12层的BERT，这意味着数以亿计的额外参数。2. 信息分离可能是坏事这听起来反直觉，但完全分离的信息可能更难融合。想象你学习一个新概念：方案A（拼接）：给你两本书，一本讲"猫"，一本讲"在沙发上"方案B（相加）：给你一本书，内容是"猫在沙发上"在方案A中，模型需要自己学会"把两本书的信息结合起来"；在方案B中，信息已经融合了。神经网络的魔法在于，它可以通过训练学会在相加后的空间中分离信息。3. 几何直觉：平移而非拼接从几何角度看，相加是对向量空间的平移变换：语义空间中的"苹果" + 位置编码 → "位置1上的苹果" 语义空间中的"苹果" + 位置编码 → "位置2上的苹果"这就像在二维坐标系中：原点(0,0)表示"苹果"的语义加上位置向量(1,0) → (1,0)表示"位置1的苹果"加上位置向量(2,0) → (2,0)表示"位置2的苹果"语义和位置在同一个高维空间中正交或互补，相加是在做"语义空间的坐标平移"。而拼接则是：[苹果的512维语义向量; 苹果的位置向量]这相当于在一个更高维的空间中表达，信息是分离的。三、相加的数学保证：为什么不会丢失信息？最核心的问题：两个向量相加，能还原吗？答案：在训练好的神经网络中，不需要还原；在原理上，如果需要，可以还原。1. 线性代数的视角如果Embedding矩阵和位置编码矩阵都是满秩的，那么：Rank(E + P) ≤ Rank(E) + Rank(P)更重要的是，只要下游的变换矩阵W是可逆的，理论上可以恢复：X = E + PXW = EW + PW如果W可以学习到"分离"E和P的方式，信息就不会丢失。2. 神经网络的"纠缠-分离"机制更深刻的理解是：神经网络不需要显式地分离E和P。它学到的是："当我看到某个向量，它在Attention中应该关注哪些其他向量""位置相近的词应该有更高的注意力权重"信息是纠缠在一起的，但这恰恰是特征学习的本质。类比人类学习：你不需要分离"这个人的音高"和"这个人的音色"你只需要学会："这个声音是我妈妈"音高和音色已经纠缠在你的识别系统中相加是在让神经网络自己学会如何分离和使用纠缠的信息。四、位置编码的特殊设计：正交性假设原版Transformer用的是正弦余弦位置编码：PE_(pos, 2i) = sin(pos / 10000^(2i/d))PE_(pos, 2i+1) = cos(pos / 10000^(2i/d))这个设计的精妙之处：1. 不同维度编码不同的频率低维度（i小）：变化慢，编码全局位置（句子开头/结尾）高维度（i大）：变化快，编码局部位置（相邻词）2. 语义和位置在某种意义上"正交"理论上，如果语义Embedding和位置编码在不同的子空间，相加就不会严重破坏信息：语义 ∈ R^(d1), 位置 ∈ R^(d2), d1 + d2 ≤ d实践中，网络会学会将语义和位置分配到不同的维度或模式上。3. 相对位置的可学习性正弦位置编码有一个神奇性质：PE(pos+k) 可以用 PE(pos) 的线性组合表示这意味着模型可以学会相对位置关系："位置3"和"位置5"的距离，可以表示为PE(3)和PE(5)的某种函数模型可以学习到：…