说到Transformer,就不能不提它的好搭档——Layer Normalization(LayerNorm),简称LN。你可能要问,为啥Transformer要用LN而不是Batch Normalization(BN)呢?这背后可是有大学问的。 在聊“二选一”的问题前,我们先介绍下什么是Layer Normalization?什么是Batch Normalization?