1. トランスフォーマーを記憶装置として捉える解説

    [AI]

    大規模言語モデルの知識保持を、線形変換やMLP、自己注意を異なる記憶装置として見立てて説明する。記憶の呼び出し時に生じる干渉を軸に、各層の容量を考えるための直感的な見方を示す。