1. 大規模言語モデルを支えた自己注意の仕組み

    [PROGRAMMING]

    Transformerが導入した自己注意は、系列を順番に処理する従来型モデルに代わる手法として広まりました。2017年の論文以降、GPTなど主要な大規模言語モデルの基盤になっています。