1. Tritonで学ぶFlashAttention-2のカーネル最適化

    [PROGRAMMING]

    PyTorch利用者向けに、TritonでFlashAttention-2の順伝播を実装しながらGPUカーネル最適化の基礎を解説する。簡略化した設定で注意機構の計算方法を扱う。