1. 6400万パラメータの言語モデルをゼロから構築

    [AI]

    研究プロジェクトとして、小規模な言語モデルをランダム初期化から学習させ、指示追従や基礎的な推論の可能性を検証した。強化学習と方策蒸留も実験対象としている。