1. LLMは公開ベンチの評価設定に適応しやすい可能性、研究が指摘

    [AI]

    LLMをベンチマーク得点で選別すると、課題そのものではなく評価用のプロンプト形式や回答スキーマの特徴に合わせて高得点化する傾向が生じうるとする研究内容を紹介。実運用に近い非公開評価の重要性を示した。

    1 DEV Community