GeoGuessrトレーニングアプリの正答率

プロンプトを変えながら、GGAIのそれぞれのバージョンで100回ずつNMPZをやってみたところ、

• 0.1.3: 67%
• 0.1.4: 74%
• 0.1.5: 68%
• 0.1.6: 74%

の正答率だった。gpt-4oでの結果で、平均すると回答まで12秒ぐらい。

外した問題を見ると、NMPZでこれはキツいだろうというものが多い。

プロンプトにカバレッジを渡してあって、それ以外の国名は答えないように指示しているのに、含まれないCosta Ricaを回答してくるあたりがAIっぽいw