1. RAG Evaluation: How to Know Your Retrieval Isn't Broken

    [PROGRAMMING]

    RAG のためのメトリクスタクソノミー — 検索メトリクス、生成メトリクス、自分で作る eval セット、そしてどの層が失敗しているかを示す数値。昨年、あるミートアップでチームの RAG デモを見ていました。発表者が質問を受け、システムはチャンクを1つ取得し、LLM は流暢で、引用もしっかり付いた回答を生成しました。完璧に見えました。私は、会場の誰も答えられ…