1. CPU併用でLLM推論の処理時間を短縮

    [PROGRAMMING]

    Rust製の単一ノード推論エンジンで、GPUの待ち行列が伸びた際に一部リクエストをCPUへ振り分ける実験を実施した。キャッシュ済みの入力では、全件をGPUで処理する場合より完了時間と総スループットが改善したという。