1. KV Cacheの外部退避でLLM分散推論を検証

    [AI]

    GPUサーバーを用いたLLM分散推論で、KV Cacheをストレージへ退避・共有する手法を検討した。GPUDirect StorageやLMCacheなどを対象に、メモリー階層の設計と性能への影響を検証する。