MacStudioでllama.cpp

一応、Metalに最適化されてるはず。

brew install cmake
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

cmake -B build \
  -DLLAMA_METAL=ON \
  -DLLAMA_METAL_EMBED_LIBRARY=ON

で、Qwen3.5-27B-Q3_K_M.ggufをDLして、おもむろにベンチ。

./build/bin/llama-bench -m ~/Downloads/Qwen3.5-27B-Q3_K_M.gguf

AMD Radeon RX 9060 XT（上記記事では、312.02 t/s）にも負けるんか……。

関連