1. UC BerkeleyとMIT、家庭向けGPUでMoE推論を狙うOSS「FreeToken」を公開

    [AI]

    UC BerkeleyとMITの研究者らが、家庭向けGPUとCPUを動的に協調させるMoE向けOSS推論エンジン「FreeToken」を発表した。論文では、既存のローカル実行系より高速化したと報告している。

    1 InfoQ