LLM・生成 AI・クラウドの動向を解説するメディアです。
LLM・基盤モデル/解説
コンシューマー機で大規模MoEモデルの推論を効率化する推論エンジン「FreeToken」が登場しました。帯域測定に基づくCPU・GPU協調実行(q*)や状態再利用の仕組み、実測性能と導入要件を解説します。
08.3015分Xで共有Threadsで共有