Cerebrasによる3兆パラメータ推論構想：59枚のウェハへの層マッピングと性能評価の前提条件

タイトル: Cerebrasによる3兆パラメータ推論構想：59枚のウェハへの層マッピングと性能評価の前提条件

何が起きたか：Cerebrasによる多兆パラメータ推論構想の公表

2026年10月22日付の公式ブログで、Cerebras Systemsは複数のウェハスケールプロセッサに大規模フロンティアモデルを分散配置する推論手法を公表しました[1]。同ブログでは、オープンソースの「Kimi K3」（約3兆パラメータ）を具体例として取り上げています[1, 5]。

この配置構想の基盤となるプロセッサが「Wafer Scale Engine 3 Turbo（WSE-3T）」です[2]。2026年8月18日に公表された公式仕様によると、WSE-3Tは1ウェハ当たり44GBのオンチップSRAM、900,000個のAI最適化コア、250 PFLOPSのAI計算性能を備えています[2]。また、同日に発表されたラックスケールシステム「Cerebras CS-4」は、WSE-3Tを3基搭載しています。750 PFLOPSのAI計算性能と129.6 PB/sのメモリ帯域を実現する、Nexusラックスケール・プラットフォームの第1弾製品と位置付けられています[3]。

今回公表された推論手法の試算では、Kimi K3の動作に合計59枚のWSE-3Tウェハが必要とされています[4, 6]。ただし、ブログ記事ではウェハを配置単位としており、CS-4システムへの換算や必要台数の算出は行っていません[4, 18]。

モデルの規模表記にも確認すべき前提があります。モデル提供元のMoonshot AIが公開したモデルカードでは、Kimi K3の総パラメータ数は2.8兆と記載されています[5]。一方、Cerebrasのブログ記事では、例示計算の前提として「約3兆」あるいは「3兆」という概数を用いています[5, 11]。

補足：WSE-3Tとは

WSE-3T（Wafer Scale Engine 3 Turbo）は、Cerebrasが開発したウェハスケールのAI専用プロセッサです。単一のシリコンウェハ全体を1つのプロセッサとして製造し、大容量のオンチップSRAMと多数の計算コアを直結しています。

なぜ今か：兆パラメータ推論におけるメモリ帯域と通信の制約

兆単位のパラメータを持つ超巨大モデルの推論では、重みを保持するメモリ容量と、逐次生成時に重みを繰り返し読み出すためのメモリ帯域が大きな制約となります。一般的なGPUクラスタでは、重みを外部メモリのHBM（High Bandwidth Memory）に配置し、複数のGPUにテンソル並列やパイプライン並列で分散させます。

ただし、チップ数を揃えても、アーキテクチャごとにハードウェア資源の条件は大きく異なります[42]。以下の表に、Cerebrasのプロセッサおよびシステムと、標準的なGPUノードであるNVIDIA HGX B200の仕様をまとめました[2, 3, 42]。

項目	Cerebras WSE-3T（単体）[2]	Cerebras CS-4（システム）[3, 42]	NVIDIA HGX B200（8-GPUノード）[42]
搭載プロセッサ数	1基（ウェハ）	3基（WSE-3T）	8基（B200 GPU）
搭載メモリ種別	オンチップSRAM	オンチップSRAM	HBM3e
メモリ容量	44 GB	132 GB（44 GB × 3基）[18]	1.44 TB
メモリ帯域	43.2 PB/s	129.6 PB/s	最大 64 TB/s（集計値）
内部・外部接続帯域	-	I/O: 7.2 Tbps	NVLink総帯域: 14.4 TB/s

表のとおり、WSE-3Tはウェハ上のオンチップSRAMに直結することで、43.2 PB/sのメモリ帯域を実現しています[2]。一方、1ウェハ当たりの容量は44GBのため、数兆パラメータのモデル全体を単一ウェハに収めることはできません[2, 11]。

そのため、Cerebrasのアーキテクチャでは多数のウェハをパイプライン状に接続します。Hot Chips 2026の技術解説によると、膨大な帯域を要するテンソル演算やエキスパート間の高頻度通信は単一ウェハ内で完結させ、ウェハ間では主に活性値などの低頻度データを転送する方針です[22]。この構成では、ウェハ間通信の負荷を抑えながら、SRAMの超高帯域を活用できます[20, 22]。

仕組みの検証：59ウェハへの層マッピングとパイプライン実行の実際

Cerebrasのメモリ配置試算では、Kimi K3を約3兆パラメータとし、重みを4-bit、KVキャッシュを8-bit、平均リクエストサイズを「256k」と仮定しています[6, 11, 38]。

3兆パラメータを4-bit（0.5バイト）で表すと、重みの公称ペイロードは約1.5TBです[11]。WSE-3TのSRAM容量は1枚当たり44GBのため、重みのペイロードだけを単純に格納する場合でも約34枚（34.1枚）のウェハが必要です[11]。記事の層配置例では、モデル全体の93層（約3兆パラメータを平均すると1層当たり約16GBのraw payload）を次のように割り当てています[11, 19]。

• 線形アテンション層（linear-attention）69層：1ウェハ当たり2層を配置し、計35枚のウェハを使用[6, 11, 20]
• dense（full-attention）層24層：1ウェハ当たり1層を配置し、計24枚のウェハを使用[6, 11, 20]
• 合計：35枚 ＋ 24枚 ＝ 59枚のWSE-3Tウェハ[6, 11, 20]

この層構成の説明には用語の違いがあります。Cerebrasが「24 dense」と呼んでいるのは、全アテンション（full-attention）層です[15, 28]。一方、Moonshot AIの技術報告とモデルカードでは、69層のKDA（Kimi Delta Attention）と24層のGated MLA（Multi-Head Latent Attention）に加え、「dense層1」と記載されています[5, 13, 15, 28]。設定ファイル（config.json）にも first_k_dense_replace: 1 と指定されており、Moonshotの「dense層」はMoE FFNではない層を指すと考えられます[15, 28]。したがって、CerebrasがGated MLA層（24層）をdense層と呼んでいると解釈すると、記述の整合が取れます[15, 28]。

また、4-bitという仮定はMoonshotのMXFP4重みに沿った概算として妥当ですが、公式設定では32要素単位の4-bit量子化にuint8スケールを指定し、一部モジュールを量子化対象から除外しています[12]。Hugging Face上の配布リポジトリ容量は1.56TBです。そのため、全パラメータを一律4-bitとする計算は、実ファイルの容量やSRAM使用量そのものを示すものではありません[12, 19]。

KVキャッシュの試算にも、Cerebrasが単位を明示せず「256k」と仮定している点に留意が必要です[6, 13]。Moonshotの仕様では最大コンテキスト長は1,048,576トークンで、KDA 69層の固定サイズ状態とGated MLA 24層の動的KVキャッシュを組み合わせています[13]。仮に256kを256,000トークンと解釈し、Gated MLA層の潜在KV（kv_lora_rank: 512）を8-bitで保持すると、24層分の潜在KVは1リクエスト当たり約3.15GBになります。ただし、この値にはKDA状態や追加テンソル、実行時バッファーは含まれません[14]。Cerebrasの図では、dense層を配置したウェハの残余容量28GBを、1リクエスト当たり約147MBというKVキャッシュの試算値で割り、約190件の同時リクエストを収容できるとしています。この数値はメモリ配置上の試算であり、実際の同時実行数を示すものではありません[30, 38]。

実行時には、コンパイラがモデルの各層をウェハに割り当て、重みをSRAM上に保持します[21]。ウェハ間を移動するデータは主に活性値です[21]。テンソル演算やMoEのエキスパート通信など、高頻度で大容量の通信はウェハ内の高速ファブリックで完結させ、ウェハ間では活性値を受け渡します[22]。

2026年10月の記事では、活性値の受け渡しにRDMA over Ethernetを挙げ、1ホップ当たり約2マイクロ秒で転送されるとしています[23, 31]。ただし、CS-4の発表資料にはRoCE v2 RDMA over EthernetとDirect Wafer Linksの両方が記載されています。Kimi K3の例でどちらの経路方式が選ばれたかは、公表資料から特定できません[23]。また、59ウェハの説明は配置構造を理解するための例示です。本番環境ではさらに細かく、多数のパイプライン段を使うと述べられていますが、具体的な段数やマイクロバッチ値は公表されていません[24, 30]。

補足：RDMA over Ethernetとは

RDMA over Ethernetは、イーサネットネットワーク上でCPUを介さずにリモートメモリへ直接アクセスする通信技術です。通信の低遅延化とCPU負荷の軽減を実現します。

何が変わるか：速度指標の測定条件とGPU比較における評価基準の確立

Cerebrasの公表資料には推論速度の数値が複数あります。対象モデルや測定条件が異なるため、それぞれを区別して読み取る必要があります[37]。

1つ目は、2026年10月22日のブログ記事冒頭に記載された「毎秒1,000〜2,000トークン超（1000-2000+ tokens per second）」です[7, 25]。これは複数ウェハを用いた多兆パラメータモデル全般についての主張で、Kimi K3は例として挙げられています[7, 16, 29]。この数値が単一ユーザー向け（per-user）の生成速度か、複数ユーザーの合算（aggregate throughput）かは明らかにされていません。入力長・出力長、実測時の精度、バッチサイズ、TTFT（Time to First Token）などの測定条件も公表されていません[29, 34]。

2つ目は、2026年8月18日のCS-4発表資料にある「1ユーザー当たり毎秒4,400トークン超（>4,400 TPS/user）」です[9, 33]。これは「GPT-OSS-120B」を対象に、同一プロンプト条件下で測定されています[9, 17]。Cerebrasが注記しているとおり、実際のスループットはモデル構造、コンテキスト長、精度、serving設定によって変わります[9, 33]。したがって、この数値はGPT-OSS-120B固有の結果であり、Kimi K3とは条件の異なる測定結果です[17, 26, 37]。

以下の表に、2つの速度数値の開示条件をまとめました[7, 9, 29, 33, 37]。

項目	多兆パラメータモデルの速度主張[7, 29]	CS-4における速度測定報告[9, 33]
示された速度数値	1,000〜2,000+ tokens/s	4,400+ tokens/s/user
対象モデル	多兆パラメータモデル一般（Kimi K3は例示）[7]	GPT-OSS-120B（120Bパラメータ）[9]
公表資料と日付	公式ブログ（2026年10月22日）[1]	CS-4製品発表（2026年8月18日）[9]
単位の定義	分母（per-userか集約値か）未記載[29, 32]	1ユーザー当たり（per-user）明記[9]
精度・量子化の条件	4-bit重み/8-bit KVは配置試算の仮定[29]	未公表（注記にて変動要因と言及）[9]
入出力長・測定環境	未公表（TTFT・トークン間隔も非公表）[29, 31]	同一プロンプト比較と記載、詳細値は未公表[9, 33]

Cerebras自身の技術用語解説では、1ユーザー当たりの出力速度（per-user output speed）と、多数の同時リクエストを合算した集約スループット（aggregate tokens per second）は別の指標として扱われています[32, 35]。平均トークン間隔を推定できるのは、同一測定区間における単一ユーザーの出力速度からです。集約値からは、個々のリクエストのトークン間隔やTTFT、総応答時間を求められません[35]。

パイプライン推論の同時処理数は、おおむねパイプライン段数とマイクロバッチサイズの積で決まります[34]。マイクロバッチを小さくすると個々のリクエストを速く処理しやすくなり、大きくするとシステム全体の総スループットが向上します[8, 34]。同時実行数の上限は、SRAM上のKVキャッシュ容量によって制約されます[34]。

Cerebrasは、推論システムのスループット評価では、単一リクエストの速さに加えて、「同一の出力生成速度に揃えた電力当たりの総トークンスループット（MW当たりのtokens/sなど）」が有意義な指標だと述べています[8, 27]。そのため、生成速度と電力効率を評価する際は、出力速度を揃えた上で測定境界を明確にする必要があります[8, 41]。

CerebrasとGPUクラスタを客観的に比較するには、測定境界を厳密に設定する必要があります。参考例として、MLPerf Inference 5.1（Llama 3.1 8B）では、平均入力長778トークン、平均出力長73トークン、TTFT 2秒以内、TPOT 100ミリ秒以内、FP16参照モデル比99%以上の精度といったしきい値を定めています[40]。Kimi K3のような兆パラメータモデルを比較する場合も、次の条件を揃える必要があります[36, 39, 41, 44]。

1. モデルと品質条件の固定: 同一のチェックポイント、バージョン、トークナイザーを使用します[39]。Moonshotが公開するKimi K3は重みがMXFP4、活性値がMXFP8です。「4-bit」という指定だけでは再現条件として不十分なため、数値形式を揃えます。形式が異なる場合は、品質検証を伴う別枠として扱います[39]。
2. 負荷条件と測定指標の分離: 入力・出力長の分布、到着パターン、同時実行負荷を統一します[36, 41]。単一ユーザーの低遅延性能（TTFT、トークン間隔、p95/p99遅延）と、高負荷時の集約スループット（tokens/s、requests/s）は分けて測定します[36, 41]。
3. ソフトウェアとシステム境界の開示: 内部のバッチやマイクロバッチ設定、実行エンジン、並列化手法、KVキャッシュ管理、prefix cacheなどの設定を開示します[41, 43]。Kimi K3ではvLLM向け実装が案内されているなど、ソフトウェアスタックも性能に大きく影響するためです[43]。

主比較表には、これらの条件が揃った結果のみを掲載します。条件が欠けている公表値や別モデルの数値は、直接比較せず分けて扱うのが妥当です[44]。

補足：TTFTとTPOTとは

TTFT（Time to First Token）はリクエスト送信から最初の1トークンが出力されるまでの待ち時間です。TPOT（Time Per Output Token）は、その後に続くトークンが1つ生成される際の時間間隔を示します。

誰に影響するか：専有インフラ選定を迫られる実務者への示唆と提供形態

Cerebrasの推論環境は、モデルによって提供形態が分かれています[10]。

公式のモデルカタログでは、Kimi K3はエンタープライズ顧客向けの「Dedicated Inference（専有インフラ推論）」対応モデルとして掲載されています[10]。一方、一般の開発者が利用できる従量課金や無料APIを含む「Shared Inference（共有インフラ推論）」には、GPT-OSS-120BやQwen 3.8 27Bなどがラインナップされています[10]。

この提供形態の違いは、兆パラメータ規模のモデルを実務に導入する意思決定者に影響します。Dedicated Inferenceはエンタープライズ向けですが[10]、59ウェハという構成はメモリ配置の例示計算であり、実際に必要な専有リソース規模は公表資料で確認できません[4]。

そのため、フロンティアモデルの高速推論基盤を選ぶ実務者は、APIの利用のしやすさに加えて、専有インフラの設備コスト、専用クラスタの運用要件、自社の処理負荷に対する投資対効果を総合的に検討する必要があります。