#vLLM

その他／解説

GKE Inference Gatewayとllm-dによる推論負荷分散：4倍スループットを支えるキャッシュ親和性と適用条件

GKE Inference Gateway powered by llm-dのアーキテクチャと、ZenteiQによる推論スループット4.07倍達成の背景を解説。二段階ルーティング、prefixキャッシュ制御、測定限界、GKE 1.32.3以降の導入要件を整理します。

10.2318分Xで共有Threadsで共有