#llm-d
その他解説
GKE Inference Gatewayとllm-dによる推論負荷分散：4倍スループットを支えるキャッシュ親和性と適用条件
GKE Inference Gateway powered by llm-dのアーキテクチャと、ZenteiQによる推論スループット4.07倍達成の背景を解説。二段階ルーティング、prefixキャッシュ制御、測定限界、GKE 1.32.3以降の導入要件を整理します。
その他解説
GKE Inference Gateway powered by llm-dのアーキテクチャと、ZenteiQによる推論スループット4.07倍達成の背景を解説。二段階ルーティング、prefixキャッシュ制御、測定限界、GKE 1.32.3以降の導入要件を整理します。
