#SGLang

その他／解説

Workers AIのKVキャッシュ露出：PD分離ハンドオフの判定透過とGPUメモリ再利用が重なった発生機構

Cloudflare Workers AIのGLM-5.3で発生した他要求KVキャッシュ露出の成立条件、SGLangにおける分離型推論のメモリ管理とハンドオフ制御の不具合、上流パッチの検証到達点と各社キャッシュ分離仕様を整理します。

10.2719分Xで共有Threadsで共有