KV Cache 跨节点迁移，为什么会卡住第一个 token？
Prefill 算完不代表用户马上能看到第一个 token。KV Cache 跨节点迁移不是传文件，而是一条从 GPU、NIC、Leaf、Spine 到目的端 GPU 的端到端搬运链路。
LLMInferenceKV-Cache
Writing topic
# RoCE
围绕这个关键词继续探索。
Writing topic
围绕这个关键词继续探索。
Prefill 算完不代表用户马上能看到第一个 token。KV Cache 跨节点迁移不是传文件，而是一条从 GPU、NIC、Leaf、Spine 到目的端 GPU 的端到端搬运链路。