大模型推理引擎到底在调度什么？从 vLLM 到 SGLang 看服务端黑箱
大模型推理引擎到底在调度什么？从 vLLM 到 SGLang 看服务端黑箱 如果你只是在 API 层面用大模型，很容易把这件事想得特别简单。 发请求。 等结果。 结束。 但你只要开始真做线上服务，就会发现这套东西根本不是“发出去、回回来”这么朴素。你看到的只是一个接口，后面其实是一个不停调度请求、抢…
LLMInferencePagedAttention
Writing topic
# Scheduling
围绕这个关键词继续探索。