大模型为什么第一个字最慢？从 TTFT 到 TPOT 拆解推理延迟
大模型为什么第一个字最慢？从 TTFT 到 TPOT 拆解推理延迟 如果你经常用 ChatGPT、Claude、Gemini，或者自己写过一点 Agent，你一定遇到过一个很微妙的瞬间。 你按下回车。 屏幕安静了几秒。 然后第一个字终于蹦出来。 最奇怪的是，一旦第一个字出来，后面又好像顺了很多。模型…
LLMInferenceKV-Cache
Writing topic
# Decode
围绕这个关键词继续探索。