长上下文到底贵在哪里？KV Cache 压缩、淘汰和 Offload 全景拆解
长上下文到底贵在哪里？KV Cache 压缩、淘汰和 Offload 全景拆解 这两年大模型最容易把人带偏的一件事，就是上下文窗口越报越大，大家就越容易产生一种错觉， 上下文好像是免费的。 128K。 200K。 1M。 这些数字看上去都很爽，像是模型终于学会记东西了。你把资料全塞进去，它就能一口气…
LLMInferenceKV-Cache
Writing topic
# Compression
围绕这个关键词继续探索。