#推理优化

• 2026-10-18

  vLLM：PagedAttention 与前缀缓存

  KV Cache 既是推理性能的关键，也是显存的主要消耗者。梳理 PagedAttention 如何分页管理显存、前缀缓存如何复用相同前缀，以及 prompt 怎么构造才能提高命中率