Accepted in ACL 2025 Findings!

15 May 2025

恭喜俊辉的工作《A$^2$ATS: Retrieval-Based KV Cache Reduction via Windowed Rotary Position Embedding and Query-Aware Vector Quantization》被ACL 2025 Findings录用！

• 工作简介： 长文本大语言模型（LLMs）在推理过程中需要存储大量的键值对（KV）缓存，这不仅占用大量内存，还导致访问开销增加，影响推理效率。现有的检索式 KV 缓存缩减方法虽然可以将 KV 缓存卸载到 CPU，并按需检索必要的标记，但这些方法仍然存在精度下降和额外检索开销的问题。

本工作提出一种新型检索式键值（KV）缓存缩减方法，旨在解决长文本大语言模型（LLMs）在高效服务时面临的缓存占用大和访问开销高的问题。