首页/Algo Bridge/LRU / LFU 缓存设计 (哈希表 + 双向链表)/LC_146
⚡ 在闪卡工作台中刷此桥梁
🌉 单题同构迁移解析LC_146 · 中等

LC_146 (LRU缓存) ➔ Prefix Cache Attention

大模型推理最容易 OOM,LRU 缓存机制直接决定了多请求高并发下谁的显存被换出到 CPU。

1️⃣ 经典算法母体 (LeetCode Origin)

LC_146 · LRU缓存

所属范式:LRU / LFU 缓存设计 (哈希表 + 双向链表) — 哈希表 + 双向链表组合架构。哈希表提供 O(1) 随机寻址定位,双向链表维护时间访问新旧顺序(LRU)或访问频次(LFU),在 O(1) 时间内完成缓存命中提升与末尾淘汰。

⚡ 查看 LC-146 算法原题精解 ➔
2️⃣ 大模型工业系统落地 (Production AI System)

SGLang RadixAttention 树状显存复用与多轮对话缓存 · Prefix Cache Attention

工程映射场景:vLLM / SGLang 显存物理块 (Physical Block) 的 LRU 换出与释放

🧬 对应工业算子接口签名
def prefix_cache_attention(q: torch.Tensor, k_new: torch.Tensor, v_new: torch.Tensor, k_cached: torch.Tensor, v_cached: torch.Tensor) -> torch.Tensor

🔗 同源拓展迁移桥梁

LC_140 ➔ RadixAttention 前缀缓存:最长前缀匹配
BPE 和 SentencePiece 分词的底层也是在 Trie 树上运行动态规划寻找最大词表子串。...
LC_140 ➔ Prefix Cache Attention
BPE 和 SentencePiece 分词的底层也是在 Trie 树上运行动态规划寻找最大词表子串。...
LC_208 ➔ RadixAttention 前缀缓存:最长前缀匹配
不要把 Trie 当作普通的字符串字典,它是 vLLM / SGLang 显存共享和结构化输出验证的核心算法。...
LC_208 ➔ Prefix Cache Attention
不要把 Trie 当作普通的字符串字典,它是 vLLM / SGLang 显存共享和结构化输出验证的核心算法。...
LC_146 ➔ RadixAttention 前缀缓存:最长前缀匹配
大模型推理最容易 OOM,LRU 缓存机制直接决定了多请求高并发下谁的显存被换出到 CPU。...
LC_146 ➔ Paged Attention
大模型推理最容易 OOM,LRU 缓存机制直接决定了多请求高并发下谁的显存被换出到 CPU。...
← LC_146 (LRU缓存) → SGLang RadixAttention 树状显存复用与多轮对话缓存LC_146 (LRU缓存) → vLLM PagedAttention 分页虚拟显存与连续批调度 →