首页/Algo Bridge/LRU / LFU 缓存设计 (哈希表 + 双向链表)/LC_460
⚡ 在闪卡工作台中刷此桥梁
🌉 单题同构迁移解析LC_460 · 困难

LC_460 (LFU缓存) ➔ Paged Attention

高频 System Prompt 绝不应该被偶然的大请求挤出显存,LFU 提供频次保护。

1️⃣ 经典算法母体 (LeetCode Origin)

LC_460 · LFU缓存

所属范式:LRU / LFU 缓存设计 (哈希表 + 双向链表) — 哈希表 + 双向链表组合架构。哈希表提供 O(1) 随机寻址定位,双向链表维护时间访问新旧顺序(LRU)或访问频次(LFU),在 O(1) 时间内完成缓存命中提升与末尾淘汰。

⚡ 查看 LC-460 算法原题精解 ➔
2️⃣ 大模型工业系统落地 (Production AI System)

vLLM PagedAttention 分页虚拟显存与连续批调度 · Paged Attention

工程映射场景:在持久化服务中根据历史查询频率维护热门 System Prompt 驻留显存

🧬 对应工业算子接口签名
def paged_attention(Q: torch.Tensor, K_cache: torch.Tensor, V_cache: torch.Tensor, block_tables: torch.Tensor, context_lens: torch.Tensor, block_size: int = 16) -> torch.Tensor

🔗 同源拓展迁移桥梁

LC_239 ➔ Paged Attention
单调队列维护窗口最大值的思想,与 Online Softmax 动态更新 running max 完全等价。...
LC_146 ➔ RadixAttention 前缀缓存:最长前缀匹配
大模型推理最容易 OOM,LRU 缓存机制直接决定了多请求高并发下谁的显存被换出到 CPU。...
LC_146 ➔ Prefix Cache Attention
大模型推理最容易 OOM,LRU 缓存机制直接决定了多请求高并发下谁的显存被换出到 CPU。...
LC_146 ➔ Paged Attention
大模型推理最容易 OOM,LRU 缓存机制直接决定了多请求高并发下谁的显存被换出到 CPU。...
LC_380 ➔ Paged Attention
数组 + 哈希表的结合是实现真正 O(1) 均匀随机采样的唯一数学结构。...
← LC_146 (LRU缓存) → vLLM PagedAttention 分页虚拟显存与连续批调度LC_380 (\. Insert Delete GetRandom O(1)) → vLLM PagedAttention 分页虚拟显存与连续批调度 →