🌉 单题同构迁移解析LC_146 · 中等
LC_146 (LRU缓存) ➔ RadixAttention 前缀缓存:最长前缀匹配
大模型推理最容易 OOM,LRU 缓存机制直接决定了多请求高并发下谁的显存被换出到 CPU。
1️⃣ 经典算法母体 (LeetCode Origin)
LC_146 · LRU缓存
所属范式:LRU / LFU 缓存设计 (哈希表 + 双向链表) — 哈希表 + 双向链表组合架构。哈希表提供 O(1) 随机寻址定位,双向链表维护时间访问新旧顺序(LRU)或访问频次(LFU),在 O(1) 时间内完成缓存命中提升与末尾淘汰。
⚡ 查看 LC-146 算法原题精解 ➔2️⃣ 大模型工业系统落地 (Production AI System)
SGLang RadixAttention 树状显存复用与多轮对话缓存 · RadixAttention 前缀缓存:最长前缀匹配
工程映射场景:vLLM / SGLang 显存物理块 (Physical Block) 的 LRU 换出与释放
🧬 对应工业算子接口签名
class SimpleRadixCache:
def insert(self, tokens: list[int]) -> None
def match_prefix(self, prompt_tokens: list[int]) -> int🔗 同源拓展迁移桥梁
LC_140 ➔ RadixAttention 前缀缓存:最长前缀匹配
BPE 和 SentencePiece 分词的底层也是在 Trie 树上运行动态规划寻找最大词表子串。...
LC_140 ➔ Prefix Cache Attention
BPE 和 SentencePiece 分词的底层也是在 Trie 树上运行动态规划寻找最大词表子串。...
LC_208 ➔ RadixAttention 前缀缓存:最长前缀匹配
不要把 Trie 当作普通的字符串字典,它是 vLLM / SGLang 显存共享和结构化输出验证的核心算法。...
LC_208 ➔ Prefix Cache Attention
不要把 Trie 当作普通的字符串字典,它是 vLLM / SGLang 显存共享和结构化输出验证的核心算法。...
LC_146 ➔ Prefix Cache Attention
大模型推理最容易 OOM,LRU 缓存机制直接决定了多请求高并发下谁的显存被换出到 CPU。...
LC_146 ➔ Paged Attention
大模型推理最容易 OOM,LRU 缓存机制直接决定了多请求高并发下谁的显存被换出到 CPU。...