⚡ 深度学习与大模型手撕算法105 题手写算子与断言 · 17 大专题模块🛡️ 100% 数值防溢出校验
TalentMe Science Coding:深度学习与大模型核心手撕算法引擎
收录 105 题高频核心手写实现,覆盖基础算子、Transformer、强化学习、分布式并行、推理调度与评测检索。每道题均配备数学推导、张量流转、数值稳定性清单、四步自测与可运行断言。
共筛选出 105 道核心算法题目
A1★ 核心必练 · 工业基石
EasySoftmax(数值稳定)
Part A · 基础算子与激活函数
减去沿维度的最大值防止指数上溢,保持指定维度归一化的数值稳定实现。
💡 减 max 避正溢,keepdims 保广播,分母有 1 不除零
A2★ 核心必练 · 工业基石
EasySigmoid 与 Log-Sigmoid(数值稳定)
Part A · 基础算子与激活函数
正负区间分段避免大负数指数溢出,Log-Sigmoid 采用 logaddexp 解决二元损失下溢。
💡 正用原式负乘分子,log 用 logaddexp
A3★ 核心必练 · 工业基石
MediumGELU 激活函数(Tanh 近似与精确式)
Part A · 基础算子与激活函数
基于高斯累积分布的自适应随机正则化门控激活,现代 GPT/BERT 标配算子。
💡 0.5x 乘括号,一加 tanh 算概率,点零四四七一五乘三次方
A4★ 核心必练 · 工业基石
MediumSwiGLU 门控前馈算子(LLaMA / DeepSeek 核心)
Part A · 基础算子与激活函数
现代大模型最核心的 FFN 算子,由 Gate/Up 投影与 SiLU 逐元素相乘并 Down 投影降维。
💡 门控升维两路走,SiLU 激活哈达玛,最后降维回原形
A5
EasySoftplus 与 LeakyReLU(数值防溢出分段)
Part A · 基础算子与激活函数
Softplus 的阈值截断防溢出实现,以及 LeakyReLU 负斜率泄漏机制。
💡 小值 log1p 防精度丢失,大值阈值截断走恒等
B1★ 工业基石 (核心高频)
EasyLayerNorm(层归一化与仿射变换)
Part B · 归一化全家族
跨特征维度归一化,训练与推理行为完全一致,包含可学习参数 gamma 和 beta。
💡 末维算均差,减均除以根号差加截断,gamma 乘 beta 加
B2★ 工业基石 (核心高频)
EasyRMSNorm(均方根归一化)
Part B · 归一化全家族
省略均值中心化计算,仅通过均方根缩放特征并减少全局访存的现代 LLM 归一化方案。
💡 不求均值只算方,开方除完乘 gamma,省去两遍访存账
B3★ 工业基石 (核心高频)
MediumBatchNorm1d(批归一化与训练/推理行为差异)
Part B · 归一化全家族
面试官深度必问考点:训练期用当前 Batch 统计并以动量更新全局均值方差,推理期冻结并采用全局统计量。
💡 训练靠当前批,动量记全局;推理冻结账,单测不崩盘
B4
MediumGroupNorm 与 InstanceNorm(分组与实例归一化)
Part B · 归一化全家族
何恺明团队经典架构,将通道划分为 G 个组独立归一化,彻底解除对 Batch Size 大小的依赖。
💡 通道重塑拆成组,组内宽高一起平,小批训练救星来
B5★ 工业基石 (核心高频)
EasyInverted Dropout(倒置丢弃法与缩放因子)
Part B · 归一化全家族
训练期按 1/(1-p) 进行倒置缩放,保证输出数学期望在训练与推理期恒定一致,使推理期实现完全零计算开销。
💡 训练倒除一减 p,期望恒定不挪位;测试直接放行过,零卡零算零开销
C1★ 工业基石 (核心高频)
EasySinusoidal 绝对位置编码(正余弦几何交变)
Part C · 位置编码演进
Attention Is All You Need 原文经典,偶数正弦奇数余弦,具备相对位置线性变换性质。
💡 偶填正弦奇填余,指数取对除分母,相对平移转正交
C2★ 工业基石 (核心高频)
MediumRoPE 旋转位置编码(复数旋转矩阵与张量分块)
Part C · 位置编码演进
现代大模型(LLaMA/Mistral/DeepSeek/Qwen)通用标配,复数平面 2D 旋转保持点积内积的纯相对位置依赖。
💡 两两拆对做复数,x 乘 cos 伴旋转,加上负半分乘 sin,点积内积只看差