9.1
9.1 应用安全攻防、红蓝对抗与提示词防御
直接/间接提示词注入防御 (Instruction Hierarchy)、越狱对抗测试、NeMo Guardrails 围栏、工具调用越权防护、数据防外泄与 Safetensors 供应链防护。
提示词注入防御、越狱拦截与 NeMo Guardrails
严格指令层级控制 (Instruction Hierarchy: System > Tool > User)、语言困惑度异常过滤 (Perplexity Filter)、结构化标签隔离、NVIDIA NeMo Guardrails (Colang 2.0) 语义流输入输出校验与 OWASP Top 10 for LLM v2.0 漏洞防御。
🏢 标杆代表企业
Lakera、NVIDIA (NeMo Guardrails)、Cisco (Robust Intelligence)、Promptfoo、Protect AI
🛠️ 核心技术栈
Prompt InjectionJailbreak DefenseInstruction HierarchyNeMo GuardrailsColangOWASP Top 10 for LLMLakera
💼 典型岗位与薪资
AI Security Engineer、AI Red Team Engineer、Application Security Engineer
💰 $210K - $450K / 年 (AI 安全与攻防工程) | ¥60W - ¥140W / 年
📚 先决掌握技能:OWASP Top 10 for LLM 漏洞攻击原理与防护 • NeMo Guardrails 与 Colang 2.0 护栏规则编写 • 提示词困惑度过滤与对抗样本特征识别 • 结构化输入转义与指令分级隔离机制
工具越权防护、数据防外泄与模型供应链安全
Agent 工具调用动态最小权限 Token (Scoped OAuth)、流式敏感数据脱敏 (PII Masking / Microsoft Presidio)、沙箱出口网络策略白名单 (Egress NetworkPolicy) 与模型权重恶意反序列化防护 (Safetensors / ModelScan)。
🏢 标杆代表企业
Protect AI、HiddenLayer、Cisco (Robust Intelligence)、Palo Alto Networks
🛠️ 核心技术栈
Tool AbuseData Exfiltration (DLP)PII RedactionEgress FilteringSafetensorsModelScanSupply Chain Security
💼 典型岗位与薪资
AI Security Engineer、AI Systems Engineer、Threat Researcher
💰 $205K - $440K / 年 (运行时防护与供应链安全) | ¥58W - ¥135W / 年
📚 先决掌握技能:OAuth 2.0 动态作用域与最小权限原则 (Least Privilege) • 流式 PII 实体识别 (Spacy / Presidio) 与脱敏算法 • Kubernetes Egress NetworkPolicy 与网络隔离 • Safetensors 签名格式与 Python pickle 反序列化漏洞机制