提示词工程经验补全(2026-05-08)
一次”老课程截图 → 新知识盲区”的体系化补全过程
基本信息
- 日期: 2026-05-08
- 主题: 把 20 张提示词工程课程截图消化进 02_提示词工程 子项目,补齐 4 个知识盲区
- 关键词: Lost in the Middle / NO COMMENTS / 奶奶漏洞 / 架构师三问 / Moderation API / 网易易盾 / Prompt-First / Temperature 实战口诀
探索背景
收到一批 20 张图(来自国内某 AI 提示词工程课程),按时间顺序覆盖了:
1. 长上下文位置敏感 (Lost in the Middle)
2. 角色提示与开头收窄
3. Prompt-First 工程方法论
4. 用 Prompt 实现 DST/NLU 的优劣
5. NO COMMENTS, NO ACKNOWLEDGEMENTS 抑制套话
6. Prompt 不改模型参数
7-10. CoT / Self-Consistency / ToT / Medprompt
11-15. 奶奶漏洞 / Prompt 注入 / 注入分类器 / 价值观刷墙 / Moderation API
16. 网易易盾国内审核
17. 提示词工程 5 条经验总结
18. OpenAI API 完整参数表
19. Temperature 调参口诀 + 网页端调试 4 技巧
20. GPTs Meta-prompt
需要判断:哪些已经覆盖、哪些是真盲区、用什么颗粒度落盘。
核心内容
要点一:8 法则下的”先评分再吸收”
按 knowledge-base-curator skill 法则 8,素材整体评分 8/10:
✅ 说对的部分(直接吸收)
- Lost in the Middle 引用真实 Stanford 论文,工程结论对
- CoT/Self-Consistency/ToT 经典且无误
- “Prompt 不改模型参数”是核心常识
- 架构师三问简洁有力
- Medprompt 引用 microsoft/promptbase 准确
⚠️ 可商榷的部分(部分吸收 + 加注释)
- “奶奶漏洞”展示了攻击但没讲清防御 → 落盘时强制配套写防御要点
- “网易易盾”在原素材里偏推销 → 落盘时改为客观对比表格(含阿里云、Azure、OpenAI Moderation)
❌ 不收录的部分
- DST/NLU 用 Prompt 实现 → 太窄、太对话系统专用,本知识库定位是泛用提示词工程
- CoT/Self-Consistency/ToT/Medprompt 在多个文档已充分覆盖 → 不重复落盘
要点二:grep 查重发现的 3 个真空白
| 关键词 | 现有覆盖 | 决策 |
|---|---|---|
| Lost in the Middle | 仅在 DeepSeek_Engram 顺带提了一次 | 新增到 01_AI对话的底层逻辑.md |
| 奶奶漏洞 / Grandma | 完全空白 | 新增到 Agent 安全攻防 + 10_AI 应用架构 |
| Moderation API / 网易易盾 | 完全空白 | 新增到 10_AI 应用架构 |
| NO COMMENTS / NO ACKNOWLEDGEMENTS | 完全空白 | 新增到 02_写好第一个提示词.md |
| 架构师三问 | 完全空白 | 新增到 10_AI 应用架构 + 速查手册 |
发现现有内容已充分覆盖的(不重复落盘):
- CoT / Self-Consistency / ToT —— 02_提示词工程/04 + 05 + 速查手册全覆盖
- Medprompt —— 已有专门文档 03_应用实践/Medprompt方法论解析.md
- 元提示 / Meta-prompt —— 02_提示词工程/04 已覆盖
- Frequency / Presence Penalty —— 02_提示词工程/01 详细讲过
要点三:本次落盘的 6 个目标 + 1 个新建
目标 A:02/01_AI对话的底层逻辑.md + 完整 API 参数表 + Temperature 实战口诀
+ § 1.7 Lost in the Middle
+ § 1.8 Prompt 不改模型参数
+ § 1.9 网页端调试 4 技巧
目标 B:02/02_写好第一个提示词.md + 技巧 6:NO COMMENTS, NO ACKNOWLEDGEMENTS
目标 C:02/03_用示例教会AI.md + 角色提示原理:开头收窄问题域
+ 互链 § 1.7 Lost in the Middle
目标 D:02/10_AI应用架构.md + 经典攻击案例:奶奶漏洞
+ 进阶防御策略 4-7(注入分类器/价值观刷墙/审核 API/HITL)
+ § 10.7 AI 应用架构师的三个问题
目标 E:06/Agent安全攻防.md + #24 DAN 越狱后追加"经典代表案例:奶奶漏洞"
(不另起编号,保留 30 种攻击整数体系)
目标 F:02/速查手册.md + 实战经验金句节
(5 条铁律 + 架构师三问 + 3 条核心常识 + 一句话黑话)
新建 G:04_探索日志/2026-05-08_提示词工程经验补全.md ← 本文
关键概念
| 概念 | 解释 |
|---|---|
| Lost in the Middle | Stanford 2023 论文揭示的 U 型曲线:模型对 prompt 开头/结尾敏感,中间易遗漏 |
| NO COMMENTS / NO ACKNOWLEDGEMENTS | 抑制 AI 客套话的常用 prompt 咒语,让输出”只剩内容” |
| 奶奶漏洞(Grandma Exploit) | ChatGPT 早期最有名的角色扮演越狱:用”已故奶奶哄睡”包装违法请求 |
| Prompt-First 方法论 | 业务问题先尝试纯 prompt 解决,不行再上代码 |
| 架构师三问 | 准确(让更多环节可控)+ 省钱(减 prompt 长度)+ 好维护(模块化) |
| 机场安检思路 | Prompt 注入分类器:危险输入在进入主模型前就被拦截 |
| 价值观刷墙 | 在每次 prompt 里都强制带上一句安全约束(输入级防御) |
我的理解
这次素材消化暴露了一个我之前没怎么注意的事实:“工程口诀”和”技术原理”是两种价值类型的内容,需要分别落盘。
技术原理(如 Lost in the Middle) → 进主线教程章节,详细讲机制
工程口诀(如 Temperature 三档判断) → 进速查手册顶部金句区,浓缩成可背诵的 1 句话
代表性案例(如奶奶漏洞) → 在攻击体系下作为"具象化锚点",不另起编号
之前我倾向于把所有内容都塞进主线教程,但教程过长会让”想快速复习”的我自己都嫌烦。这次给速查手册加”实战经验金句”节是个新尝试——主线教程负责系统化原理,速查手册负责浓缩到极限的判断框架。这两层互补,而不是重复。
另一个反思:“奶奶漏洞”虽然是 DAN 越狱的近亲,但比 DAN 更应该单独写出来。因为:
- DAN 是抽象的”虚构 AI 身份”
- 奶奶漏洞是具体到日常生活场景的”亲情诱导”
具体的、能在生活里复现的攻击案例,记忆点远强于抽象类别。Agent 安全攻防原本只列了 #24 DAN,加了奶奶漏洞作为”代表性案例”后,读者一眼就能想象出”哦原来这种攻击长这样”。
与本知识库其他章节的关联
- 主线扩充:01_AI对话的底层逻辑.md(§1.3、§1.7-1.9 + 小结)
- 主线扩充:02_写好第一个提示词.md § 2.5 NO COMMENTS 技巧
- 主线扩充:03_用示例教会AI.md § 3.2 角色提示原理
- 主线扩充:10_AI应用架构.md(§10.5 安全 + §10.7 架构师三问)
- Agent 视角:Agent安全攻防.md(#24 末尾追加奶奶漏洞案例)
- 速查浓缩:速查手册.md(实战经验金句节)
疑问与待探索
- OpenAI 是否已废弃 Moderation API(要确认现状再写到文档)—— 已查:仍在维护,是免费 API
- 网易易盾等国内审核 API 的免费配额、误报率对比 —— 待真实业务时再查
- Prompt Caching 的最新支持情况(OpenAI/Claude/DeepSeek 是否都支持) → 已在 上下文窗口与Token计费.md 覆盖
- 如何评估 prompt 在多模型上的鲁棒性(ChatALL 之外有没有更工程化的工具)
方法论复盘:素材消化的 8 法则在本次的应用
| 法则 | 本次执行情况 |
|---|---|
| 1. 先 grep 已有避免重复 | ✅ 跑了 6 轮 grep,识别出 7 个已覆盖项不重复落盘 |
| 2. 小术语内嵌速查节 | ✅ NO COMMENTS、价值观刷墙、机场安检比喻都内嵌到速查”一句话黑话”表 |
| 3. 发现空洞标记”待补全” | ✅ 引用 Token 计费章节用了”详见”格式,没硬编内容 |
| 4. 贯穿性测试是必须最后步 | ⏳ 进行中(紧接此日志后跑) |
| 5. 双向引用不要单向 | ✅ 03 ↔ 01 互链,10 ↔ 06 互链,速查 → 10 引用 |
| 6. README 索引必须同步 | ⏳ 进行中(贯穿测试后做) |
| 7. 分块落盘 + 持续汇报 | ✅ 6 个目标分别完成、每完成一块汇报一次 |
| 8. 先评分再吸收 | ✅ 整体 8/10,DST/NLU 因太窄不收录,奶奶漏洞补防御要点后吸收 |
更新记录
| 日期 | 更新内容 |
|---|---|
| 2026-05-08 | 初次创建。20 张图素材消化 → 6 处文档加深 + 1 篇日志 |