Appearance
生成式 AI 实验：把输出变成可验收记录
本页解决什么
用同一项“把一段会议记录转成 JSON 行动清单”任务，对照自由文本、示例约束和结构化 Schema 三种提示方式。目标不是比较谁写得更漂亮，而是把格式、事实和人工返工变成可复查的数据。
学习目标
完成后，你能为一个生成任务固定输入和输出契约，记录格式合格率、事实错误和人工修改时间，并根据失败样本决定下一次只改变哪一个变量。
先修要求
先完成应用工程基础，并阅读LLM 训练机制与RAG、微调与部署优化。只使用公开、合成或已获授权的会议记录；不要把客户会议、账号、密钥或未脱敏个人信息粘贴进任何模型。
预计时间
75—100 分钟：准备合成输入 15 分钟、三组对照运行 30—45 分钟、人工核对与记录 30—40 分钟。
核心知识
同一输入，才有对照价值
选一段合成会议记录，例如：“事项甲由角色甲整理初稿；角色乙在下周三前复核；事项丙待补充数据后再定。”三组实验必须复用这段原文、同一个模型或工具、同一个评审人和同一套判定规则。一次只改变提示方式；不要同时换模型、温度和任务，否则结果不能说明哪个改变起作用。
每次输出都必须是 JSON 行动清单。每个对象固定四个字段：task、owner、deadline、evidence。原文没有截止日期时，deadline 必须返回 null，不得猜测日期；原文没有负责人或证据时，也要如实说明缺失，而不是补写看似合理的内容。
三种提示方式
| 方式 | 最小提示设计 | 观察重点 |
|---|---|---|
| 自由文本 | 只说“整理为行动清单” | 是否遗漏字段、夹带解释或把推测写成事实 |
| 示例约束 | 给出一条合格 JSON 示例，并说明未知截止日期写 null | 示例是否让字段更完整，是否把示例事实误带入结果 |
| 结构化 Schema | 提供 JSON Schema，限制对象字段和 deadline 的可空规则 | 格式是否稳定、Schema 是否掩盖了事实错误 |
结构化 Schema 只约束结构，不证明内容正确。即使 JSON 能被解析，也要回到原会议记录逐项核对任务、负责人、截止日期和证据。
三个结果指标
- 格式合格率：能被 JSON 解析，且每一项都包含四个固定字段的输出次数 ÷ 总运行次数。
- 事实错误：输出中与原文不一致、凭空新增，或把不确定内容写成确定事实的项目数；每个错误都写入失败样本。
- 人工修改时间：评审人把输出改到可提交状态所花的分钟数，不把阅读原文或等待模型的时间混入。
这些指标与评估与风险的固定评估集、失败样本和人工接管原则一致。格式合格率上升而事实错误增加时，不得把结果判为更好。
受控多模态扩展
完成文本实验后，可增加一次“图片加文字”的受控扩展：只使用公开或已授权的图片，并同时提供一段可核对的文本证据。记录内容只限图片中可观察事实，例如可见物体、颜色、数量、位置和清晰文字；每条结论都要标明对应的图片区域或文本证据。禁止推断人物身份或意图，也不得根据外貌推断职业、健康、情绪、关系或其他敏感属性。证据不足时写“无法确认”并交由人工复核，不能让模型补全看似合理的解释。
实操任务
- 编写一段 80—150 字的合成会议记录，至少含两项行动；其中一项故意不写截止日期。
- 固定模型或工具、版本、温度或模式、输入和评审人；连续运行自由文本、示例约束、结构化 Schema 各 3 次。
- 将每次请求与输出写入下载 Prompt 对照实验模板；
format_pass只填true或false。 - 按原文逐项检查事实错误，并计时记录人工修改时间；不能确认的内容保留为缺失或
null。 - 用下载实验记录模板写明假设、环境、失败样本、下一次变化和停止条件。
必交产物
- 一份填写完成的 Prompt 对照实验 CSV，至少 9 行运行记录。
- 一份实验记录，附三种提示的各一条原始输出与至少一个失败样本；如未发现失败，也要注明检查范围。
- 一份结论：说明选用哪种方式、依据哪些指标，以及它仍不能自动处理的边界。
验收标准
复核人能重放任意一行：找到同一输入、提示、模型或工具、模式与原始结果；能核验四个字段；能看到无截止日期被写为 null。三种方式都必须记录格式合格率、事实错误和人工修改时间。若输出无依据、日期被猜测、或只展示“最好的一次”，实验不通过。
常见错误
- 把自由文本、示例约束和结构化 Schema 用在不同输入上，导致比较失效。
- 只检查 JSON 能否解析，不检查
owner或deadline是否被模型杜撰。 - 用模型自己评价事实正确性，却不回看原会议记录。
- 把一次顺利运行当作稳定能力，未记录运行次数与失败样本。
- 把格式约束当作权限控制；未授权数据不能因为输出是 JSON 就能送入模型。