Skip to content

考核与评分:用证据而不是印象判断结业

本页解决什么

给结业项目一套固定、可复核的 100 分评分规则,并规定通过条件与未通过后的补修路径。评分看可验证的工程证据,不用术语数量、模型大小或演示气氛代替。

学习目标

完成后,你能按统一维度自评或复核结业材料,判定是否通过安全门槛,并根据最低完成率维度安排补修。

先修要求

完成一项综合结业项目,并准备其问题说明、来源登记、演示或实现、评估证据、安全边界、成本估算、运行说明和复盘。评分只审阅本地、合成、公开或已授权材料。

预计时间

60—90 分钟:整理证据 20—30 分钟、独立评分 20—30 分钟、复核与补修计划 20—30 分钟。

核心知识

固定 100 分量表

维度满分通过证据
问题定义15明确用户、任务、成功定义、范围和不做什么
数据与来源15来源登记包含授权或公开依据、版本、时效、定位方式和负责人
技术路线15方案选择有风险与约束依据,说明替代方案和停止条件
实现与操作15实现或可重复演示、运行说明、测试或关键路径记录可由复核人复现
评估证据20评估集覆盖正常与风险样本,含预期、禁止行为、结果、失败样本和证据
安全与人工接管10数据和权限边界、禁止动作、接管角色、停止与恢复条件可检查
交付与复盘10成本估算、交付说明、复盘、改进负责人和复验日期齐全

总分 100。每个维度按可见证据计分,不能用其他维度的高分抵消缺失的安全证据。

通过、未通过与补修

结业门槛与补修顺序是两条独立规则。结业通过需同时满足:总分 70 分及以上,且安全与人工接管至少 6 分。安全维度低于 6 分,即使总分达到 70 分也不能毕业;这项强制门槛不改变第一次补修的选择顺序。安全复验通过前,任何自动化扩大使用仍须保持停止。

所有未通过项目的第一次补修,统一先计算每个维度的完成率:得分 / 该维度满分,再选择最低完成率对应的维度;如有并列,全部列为补修项。不能直接比较原始分数,也不能用安全毕业门槛覆盖这个排序,因为各维度满分不同:

  • 问题定义 8 / 15 = 53.3%,安全与人工接管 6 / 10 = 60%:问题定义完成率更低,所以 8 / 15 的问题定义优先补修
  • 问题定义 4 / 15 = 26.7%,安全与人工接管 5 / 10 = 50%:仍是问题定义完成率更低,所以问题定义优先补修;但安全未达 6 分,完成这次补修后仍不能毕业。后续复评可以继续按最低完成率安排补修,但最终毕业仍必须让安全与人工接管达到至少 6 分,并满足总分门槛。

按下表返回相应模块补修,完成后只重评补修维度与受影响的关联证据:

最低完成率对应维度返回补修模块补修重点
问题定义应用工程基础重写目标、范围、成功定义和不做什么
数据与来源RAG 实验补齐来源、授权、版本、时效和可定位引用
技术路线生成式 AI 实验比较方案、约束、失败条件和人工边界
实现与操作Agent、Skill 与 Harness补足可重复步骤、测试、日志和恢复方法
评估证据评估与安全实验补齐评估集、风险样本、禁止行为和逐例证据
安全与人工接管评估与安全实验补齐权限、停止条件、接管角色、恢复和复验
交付与复盘上线运维实验补齐成本、交付说明、事故或失败复盘和复验责任

评分记录原则

评分人对每一维写下分数、证据位置和待改进项;证据缺失不能按“可能做过”给分。使用下载结业评分量表登记结果。遇到权限、敏感数据或无法确认副作用的争议时,评分停止并交给项目负责人,不通过猜测补分。

实操任务

  1. 对照结业交付清单整理证据,并标注每项材料的版本和位置。
  2. 两名评分人独立按七个维度评分,逐维写下依据;不能定位的材料记为缺失。
  3. 合并分数并核验总分与安全门槛,明确写出“通过”或“未通过”。
  4. 未通过时逐项计算“得分 / 该维度满分”,按最低完成率选择补修模块,列出要新增的证据、负责人和复验日期。
  5. 完成补修后,重评补修维度及其受影响证据,并保留前后评分记录。

必交产物

  • 一份填写完整的结业评分量表,含七个维度、证据位置、分数和评语。
  • 两名评分人的独立评分或一份说明复核角色的共同评分记录。
  • 一份通过判定,明确总分和安全与人工接管分数。
  • 未通过项目的一份补修计划与复验记录。

验收标准

量表七个维度及分值与本页一致,总分可复算为 100。通过记录同时证明总分 70 分及以上和安全与人工接管至少 6 分;未通过记录明确各维度完成率、最低完成率对应维度、补修模块和复验责任。以口头承诺替代证据、用总分抵消安全门槛或静默修改原评分,均判为不通过。

常见错误

  • 将“讲得很顺”误判为问题定义、来源或评估证据充分。
  • 让单一高分掩盖安全与人工接管低于 6 分。
  • 只给总分,不写每个维度的证据位置和评分理由。
  • 补修后覆盖旧记录,导致无法比较改进是否有效。
  • 发现真实数据、权限不明或不可逆风险后仍继续演示和评分。

延伸学习

维知 Wiki · 面向应用工程的 AI 知识与训练系统