任务完成度逐项评判
口径:15 段对话按任务段计分,不按会话计分。D10 与 D11 同属 11-11 主会话,分别作为「去考研化」与「功能大迭代」两个可独立验收的任务段评分,token 不重复计入。总分 = 15 段加权分的算术平均;另给一列按 token 加权的参考值,用于回答「钱花得值不值」。
一、四维与评分锚点
| 维度 | 权重 | 90 分以上 | 75–89 分 | 75 分以下 |
|---|---|---|---|---|
| 功能达成 | 40% | 用户列的功能全部可用,边界情况有处理 | 主路径可用,个别边界靠人工兜 | 有未完成项或核心路径需绕行 |
| 质量稳定 | 25% | 跨端、跨数据、跨版本一致,无静默失败 | 有已知瑕疵但不影响主流程 | 同类问题复发,或失败无声 |
| 验收合规 | 20% | 有可复核断言与证据,可自动重跑 | 有人工验收,证据零散 | 交付即完成,无断言 |
| 返工控制 | 15% | 0–1 轮收敛,无推倒重来 | 2–3 轮,范围可控 | 慢性返工或绕过而非解决 |
判断依据全部来自 15 篇对话档案与 4 天记忆日志,不使用主观印象。返工控制给分最严,因为它同时是成本项——工具调用数与 token 的相关性是 r=0.998,返工即账单。
二、逐项评分
| 段 | 任务 | 功能 40% | 质量 25% | 验收 20% | 返工 15% | 加权 | 主要失分点 |
|---|---|---|---|---|---|---|---|
| D01 | 考研数学 PDF 转 Markdown | 84 | 78 | 80 | 90 | 82.6 | 公式有损但无「待核对」标记;无样张关卡,638 万输入全靠逐页比对 |
| D02 | B 站数据整理与可视化 | 90 | 85 | 76 | 70 | 83.0 | PDF 方案整轮报废;「好看一点」无锚点;成本问题收尾才问 |
| D03 | 词汇站从零搭建 | 94 | 87 | 88 | 74 | 88.0 | npm run start 连续失败靠重试;随机复习永远同一个词 |
| D04 | 概率论闯关游戏 | 88 | 75 | 78 | 67 | 79.6 | 公式修三轮未建回归集;教学关后补导致解锁链重排 |
| D05 | 门户统一与笔记站 | 92 | 82 | 80 | 65 | 83.1 | 构建失败靠 5 次循环重试;公式坑跨会话重演;视觉重构牵动全站 |
| D06 | 自动巡检与自愈 | 88 | 88 | 82 | 60 | 82.6 | 判活标准错三轮;双轨并行两周才由用户要求收口 |
| D07 | 域名与隧道迁移 | 92 | 88 | 85 | 70 | 86.3 | OAuth 两轮打转,靠用户给出根因;迁移与功能大改混装 |
| D08 | 静默启动与黑窗排障 | 90 | 85 | 88 | 80 | 86.8 | 前一轮把可观测性当成干扰源,偏差持续约三周 |
| D09 | AI 使用自评报告 | 92 | 90 | 80 | 85 | 88.1 | 四维无权重;先 HTML 再要图片,撞 headless 不产文件 |
| D10 | 站点去考研化 | 95 | 92 | 90 | 92 | 92.8 | 仅「有意保留」项需二次解释(内部路径、提示词不改) |
| D11 | 笔记站功能大迭代 | 96 | 88 | 95 | 80 | 91.4 | Prisma 输出目录迁四次属绕过;隧道段大量无效分支 |
| D12 | 使用说明书 14 篇 | 97 | 90 | 96 | 88 | 93.7 | 配图坐标三次翻车;写文档时才校正三处产品事实 |
| D13 | 文档转换与整站长图 | 84 | 85 | 86 | 75 | 83.3 | 表格合并单元格无法还原,降级为截图;长图三坑各修一次 |
| D14 | 物理机装 Ubuntu Server | 65 | 70 | 62 | 55 | 64.2 | 目标与手段错配;输出形态失控;无阶段心跳;日志未留存 |
| D15 | 项目扫描与 ROS 课程 | 92 | 85 | 90 | 80 | 88.1 | 「卡住」无法区分慢与死;93MB 导入撞网关;跨站权限两次误判 |
维度均值:功能 89.3 / 质量 84.5 / 验收 83.7 / 返工 75.4。 总分:算术平均 84.90;按 token 加权 87.94(D10 不单列)。
token 加权比算术平均高 2.9 分,原因很直接:最贵的三段(D11 7.67 亿、D05 2.64 亿、D15 1.47 亿)恰好都是高分项。这说明钱没有花在烂任务上,但也说明另一件事——高分任务同样烧掉了 49% 的预算,完成度与成本效率是两笔账。
三、失分最多的三类任务
第一类:有损转换与移植(D01、D13、D14),均分 76.7
共同特征有三条。其一,输入是既成事实:PDF 的公式层、doc 的合并单元格、物理机的分区表,都不接受「重新设计」。其二,没有样张关卡:D01 直接全量转,D13 直接整篇导,D14 直接按用户给的技术栈施工;正确做法是先交 1 页、先转 1 张表、先确认 1 个目标。其三,不设「标错」机制:转换必然有损,但三段都没有产出「待核对清单」,于是损失被藏进成品里,由用户自己发现。
这一类拉低的是功能达成(65–84)与验收合规(62–86)。D14 的 64.2 是全表最低,失败不在技术,而在开工第一句没问「你要共存还是要独立启动」。
第二类:审美与渲染一致性(D02、D04、D05),均分 81.9
共同特征是验收锚点不可判定。「好看一点」「不卡」「高级感」没有终点,模型只能猜,猜错就是一轮 133K 上下文。D04 的公式修三轮、D05 的视觉重构牵动全站,本质都是同一件事:没有先定 token(字号、间距、配色),只能整站改。
这一类拉低的是质量稳定(75–85)与返工控制(65–70)。它对治办法已经验证过:D11 的度量差 9% 问题,因为抽了字体字号常量、两端 CSS 对齐、存量 refit,一次通过——把主观词换成可测量的两端同源,返工立刻收敛。
第三类:多目标长会话(D06、D07、D11),均分 86.8,但返工只有 70.0
这一类的总分不低,问题藏在结构里:三段都是「一个会话装多个可独立验收的模块」。D07 前半段是隧道迁移、后半段是注册登录与美术统一;D11 一个会话装八簇能力,跨三天半、4,914 次工具调用。功能都做成了,但每次改一个按钮颜色,前面几万 token 的排障记录仍在每次请求里被重读。
共同特征是缺少切分点:迁移验收通过、表格 P1 验收通过、手册 14 篇发布,这些本来都是天然的会话边界,但都没有切。结果是返工控制这一维塌陷(60/70/80),而它恰好是成本维度的代理指标。
四、总评
84.90 分对应一个很明确的判断:这套协作的交付能力已经接近上限,短板全部集中在「证明它对」和「一次做对」上。
拆开看更清楚。功能达成 89.3,说明「用户说要什么,最后基本都有」——8 个可运行系统、14 篇说明书、210 条表格断言是硬证据。质量稳定 84.5,说明成品可用,但跨端一致性要靠用户拿手机抓。验收合规 83.7,看上去不低,其实是两极:D11/D12 有 364 条断言,D01/D14 几乎没有断言,平均分被高分项拉起来。返工控制 75.4,是唯一低于 80 的维度,也是唯一直接对应成本的维度。
所以这不是「能力不够」,而是验收标准的前置程度不够。同一类问题反复出现(公式三轮、判活三轮、FAB 遮挡三次、Prisma 迁移四次),每次都不是新问题,而是上一次的结论没被写成检查项。D06 的 253 个会话是最好的注脚:模板复用省了打字,一点没省上下文;真正的自动化是 selfheal.mjs 那段 30 分钟循环,它跑起来后不再产生任何会话。
如果只从这张表里取一条改进,取返工控制:把「一个可验收模块 = 一个会话」变成硬规则,并在每个模块收尾时落一份交接白皮书。按 D11 的成本结构(输出占 0.35%,上下文重放占 99.6%)估算,同等产出下这一条能影响的量级远大于换模型或改提示词。
五、口径声明
- 分数为评审判断,不是系统埋点;每段至少有一个可核事实支撑(断言数、失败轮次、日志条目、token 结构)。
- D10 与 D11 共享会话,token 只在 D11 计入加权;若把 D10 按消息序位分摊,token 加权分变化小于 0.3。
- 85 分不是「良」的终点,而是「可交付且可复核」的起点;本表把 90 分以上定义为「换个人接手也能复跑」。
- 三类归类的均分只用于比较相对失分,不构成对任务价值的判断——D14 分值最低,但它是唯一让用户自己推翻方案的样本,信息量最高。