题库执行覆盖
训练来源是题面选出的建议,不表示已有可用经验。完成配对仍不等于收益成立;同题多次执行只计一道覆盖题。
结论与适用范围
- 历史实验通过 provider 输入确认植入,内置演示通过原生 system/message 确认植入;后者未单独记录网络重试与计费。
- 训练反馈粒度、规则覆盖与经验概括存在缺口。筛选接受的候选仍是假设,训练满分不保证跨题迁移。
- 包含同题复验与不同训练条件,均属开发诊断;重复执行不是独立题目,不能据此推断总体成功率或稳定收益。失败任务省 token 不作为优化结论。
- 原生 Harness 与 system prompt 已使用,但工具是受限测评适配,不等于日常浏览器环境;生产自动发布尚未验收。
- 旧适配器曾将不存在的接口报为权限拒绝,并阻止合法原生 spill 文件读取。相关批次受工具缺陷干扰,需与修复后的整批运行分开解释。
按实验条件分组
不同运行时、工具修复状态与训练监督条件不合并估计效果。以下为已完成配对的描述统计,不是总体成功率估计。
已完成对比
每行一个任务和实验组。成本包含失败执行;普通摘要是用于检验复杂经验是否优于简单替代方案的对照。
逐组效果变化
有经验相对无经验的变化,正值表示增加。仅包含两组均已评分的完整运行;未知完整 Token 不使用下限计算百分比。失败任务的提速不判为正向收益;得分差不是总体成功率提升。
训练与抽取成本
这些是获取经验的额外成本,不与测试成本混算;详细反馈监督与仅总分反馈分开标记。复用冻结候选的批次新增学习成本为 0,原始学习成本另列,不重复计入。普通摘要生成成本单列,尚未匹配摘要与经验的生成长度或计算量。
全部尝试与证据
包括超时、加载失败及未完成批次。以下 JSON 是原始结果与成本的索引;已生成的详细报告包含完整双栏对话及 provider 输入。
下一步验证
审查内置全流程的原始轨迹、工具兼容性与经验规则覆盖;冻结新候选后扩大独立任务样本。实验应用不等于已获收益批准的生产发布。