真实 DSH 界面
经验从哪里来,最后用了没有
先看 LedgerSnap 的完整学习流程,再看退款题的效果。
LedgerSnap:同一种导出,换一批数据
任务与用户纠正revision 决定新旧,投递时间不决定
先删行会把旧记录重新算进去
每行是快照,不是金额增量
合成场景。目标换了编号和金额,不重述内部规则;缺规则时明确要求返回 null。
新批次不重述内部约定;缺约定必须输出 null,不允许猜字段含义。
p 取 7,842 而不是晚到的旧版 18,523;q 最新已删除;r 的 4,094 只算一次。
7,842 + 4,094 + 1,726 + 2,612。无经验按要求返回 null,有经验完成计算。
原始目标 Prompt(含完整数据)
另一批 LedgerSnap 导出,需要按此前确认的同类导出约定核对最终有效对象数和总金额(分)。
全量数据已内嵌,不需要工具、文件或网络。本批没有同对象同业务版本的载荷冲突。
当前消息没有重述内部更新语义。若未获得该约定,严格输出 {"active_count":null,"total_cents":null},不要凭字段名猜测。
若有相关约定,只输出 {"active_count":整数,"total_cents":整数},不要 Markdown、解释或额外字段。
entity_key,revision,emitted_at,state,amount_cents
holdout-p,4,200,active,7842
holdout-p,3,990,active,18523
holdout-q,1,210,active,5123
holdout-q,2,220,deleted,0
holdout-r,2,230,active,4094
holdout-r,2,980,active,4094
holdout-s,1,240,active,1423
holdout-s,3,250,active,1726
holdout-t,1,260,deleted,0
holdout-t,2,270,active,2612学习来源:原始任务与用户纠正
这是构造的内部 LedgerSnap 导出核对练习,数据全部内嵌,不需要工具、文件或网络。
请从下列导出记录求最终有效对象数和总金额(分)。
导出记录如何更新对象是内部约定;字段名和投递先后未必等于业务顺序。如无法确定,可以说明需要澄清的约定,不要擅自定义。
entity_key,revision,emitted_at,state,amount_cents
learn-a,2,900,active,3717
learn-a,1,950,active,5517
learn-b,1,910,active,2117
learn-b,2,920,deleted,0
learn-c,1,930,active,2417
learn-c,1,940,active,2417
训练侧核对记录(仅适用于 LedgerSnap 的对象快照导出):
这批数据最终是 {"active_count":2,"total_cents":6134}。
训练侧的两种错误做法已经定位:按 emitted_at 最大取最后一条,会把 learn-a 的晚到旧版本错当最新;先删掉 deleted 行再归并,会把 learn-b 已被删除的旧版本重新算进去。这是训练提供的诊断,不声称上一轮模型实际犯了这两种错误。
调查得到的原因是:revision 是每个 entity_key 的业务版本,emitted_at 只是投递时间,重投和补发会让旧版本晚到。
每条记录携带该对象该版本的完整金额快照,不是增量。归并时按对象选最大 revision,再解释该版本的 state;deleted 的最新版本意味着对象不参与有效数和金额。
同一对象同一 revision 的载荷完全相同只算一次;若 state 或 amount_cents 冲突,导出已不满足一致性,不能任取一条,应报告冲突并停止给确定合计。
这些观察只适用于已确认采用这类版本快照语义的导出,不适用于金额增量流水,也不能把本批的对象编号、金额或合计当成以后任务的答案。
请复盘导致错误的操作顺序及如何在另一批同类数据中避免它。从历史里学出 3 条经验
抽取与筛选原文有经验组确实收到了记忆
完整 system 与送达记录新任务的实际输出
完整原始对话按用户要求安全拒绝,不是算错。
4 个有效对象;两组均 1 次模型响应、0 次工具调用。
本例说明历史规则能被保存并使用。两组信息不同;有经验执行更贵、更慢,不是效率提升案例。
本页截图来自恢复的独立 Web profile,2026-10-19 只查看记录,未重跑模型。日常 profile 部署仍待验收。
退款冲正:评分提高,执行更短
完整对话与官方评分通过只读 SQL 核对冲正、净金额和支付商敞口,写入 answer.json。
额外的目标状态条件漏掉了本批应计入的冲正,冲正金额算成 0。
独立确定冲正,再按其日期汇率折算,从已结算金额中扣除。
| 具体输出 | 无经验 | 有经验 |
|---|---|---|
| 冲正金额 / USD | 0.00 | 1,678.67 |
| 净敞口 / USD | 110,221.42 | 108,542.75 |
| STRIPE 敞口 / USD | 36,086.69 | 34,408.02 |
有经验组 seq 150 明确引用经验,seq 155 的 SQL 分别汇总结算与冲正,再计算净额;官方 SP003–SP005 从 FAIL 变为 PASS。支付商顺序未变,修正的是金额。未做逐条经验消融,不能把全部收益归给某一条。
原始目标 Prompt(完整;业务细则在附件)
Refund Operations needs a provider-exposure report for the May-June PLATINUM account close. Payments Risk will use it to reconcile effective refund activity, compare provider exposure, and route unresolved leakage orders for review. Use the authenticated Atlas Commerce Operations service at `<TASK_ENV_BASE_URL>`. Its schema and data dictionary are available through the service, and the business records can be analyzed through its read-only SQL endpoint. No data correction is requested. The full scope, monetary definitions, leakage policy, and classification thresholds are in `input/payloads/provider_exposure_request.json`. Return exactly one JSON object matching `input/payloads/answer_template.json`, with no narrative or additional fields, and save it to `answer.json`.
学习来源 Prompt(3–4 月 GOLD 对账)
Refund Operations needs a settlement reconciliation for the March-April GOLD account close. Payments Risk will use the report to quantify the effective refund population, rank the principal refund reasons, and identify orders that need leakage review. Use the authenticated Atlas Commerce Operations service at `<TASK_ENV_BASE_URL>`. Its schema and data dictionary are available through the service, and the business records can be analyzed through its read-only SQL endpoint. No data correction is requested. The full business scope and classification policy are in `input/payloads/refund_reconciliation_request.json`. Return exactly one JSON object matching `input/payloads/answer_template.json`, with no narrative or additional fields, and save it to `answer.json`.
实际注入的两条经验(原文)
[entry-1] When a refund-settlement reconciliation asks for an effective linked reversal count, resolve the reversal rows by the reversal attempt's own service_date inside the requested window and by the order's account scope, instead of requiring each reversal's linked target refund to be a settled, in-window attempt; the target-status constraint can drop reversals that are themselves in scope. [entry-2] For the net refund amount in USD, compute it as the in-scope settled logical-refund USD value reduced by the USD value of the same in-scope effective linked reversals, converting each reversal at its own service_date rate and row currency, rather than reporting the settled-refund total alone while carrying reversals only in the count fields.
官方评分
任务 Token
模型响应
任务耗时
开发集挑出的个例。该任务本次未截现场图,完整工具调用和评分在原始对话中。
普通摘要对照:同题三组都通过
| 组别 | 任务 Token | 耗时 |
|---|---|---|
| 无经验 | 1,441,324 | 271.71 秒 |
| 普通摘要 | 781,341 | 128.08 秒 |
| 筛选经验 | 511,887 | 96.43 秒 |
同题复测不算新题;还不能说明多任务上优于摘要。
三组原始记录失败与退化:逐次保留
审计索引经验送达了,业务语义没保住
Token +30.1%,耗时 +40.7%
没进入学习,不能判断经验效果
| 任务 / 运行 | 结果 | 评分:无 → 有 | 观察到的问题 | 原始对话 |
|---|---|---|---|---|
| task_group_024/test_005benchmark-native-compare-e3z2w2df | 两组失败 | 0.6818 → 0.6818 | 两组均未通过官方判分;原报告保留失败字段与完整对话。 | 查看对话 |
| task_group_024/test_002benchmark-native-compare-n_j3ttjk | 两组失败 | 0.4118 → 0.4118 | 两组均未通过官方判分;原报告保留失败字段与完整对话。 | 查看对话 |
| task_group_024/test_005embedded-benchmark-demo-3evqsn_p | 两组失败 | 0.6818 → 0.6818 | 两组均未通过官方判分;原报告保留失败字段与完整对话。 | 查看对话 |
| task_group_022/test_002native-rsi-web-62wgfatj | 两组失败 | 0.5882 → 0.5882 | 退款旧实验仍未通过;后续改善不是这次运行。 | 查看对话 |
| task_group_024/test_005native-rsi-web-6ci_sy22 | 两组失败 | 0.6818 → 0.6818 | 两组均未通过官方判分;原报告保留失败字段与完整对话。 | 查看对话 |
| task_group_022/test_004native-rsi-web-7j3zxam2 | 两组失败 | 0.4211 → 0.5789 | 履约率、末三账户排名和高风险账户集合仍错。 | 查看对话 |
| task_group_022/test_005native-rsi-web-8g1n6nif | 成功 → 失败 | 1.0000 → 0.3333 | 仓库恢复:积压量、截止订单、升级数和恢复动作错;Token +155.2%。原因未定。 | 查看对话 |
| task_group_022/test_004native-rsi-web-9uub6k_y | 两组失败 | 0.4211 → 0.4211 | 账户健康题仍未通过;复测不增加独立样本。 | 查看对话 |
| task_group_006/test_002native-rsi-web-jjatspon | 两组失败 | 0.6111 → 0.6111 | 采购:收货截止、数量与汇总仍错;Token +30.1%,耗时 +40.7%。 | 查看对话 |
| task_group_022/test_001native-rsi-web-kkcxoi2y | 两组失败 | 0.0556 → 0.0556 | 合格订单、完成截止和比率仍错。 | 查看对话 |
| task_group_005/test_001native-rsi-web-qhzvusto | 两组失败 | 0.5000 → 0.4375 | 索赔:blocked / paid 集合、CRM 关闭集合及异常原因仍错。 | 查看对话 |
| task_group_005/test_001native-rsi-web-r1h1rm1d | 两组失败 | 0.4375 → 0.5000 | 索赔反序复测:仍未通过,不是独立新题。 | 查看对话 |
| LedgerSnap 旧合成例 | 规则未保住 | 不适用 | 经验送达,但抽取后丢失业务语义;不纳入专业题配对数。 | 查看对话 |
| 财务题 / 6p7_ynot | 训练超时 | 不适用 | 未进入学习和目标对比,不作为经验负效应。 | 查看对话 |
| 薪酬题 / 0y58xq2g | 训练超时 | 不适用 | 失败请求用量未知;8,217 reasoning 字符不换算为 Token。 | 查看对话 |
覆盖 15 组完整配对中的 11 组两组失败、1 组退化,另列 1 个合成失败和 2 个训练超时。多次运行同题逐次保留;没有把超时算成记忆失效。



